可易

OWASP AI 与代理红队全景速查表 2026 全文翻译

可易团队阅读约 14 分钟

OWASP《AI安全解决方案全景:AI与代理红队》Q2 2026速查表全文中译:红蓝紫三队能力沿AI生命周期九阶段展开,每阶段给出具体能力要求清单,可直接用作企业AI安全测试能力自评矩阵与工具采购RFP对照表。

目录

结论

这是 OWASP GenAI 安全项目《AI 安全解决方案全景:AI 与代理红队》(AI Security Solutions Landscape For AI and Agentic Red Teaming,Q2 2026 速查表)的全文中文翻译。该文档由 OWASP GenAI Security Project 的 AI Security Solutions Initiative 出品,采用 CC BY-SA 4.0 许可,允许全文翻译与再发布,页面显示发布于 2026 年 4 月。

原文的核心框架:随着组织日益把生成式 AI 与自主代理部署进业务关键工作流,传统应用安全实践已不再充分——AI 系统引入了提示注入、模型滥用、代理权限提升、数据投毒、幻觉,以及在整个 AI 采用生命周期中持续演化的涌现行为等新类别风险。「AI 与代理红队」提供了一种结构化的、覆盖全生命周期的方法,通过协调的对抗性测试、防御性验证与持续反馈闭环,来识别、度量、缓解并治理这些风险。

文档把能力组织成四类协作角色——红队(进攻/攻击模拟)、蓝队(防御/检测/响应)、紫队(持续攻防融合)、共享能力——并沿 AI 生命周期的九个阶段展开:范围与规划 → 增强与微调数据 → 开发与实验 → 测试与评估 → 发布 → 部署 → 运营 → 监控 → 治理。每个阶段都给出红/蓝/紫三队的具体能力要求清单。

对企业启示:这是一份可直接落地的「AI 安全测试能力对照表」。企业可以按九阶段自查红蓝紫三队能力缺口,用它写 RFP、对齐 NIST AI RMF/OWASP/MITRE/ISO 合规映射、评估现有工具覆盖缺口,以及规划内部红蓝紫队能力建设路线。它与 OWASP 的《红队解决方案分类法指南》《红队解决方案能力矩阵》配套使用(原文多处指引「参见 Red Teaming Solution Taxonomy Guide / Capability Matrix」)。

原文档为 CC BY-SA 4.0 许可,本译文以相同许可分发。以下为忠实全文翻译(原件为 15 页图形化速查表,本文按页逐条转录文字内容并翻译;赞助商页、二维码提交页等纯图形/导航元素以括注说明)。


原文全文翻译

封面(第 1 页)

AI 安全解决方案全景 面向 AI 与代理红队 (AI Security Solutions Landscape — For AI and Agentic Red Teaming)

AI 安全解决方案倡议(AI SECURITY SOLUTIONS INITIATIVE) https://genai.owasp.org/ai-security-solutions-landscape/

2026 年第二季度(Q2 2026)

本文档由 OWASP GenAI 安全项目依据知识共享许可 CC BY-SA 4.0 制作。

引言(第 2 页)

随着组织日益把生成式 AI 与自主代理部署进业务关键工作流,传统应用安全实践已不再充分。AI 系统引入了新类别的风险,包括提示注入、模型滥用、代理权限提升、数据投毒、幻觉,以及在整个 AI 采用生命周期中持续演化的涌现行为。

AI 与代理红队(GenAI and Agentic Red Teaming)提供了一种结构化的、覆盖全生命周期的方法,通过协调的对抗性测试、防御性验证与持续反馈闭环,来识别、度量、缓解并治理这些风险。

全景总览(第 3 页)

红队全景——2026 年第二季度 · 速查表

生命周期九阶段(原文以环形图呈现):范围与规划(Scope & Plan)→ 增强与微调数据(Augment, Fine Tune Data)→ 开发与实验(Develop & Experiment)→ 测试与评估(Test & Evaluate)→ 发布(Release)→ 部署(Deploy)→ 运营(Operate)→ 监控(Monitor)→ 治理(Govern)。

(本页含开源、金牌赞助、银牌赞助三类标识区,为赞助商展示位,无正文内容。)

红队 SecOps 框架(第 4 页)

该框架把能力组织为四类,与安全协作及协同安全团队角色对齐:

红队(进攻/攻击模拟):聚焦于通过模拟恶意用户、被攻破的代理与供应链攻击,主动发现 AI 模型、代理、数据管线与集成中的弱点。

蓝队(防御/检测/响应):确保护栏、策略、监控与运行时保护能够跨环境预防、检测并响应 AI 特有威胁。

紫队(持续攻防融合):把红队与蓝队活动整合进闭环反馈系统,确保对抗性发现直接改善防御控制、策略与运营姿态。

共享能力:基础性能力——如资产清单、遥测、出处、指标与审计产物——它们支撑跨所有团队的一致性、自动化与治理。

阶段 1:范围与规划(Scope & Plan,第 5 页)

本阶段通过尽早识别风险、资产与威胁场景,为 AI 安全奠定基础。红队聚焦于建模对手、映射攻击面,并识别跨模型、代理与集成的滥用路径。蓝队构建清单、风险仪表盘与优先级框架,以确保可见性与治理。紫队通过把对抗场景映射到防御控制来连接二者,实现可追溯性与缺口分析。三者共同确保组织在开发开始之前就理解:风险存在于何处、由谁负责,以及进攻性洞察如何转化为防御就绪度。

红/蓝/紫队要求:

  • 威胁建模设计辅助工具(Threat-model design aids)
  • LLM/代理攻击面映射(LLM / agent attack-surface mapping)
  • AI 资产清单(AI asset inventory)
  • AI 态势仪表盘(AI-SPM / AI-TRiSM)(AI posture dashboards)
  • 风险评分板(Risk-scoring boards)
  • 导入红队场景(Import red scenarios)
  • 把红队场景映射到蓝队控制(Map red scenarios to blue controls)
  • 风险分类法导入/导出(Risk taxonomy import/export)
  • 可视化数据流映射(Visual data-flow mapping)
  • 把测试导出为用户故事(Export of tests as stories)

(本页指引:详细说明参见《红队解决方案分类法指南》;具体方案能力覆盖参见《红队解决方案能力矩阵》。下同,后续各页均有此指引。)

阶段 2:增强与微调数据(Augment, Fine Tune Data,第 6 页)

本阶段处理训练数据与模型适配中的风险。红队用投毒数据、合成对抗输入与恶意工件对管线做压力测试,以暴露学习过程中的弱点。蓝队通过谱系追踪、DLP 扫描与偏见/毒性审计确保数据完整性,以防止有害或不合规的输出。紫队通过把对抗数据回放到防御侧、并比较数据集版本以检测回归,来桥接二者。目标是确保模型在可信数据上训练、对操纵保持鲁棒,且防御控制随数据集变化而演进。

红/蓝/紫队要求:

  • 数据投毒模糊测试(Data-poison fuzzing)
  • 合成插入生成(Synthetic insert generation)
  • 恶意模型工件(Malicious model artifacts)
  • 数据谱系与出处追踪(Data lineage & provenance tracking)
  • DLP 扫描(DLP scanning)
  • 偏见-毒性协同审计(Bias–toxicity co-auditing)
  • 把红队变异回放到蓝队过滤器(Replay red mutations through blue filters)
  • 语料差异比对(Corpus diffing)
  • 偏见/PII 记分卡(Bias / PII scorecards)
  • 签名数据包(Signed data packages)

阶段 3:开发与实验(Develop & Experiment,第 7 页)

在开发期间,团队在生产之前评估模型与系统行为。红队探测提示注入、越狱与代理逻辑操纵等漏洞。蓝队对代码与集成应用传统及 AI 特有的安全测试(例如 SAST/DAST、插件扫描)。紫队通过共享沙箱、信号分析,以及发现失败时的自动修复工作流来促成协作。本阶段确保漏洞被尽早发现、防御信号得到验证,且攻防之间的反馈闭环在正式测试之前同时改善模型鲁棒性与系统安全。

红/蓝/紫队要求:

  • 模型漏洞扫描(Model vulnerability scanning)
  • 代理逻辑破坏测试(Agent-logic corruption testing)
  • SAST / DAST / IAST 扫描(SAST / DAST / IAST scanning)
  • LLM 插件、工具与基础设施扫描(LLM plugin, tool, and infrastructure scanning)
  • 交互式沙箱(Interactive sandbox)
  • 防御者信号分析(Defender signal analysis)
  • 推理轨迹捕获(Reasoning-trace capture)
  • 失败测试的自动开工单(Auto-ticketing for failed tests)
  • IDE 插件(IDE plugins)

阶段 4:测试与评估(Test & Evaluate,第 8 页)

本阶段严格验证系统韧性。红队执行对抗性测试套件,包括多轮攻击、提示链(prompt chaining)与协议利用,以发现涌现性失败。蓝队验证护栏与策略在正常与对抗条件下都能正确运作。紫队通过统一测试运行、KPI 追踪与成功阈值评估整合两种视角,常嵌入 CI 管线。其结果是对风险的可度量理解,确保在做出发布决策之前,进攻性发现与防御有效性都被量化。

红/蓝/紫队要求:

  • 自动化对抗套件(Automated adversarial suites)
  • 提示链攻击(Prompt-chaining attacks)
  • 多轮攻击(Multi-turn attacks)
  • 协议攻击(A2A、MCP)(Protocol attacks)
  • RAG 投毒场景运行器(RAG-poison scenario runners)
  • 护栏一致性测试(Guardrail conformance testing)
  • 策略测试与验证(Policy testing & validation)
  • 一键紫队运行(One-click purple runs)
  • 指标导出(蓝队 KPI)(Metrics exporting)
  • 成功阈值分析(Success-threshold analysis)
  • 幻觉 vs 失准标注(Hallucination vs misalignment labeling)
  • 持续集成钩子(Continuous Integration hooks)

阶段 5:发布(Release,第 9 页)

发布阶段确保只有安全、经验证的工件到达生产。红队模拟供应链攻击,测试对受损模型、数据或依赖的暴露。蓝队强制安全的 CI/CD 门禁、验证出处,并确保工件可信、未被篡改。紫队增加端到端管线分析、风险仪表盘与回滚规划,以缓解发布失败。本阶段充当一个控制检查点——进攻性洞察与防御性保障在此汇聚,以判定残余风险对部署是否可接受。

红/蓝/紫队要求:

  • 供应链攻击模拟(Supply-chain attack simulation)
  • 安全 CI/CD 门禁(Secure CI/CD gates)
  • 签名与出处验证(Signing & provenance validation)
  • 紫队管线分析(Purple pipeline analysis)
  • 发布风险仪表盘(Release-risk dashboards)
  • 回滚脚本生成(Rollback script generation)
  • AI-BOM / SBOM 差异比对(AI-BOM / SBOM diffing)

阶段 6:部署(Deploy,第 10 页)

部署聚焦于保护运行时环境。红队在已部署系统中模拟工具滥用、权限提升与跨租户数据泄露。蓝队实现运行时保护,如 AI 防火墙与策略执行系统。紫队通过实时流量模拟、影子策略测试与协议欺骗,在真实条件下验证防御,以此增强防护。本阶段确保系统一旦上线,即被加固以抵御真实世界威胁,且防御控制在生产约束下有效运作。

红/蓝/紫队要求:

  • 工具链/插件滥用模拟(Tool-chain / plug-in misuse simulation)
  • 代理权限提升仿真(Agent privilege-escalation emulation)
  • 跨租户数据暴露测试(Cross-tenant data exposure testing)
  • LLM/代理防火墙(LLM / agent firewall)
  • 策略管理(Policy management)
  • 实时流量混沌模拟(Live traffic chaos simulation)
  • 实时策略影子模式(Real-time policy shadow mode)
  • 协议欺骗(MCP / A2A)(Protocol spoofing)
  • 成本影响追踪(Cost-impact tracking)

阶段 7:运营(Operate,第 11 页)

在运营中,系统面临持续且演化的威胁。红队使用自主代理、提示模糊测试与记忆投毒,随时间主动探测系统。蓝队监控运行时行为、检测异常,并使用 AI 特有的安全控制响应事件。紫队创建闭环反馈系统,把攻击与告警关联、调优检测规则,并自动改进护栏。本阶段强调持续安全而非时间点测试,确保防御随威胁演化而动态适应。

红/蓝/紫队要求:

  • 自主红队机器人(Autonomous red bots)
  • 持续提示模糊测试(Continuous prompt fuzzing)
  • 记忆投毒(Memory poisoning)
  • 运行时 AI-SPM / AI-WAF(Runtime AI-SPM / AI-WAF)
  • 异常与漂移检测(Anomaly & drift detection)
  • 信任边界告警(Trust-boundary alerting)
  • 闭环紫队辅导(Closed-loop purple coaching)
  • 红/蓝告警关联(Red/blue alert correlation)
  • 规则调优(Rule tuning)
  • 护栏自动修补(Auto guardrail patching)

阶段 8:监控(Monitor,第 12 页)

监控提供对系统健康与安全态势的可见性。红队通过生成合成恶意用户与流氓代理来测试检测能力,做出贡献。蓝队收集遥测、应用行为分析并追踪指标,以识别异常与威胁。紫队通过合并遥测分析、时间序列评分与自适应威胁狩猎策略,统一这些视角。本阶段确保组织保持态势感知、检测新兴风险,并持续验证监控系统对真实与模拟威胁都有效。

红/蓝/紫队要求:

  • 合成用户与流氓代理生成(Synthetic user & rogue-agent generation)
  • 态势与指标收集(Posture & metric collection)
  • 面向 AI 与代理信号的 UEBA(用户与实体行为分析)(UEBA for AI and agent signals)
  • 代理行为分析(Agent Behavior Analytics)
  • 紫队 SIEM 视角(Purple SIEM lens)
  • 合并遥测分析(Merged telemetry analysis)
  • 时间序列评分(Time-series scoring)
  • 自适应狩猎包(Adaptive hunt packs)
  • 模型漂移 vs 威胁漂移分析(Model-drift vs threat-drift analysis)

阶段 9:治理(Govern,第 13 页)

治理确保问责、合规与持续改进。红队通过可复现的攻击路径证据支持可审计性。蓝队使运营与监管及策略要求对齐,同时提供关于风险态势的高管级报告。紫队通过残余风险分析、前瞻式模拟,以及把发现整合进再训练与事件响应流程,来增强治理。本阶段确保 AI 安全不仅在运营上有效,而且可度量、可审计,并随时间与组织及监管期望对齐。

红/蓝/紫队要求:

  • 审计级攻击路径回放(Audit-grade attack-path replay)
  • 高管报告(Executive reporting)
  • 对再训练与事件响应手册的反馈(Feedback to retraining & IR playbooks)
  • 框架映射(Framework mapping)
  • 策略与合规编排(AI-TRiSM)(Policy & compliance orchestration)
  • 残余风险分析循环(Residual risk analysis cycles)
  • 风险模拟器(Risk simulators)
  • 签名工件库(Signed artifact stores)

赞助商与社区贡献(第 14—15 页)

(第 14 页:GenAI 安全项目赞助商——通过直接财务赞助支持社区运营与外联。第 15 页:贡献指南——使用二维码与关联表单提交红队安全全景条目。两页主要为导航与赞助商展示,无实质正文。)

(文档全程页脚标注:本文档依据知识共享许可 CC BY-SA 4.0 授权;来源:OWASP Gen AI 安全解决方案全景指南 2026 Q2。)


中文解读与企业落地方法

这份速查表给企业的三个核心价值

第一,它把「AI 红队」从一次性的越狱测试,升级为覆盖九阶段的全生命周期能力体系。很多企业的 AI 安全测试停留在「上线前发几条攻击提示看看拦不拦得住」,而这份文档明确要求:从范围规划(威胁建模、攻击面映射)到治理(审计级攻击路径回放、残余风险循环),每个阶段都有红蓝紫三队的能力要求。企业自评时应对照九阶段逐格打钩,缺哪格补哪格。

第二,「紫队闭环」是这份文档的灵魂。红队发现不等于安全改善——紫队(Purple Teaming)的职责是把对抗性发现「直接」转化为防御控制、策略与运营姿态的改进,形成闭环反馈。原文在多个阶段强调紫队机制:范围阶段把红队场景映射到蓝队控制、数据阶段把红队变异回放到蓝队过滤器、测试阶段一键紫队运行、运营阶段闭环紫队辅导。企业若只有红队没有紫队,等于「测完就忘」,安全投入无法沉淀。

第三,红蓝紫三队的能力清单可直接当采购/RFP 对照表用。文档每阶段列出的具体能力(如 AI-SPM/AI-TRiSM 仪表盘、代理权限提升仿真、AI-BOM/SBOM 差异比对、UEBA for AI、护栏一致性测试、协议欺骗 MCP/A2A)就是 AI 安全工具市场的能力词汇表。企业写 RFP、评估供应商、盘点自有工具覆盖时,可直接引用这些标准术语,避免自造模糊需求。

落地步骤

  1. 九阶段能力自评:把这份速查表的九个阶段 × 红蓝紫三队做成一张自评矩阵,每格标「已具备/部分/缺失」,形成企业 AI 安全测试能力热力图。
  2. 优先补紫队闭环:若企业已有红队(攻击测试)和蓝队(护栏/监控),最可能缺的是紫队——优先建立「红队发现→蓝队控制→自动开工单→回归验证」的闭环流程(对应开发阶段的 auto-ticketing、测试阶段的 one-click purple runs)。
  3. 按阶段配置工具:范围规划配 AI 资产清单与攻击面映射工具;数据阶段配数据谱系追踪与 DLP;部署阶段配 LLM/代理防火墙;监控阶段配 AI-SPM 与代理行为分析(Agent Behavior Analytics)。
  4. 把安全测试嵌入 CI/CD:测试与评估阶段的「持续集成钩子」「成功阈值分析」要求把对抗测试作为发布门禁,与发布阶段的「安全 CI/CD 门禁」「AI-BOM/SBOM 差异比对」联动。
  5. 治理阶段对齐合规框架:用「框架映射」能力把测试结果对齐 NIST AI RMF、MITRE ATLAS、ISO/IEC 42001、EU AI Act,用「审计级攻击路径回放」满足可审计性,用「残余风险分析循环」支撑高管报告。
  6. 配套深读:本速查表是纲,细节需配合 OWASP《红队解决方案分类法指南》与《红队解决方案能力矩阵》(原文多次指引参见),以及《OWASP LLM 应用十大风险》《OWASP 代理应用十大风险》使用。

人工复核点与失败条件

  • 失败条件:把 AI 红队做成一次性越狱测试,不覆盖九阶段全生命周期。
  • 失败条件:只有红队没有紫队——对抗发现无法闭环转化为防御改进,等于白测。
  • 失败条件:用模糊自造需求写 AI 安全工具 RFP,而不参照标准能力词汇表。
  • 失败条件:安全测试游离于 CI/CD 之外,发布门禁缺失(对应发布阶段的 Secure CI/CD gates)。
  • 人工复核点:治理阶段的高管风险报告与残余风险接受决定;审计级攻击路径的复核;红队场景到蓝队控制映射的完整性审查(防止有攻击面无人负责)。

试点与验收

  • 试点场景:选一个已上线或即将上线的 AI/代理系统,按九阶段做一次完整的红蓝紫三队安全测试。
  • 试点周期:8—10 周。第 1—2 周:范围规划(资产清单+威胁建模+攻击面映射);第 3—4 周:数据与开发阶段测试(投毒模糊、提示注入、代理逻辑);第 5—6 周:测试与评估阶段(多轮攻击、协议攻击、护栏一致性);第 7—8 周:部署与运营阶段(权限提升、跨租户泄露、运行时监控);第 9—10 周:治理阶段(审计回放+残余风险报告)与紫队闭环复盘。
  • 基线:试点前用九阶段矩阵自评一次,记录当前各格状态与已有工具覆盖。
  • 验收指标:
  • 覆盖:九阶段红蓝紫三队能力矩阵无「缺失」格(至少有计划中的补偿措施)。
  • 闭环:红队发现 100% 进入紫队闭环(映射到蓝队控制或开出工单),回归验证通过率有量化数据。
  • 门禁:对抗测试与安全 CI/CD 门禁联动,未达成功阈值的版本无法发布。
  • 合规:测试结果完成对至少一个框架(NIST AI RMF / MITRE / ISO 42001 / EU AI Act)的映射。
  • 扩大条件:九阶段测试流程与紫队闭环模板化,推广到其余 AI 系统;能力矩阵纳入常态化季度复评。
  • 停止条件:发现无缓解的高危攻击路径(如跨租户数据泄露、代理权限提升到生产)且业务不能接受残余风险——该系统暂停上线,回到范围规划阶段重新设计控制。

出处

  • 机构:OWASP 基金会 · OWASP GenAI 安全项目 · AI 安全解决方案倡议(AI Security Solutions Initiative)
  • 作者:OWASP GenAI Security Project 集体作品(速查表未署个人作者)
  • 日期:2026 年第二季度(资源页显示 2026 年 4 月 9 日)
  • 原文标题:AI Security Solutions Landscape — For AI and Agentic Red Teaming(Q2 2026 Cheat Sheet)
  • URL:https://genai.owasp.org/resource/ai-security-solutions-landscape-for-ai-and-agentic-red-teaming-q2-2026
  • 许可:CC BY-SA 4.0,允许全文翻译与商业再发布,本译文以相同许可分发
  • 配套文档:原文多处指引参见《Red Teaming Solution Taxonomy Guide》与《Red Teaming Solution Capability Matrix》

PRIMARY_SOURCE: https://genai.owasp.org/resource/ai-security-solutions-landscape-for-ai-and-agentic-red-teaming-q2-2026

  • #OWASP
  • #红队
  • #蓝队紫队
  • #AI安全测试
  • #生命周期治理