本文整理自 AICon 上海分享「阿里AI红队 - REAL智能体统一风险矩阵与自动化红队实践」（演讲者：宋奇钊），通过AI音视频总结工具 Ai好记 进行视频转文字整理，以下为精炼整理后的内容。

---

AI智能体的安全风险正在爆发

智能体（Agent）正从简单的Chatbot快速演变为具备工具调用、沙箱执行、自主决策的复杂系统。这种进化带来一个严峻的问题：安全风险的范围和量级被数倍放大。

传统软件中的一个小问题——比如一个未鉴权的API——在Agent场景下，可能因为Agent的自主执行能力而被放大为「接管整个云环境」的严重漏洞。Agent会主动去调用这个API，去获取数据，去执行操作，而不会像人类一样判断「这该不该做」。

阿里AI红队的调研数据显示：当前智能体的安全风险高度集中，指令注入和基础设施缺陷两类问题占总风险的87%。

REALMatrix：三维风险矩阵

传统的安全风险清单是扁平的——列出了几十上百种风险，但问题是当风险快速变化时，清单永远跟不上。阿里AI红队提出的解决方案是一个三维坐标系，把风险放在三个维度上坐标化：

维度一：原因（Reason）

问题发生的根源，分为四类：

原因	说明	典型场景
指令注入	攻击者通过输入诱导Agent执行非预期操作	提示词注入、间接注入
幻觉偏差	模型输出虚假信息导致错误决策	幻觉生成的API调用
基建缺陷	基础设施层面的安全漏洞	未鉴权的API、权限配置错误
功能滥用	Agent功能被用于非预期目的	越权访问、数据窃取

维度二：影响（X-Effect）

问题导致的后果：

• 机密性：数据泄露、凭证窃取
• 完整性：数据篡改、系统被控制
• 可用性：服务中断、资源耗尽
• 无害性：生成有害内容、诱导用户风险行为

维度三：层级（Layer）

问题发生的系统层面：

层级	说明	安全关注点
交互层	用户与Agent的界面	提示词注入、输出安全
认知层	模型的推理和决策	幻觉、偏见、恶意诱导
执行层	Agent的工具调用和操作	API鉴权、沙箱逃逸
基础设施层	底层运行环境	供应链攻击、容器安全

风险坐标化的优势

任何一个安全风险都可以表示为 (R, X, L) 的三维坐标。这样做的好处：

1. 体系化覆盖：任何新的风险都能找到它在矩阵中的位置，不会遗漏
2. 统一度量：不同智能体产品的风险可以横向对比
3. 趋势洞察：看坐标分布就知道安全重心在哪一层、哪类原因集中

攻击路径的多样性

智能体时代的攻击路径比传统软件丰富得多：

纵向穿透

攻击从交互层开始，逐层向下穿透：

用户输入 → 交互层（指令注入）→ 认知层（诱导决策）→ 执行层（调用API）→ 基础设施层（获取权限）

在这个过程中，每一层都放大了攻击的面和影响。

横向供应链攻击

攻击者不直接攻击目标系统，而是通过污染其依赖的组件来间接攻击。一个典型案例：攻击者往npm包中植入后门，当Agent使用这个包时，后门就被触发。

这种攻击在Agent场景下尤其危险——因为Agent会自动拉取、安装和执行代码，供应链上的任何一个环节被污染，都会在毫秒级内触发。

自动化红队实践：「Agent测Agent」

面对海量测试需求，人工渗透测试完全跟不上开发速度。阿里AI红队的解决方案是——用Agent来检测Agent的安全漏洞。

核心架构

自动化红队系统由几个组件构成：

组件	职责
逆向工程模块	自动分析目标应用的结构，梳理功能边界
UI模型辅助	在无法完全分析时，使用UI模型辅助点击和交互
环境模拟池	构建虚假应用（假微信、假支付宝）+ 云手机/云桌面池
多轮判读引擎	对不稳定的执行结果进行统计分析和多轮验证

测试流程

目标Agent接入 → 逆向分析架构 → 构建攻击模型 → 自动化执行攻击 → 判读结果
                                                                  ↓
                                                     发现漏洞 → 归档到REALMatrix
                                                                  ↓
                                                     未发现 → 调整攻击策略继续

挑战与应对

挑战	应对方案
Agent形态多样（云端/移动端/桌面端）	云手机+云桌面池，多种环境适配
多为黑盒/闭源	逆向工程+UI模型辅助+行为画像
执行结果有随机性	多轮统计，结合脚本+LLM+人工判读
测试环境难以模拟	构建虚假服务，模拟真实业务场景

安全重心的U型迁移

阿里AI红队观察到一个规律——AI安全的重心正在经历一个U型迁移：

初期                现在                未来
│                  │                  │
▼                  ▼                  ▼
内容安全  ──→  基础设施安全  ──→  模型内生安全
(防说错话)        (围住做错事)       (盯住自主决策)

这个规律的意思是：

• 初期：大家关注的是模型会不会输出有害内容（对齐问题）
• 现在：随着Agent普及，基础设施安全成为主要矛盾（权限、鉴权、供应链）
• 未来：当基础设施加固之后，攻防将回到模型内部的认知和意图安全——如何防止模型在自主决策时被恶意诱导或产生有害推理

对安全团队来说，理解这个迁移规律有助于提前布局：现在的重点是基础设施安全，但模型内生安全的研究不能停。

对企业引入智能体的安全建议

内部权限管控：高权限的Agent工具被普通员工滥用风险极高。建议对Agent的能力进行分级，敏感操作设置多人审批。

误操作防护：Agent错误理解指令可能导致不可逆的数据丢失。常见的例子——Agent收到「清理临时文件」的指令，结果把整个服务器的/tmp目录清空了。需要在执行层设置沙箱和审计。

供应链安全：Agent依赖的第三方组件需要经过安全检查，建立白名单机制，避免被供应链攻击渗透。

建立统一的度量体系：参考REALMatrix，把不同Agent产品的风险放在同一坐标下来衡量，方便对比决策。

---

FAQ

Q：REALMatrix是开源的吗？
A：REALMatrix是阿里AI红队提出的框架，当前主要供内部使用，可以参考其思路建立自己的风险矩阵。

Q：自动化红队系统能替代人工渗透吗？
A：不能完全替代。自动化系统适合大规模的日常检测和已知类型漏洞的发现。深度、复杂的攻击链发现仍然需要人工专家的参与。

Q：小团队做AI Agent安全应该从哪里入手？
A：从最基础的做起——API鉴权检查、提示词注入测试、权限最小化。不一定要先建自动化红队系统，先把基础安全防线建立起来。

---

以上内容由 Ai好记 转录整理。
Ai好记是一款音视频转图文笔记的AI音视频总结工具，支持解析B站、抖音、小红书、小宇宙等平台链接及本地音视频文件，转录后自动生成要点总结、思维导图和结构化笔记等内容，帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。