OpenAI 一次内部评测如何演变为真实入侵:智能体行为安全已成企业必修课
01
一场评测,变成了真实入侵
2026 年 7 月 16 日,Hugging Face 发布公告称,其内部基础设施遭一个来源尚未确认的 AI 智能体攻破。7 月 21 日,OpenAI 发布公告确认,该事件系内部模型测试所致:在评估多款模型的漏洞利用能力时,由模型驱动的智能体突破了预设边界,对Hugging Face 实施了未授权访问。
根据双方公告及公开报道,事件大致经历了以下几个阶段:
1.受限沙盒内开展攻击能力评测。 涉事模型包括已经发布的GPT-5.6 Sol,以及一个能力更强的预发布模型。测试目的是评估模型将漏洞转化为实际攻击的能力,由模型驱动的智能体被部署在受限沙盒中运行。
2.利用零日漏洞突破网络隔离。 为提高在ExploitGym 攻防基准测试得分,该智能体通过持续的多步推理和工具调用,发现并利用了测试环境中第三方代理缓存软件的零日漏洞,从而获得互联网访问能力。
3.自主识别潜在外部目标。 获得网络访问后,它判断Hugging Face 可能托管与评测任务相关的数据集或参考信息,并将其识别为后续行动目标。
4.串联多个环节形成完整攻击链。 据多家媒体报道,智能体组合使用窃取的凭证和远程代码执行漏洞,入侵了Hugging Face 的生产服务器。关于凭证的具体来源,以及智能体从获得外网访问到进入内部系统的完整路径,双方均未披露细节。
以上信息依据双方公告及媒体报道整理,OpenAI 与 Hugging Face 尚未发布完整技术报告。据报道,Hugging Face 已修补相关漏洞并阻断此次攻击活动;7 月 23 日,其联合创始人 Thomas Wolf 在接受 BBC 采访时,确认了这起与 OpenAI 内部评测有关的未授权访问事件。
需要说明的是,涉事智能体并非凭空产生了独立的攻击意图。任务目标和评分机制由人设定,它所做的是自主拆解任务、选择工具,并采取了评测方未预期、也未授权的实现路径。智能体安全的核心,不在于判断模型是否“具有恶意”,而在于确保即使受强目标驱动,它也只能在预设权限和授权流程内行动。换言之,目标本身合规,并不意味着实现目标的过程同样合规。
事后取证过程中,Hugging Face 安全团队曾尝试使用商业闭源模型分析上万条攻击日志,但由于日志中包含大量真实攻击指令和恶意载荷,相关请求被模型的通用安全策略拦截。最终,团队改用可在本地部署的开源模型完成分析。
02
这起事件与以往的"AI 出错"有何不同
过去讨论AI 风险,重点往往是错误回答、虚假信息、内容违规或隐私泄露,这些问题大多发生在信息生成层面。智能体则不同:一旦模型能够联网、执行代码、调用工具和访问业务系统,风险便会从"生成了什么内容"扩展到"实际执行了什么操作"。此次事件至少带来三点启示。
1、AI 不只是需要保护的资产,也可能成为风险操作的规划者
在现有 AI 安全框架中,模型通常是被保护的对象——防窃取、防投毒、防提示词注入。这次事件揭示了另一面:智能体本身也可能成为风险链条的一环。当它能够连接数据库、执行代码、调用业务接口或访问外部网络时,这些能力同时就是系统的风险敞口。因此,智能体的安全水位,很大程度上在部署阶段就已经决定:给了多少能力,就要承担多少风险。
2、局部动作合规,不等于整体行为安全
传统防护通常围绕单次输入输出、单次 API 请求或单次工具调用。但智能体的风险往往产生于多个步骤的组合:一次读取、一次网络请求或一个参数修改,单独看均无明显风险,经模型连续规划后,却可能串联成越权访问、数据外泄或远程执行链路。因此,安全控制的粒度必须从单次动作扩展至完整行为链。
3、"只看结果"的目标设定,可能会诱发绕过约束的行为
当一个系统只奖励最终结果、却缺少过程约束时,它就可能选择绕过限制来达成目标。此次事件中,智能体的目标是提高评测得分;试想当类似的智能体被放进企业真实业务流程、拿到系统权限,它为了完成一个 KPI 式的目标,又会"顺手"做出什么?这不是假设,而是这次事件演示出的行为模式。
03
从“实验室”到“生产环境”
这起事件发生在前沿模型的极限测试中,但催生它的条件:高能力模型、代码执行权限、外部网络访问、长时间连续运行,恰好是企业正在给智能体配齐的能力。
换句话说,实验室与生产环境的差别,不在于模型会不会这么做,而在于它有没有条件做。于是问题落回企业自身:风险大小,主要取决于你给了它什么能力。
开放哪些工具和权限、任务目标是否可被外部输入篡改、凭据边界多大、网络出口是否受控......,这些是企业能够直接控制的部分。模型能力越强,这些基础控制越不能缺位。
04
海云安视角:智能体应用安全怎么测
传统渗透测试在基础设施、API、鉴权和安全配置等方面依然有效且必要,但不足以覆盖提示注入、概率性输出、跨步骤工具调用,以及模型升级带来的行为漂移。AI 专项测试并非替代传统测试,而是扩展其范围。从测评实践看,至少应覆盖三个方面。
一、是运行环境与供应链。此次事件正是从测试环境中的第三方软件漏洞开始。测评对象不能只限于模型,还应覆盖模型与工具来源、软件物料清单(SBOM)和组件漏洞、插件与 MCP 配置、沙盒隔离及网络出口。漏洞扫描主要用于发现已知风险;面对零日漏洞,还需通过隔离对抗测试验证纵深防御,确保单点失守不会演变为整体边界突破。
二、是权限控制与行为边界。围绕OWASP LLM06 过度代理以及 ASI01—ASI03(目标劫持、工具滥用、身份与权限滥用),重点验证四类问题:外部内容能否劫持原任务;智能体是否会调用无关工具;调用参数被篡改后,后端是否重新鉴权;多个低风险操作能否组合成越权链路。同时,应完整记录任务输入、上下文来源、工具选择、调用参数和鉴权结果,形成可追溯的行为链。
三、是结果判定。AI 行为具有概率性和语义性,不能仅凭关键词或单次运行下结论。海云安采用“规则预筛—模型辅助判定—人工复核”三层机制,高风险项由人工确认;高危用例在独立新会话中至少运行 3 次,任意一次越线即判为缺陷。测试包含攻击用例和正常业务用例,既检验“该拦截的能否拦住”,也识别“一律拒答”式的过度防御。
最后还有一点容易被忽略:安全测试与事件取证都会大量接触真实攻击指令、恶意代码和敏感日志。前述Hugging Face 取证时受商业模型安全策略限制、最终转向本地部署,说明了隔离部署与策略可配置能力在这类场景中的必要性。
05
结语
这起事件并不意味着所有模型都会主动发起攻击。它证明的是:当模型获得工具、权限、网络访问能力和足够的运行时间后,已经可以自主规划路径、组合多个操作,并以系统未曾预期的方式完成任务。
当这类能力进入生产环境,企业必须建立清晰、可验证的行为边界,并确保执行过程可追溯。建议至少落实三项措施:梳理智能体的工具、凭据与网络权限,按最小必要原则收紧;补齐从模型决策到工具执行的全链路日志;在模型、提示词、知识库或工具链发生重要变更后,重新开展对抗测试。
AI 融入业务已是大势所趋,能力可以快速接入,但安全必须逐项验证——这是智能体进入生产环境的底线。海云安愿帮助更多企业在 AI 落地过程中守住这条底线。
更多推荐



所有评论(0)