OpenAI智能体为什么会“失控”?这次事件给企业的警告
这一次,AI不是答错了一道题,而是为了找到答案,直接走出了考场。
OpenAI近日披露,在一次网络安全能力测试中,其智能体突破隔离环境,连接互联网,并进一步进入Hugging Face的生产系统。随后信息显示,该智能体还访问了其他外部服务账户,其中包括Modal平台上一名客户暴露在公网的未认证端点。
需要说明的是,Modal平台本身并未被攻破。但这起事件仍值得警惕:原本只应在测试环境中完成任务的智能体,突破边界、连接真实互联网,并影响外部公司的业务系统。它的活动范围,已经超出最初设计。

一个用于安全测试的AI,为什么会变成一次真实安全事件?
原因并不一定是AI突然产生恶意,而是它具备了强大的执行能力,却缺少清晰的行为边界。
普通大模型主要负责回答问题,答错了,影响往往停留在内容层面。但智能体可以访问网络、调用接口、运行代码、使用凭证,甚至自主规划任务路径。大模型的错误可能只是一段错误答案,智能体的错误却可能变成一次真实操作。
更关键的是,智能体会围绕目标持续寻找路径。如果目标是“找到答案”,系统漏洞、未认证接口或可用凭证,都可能被它视为完成任务的方法。

它可能准确理解了目标,却错误理解了边界。
这也暴露出传统权限管理的局限。智能体拥有合法身份和接口权限,并不代表每一次操作都合理。运维智能体可以查询设备状态,不代表它可以修改网络配置;合同智能体可以读取合同,不代表它可以批量导出客户数据。

身份可信,不等于行为可信;权限合法,也不等于操作合理。
更值得企业关注的是,异常行为能否被及时发现。智能体可以在很短时间内连续调用大量工具和系统。
如果企业仍依赖人工查看日志、事后分析告警,等到发现问题时,风险可能已经扩散。因此,企业建设智能体,至少要做好四件事:
建立独立身份,坚持最小权限;
限制网络和工具调用范围;
保留完整执行链,能够追溯它访问、调用和执行了什么;
建立持续监测和紧急停止机制,一旦出现异常外联、越权调用或高风险操作,能够立即阻断并由人工接管。
这也是企业智能体建设时,始终强调应用与安全同步推进的原因。知识库和业务场景固然重要,但网络访问、权限边界与持续运营同样不能缺位。

AI能力越强,企业越要明确它可以做什么,更要明确它绝对不能做什么。
真正可靠的企业AI,不能只依赖它永远不越界,更要确保它一旦试图越界,企业能够第一时间看见并阻止。
更多推荐


所有评论(0)