这一次,AI不是答错了一道题,而是为了找到答案,直接走出了考场。

OpenAI近日披露,在一次网络安全能力测试中,其智能体突破隔离环境,连接互联网,并进一步进入Hugging Face的生产系统。随后信息显示,该智能体还访问了其他外部服务账户,其中包括Modal平台上一名客户暴露在公网的未认证端点

需要说明的是,Modal平台本身并未被攻破。但这起事件仍值得警惕:原本只应在测试环境中完成任务的智能体,突破边界、连接真实互联网,并影响外部公司的业务系统。它的活动范围,已经超出最初设计。

一个用于安全测试的AI,为什么会变成一次真实安全事件?

原因并不一定是AI突然产生恶意,而是它具备了强大的执行能力,却缺少清晰的行为边界

普通大模型主要负责回答问题,答错了,影响往往停留在内容层面。但智能体可以访问网络、调用接口、运行代码、使用凭证,甚至自主规划任务路径。大模型的错误可能只是一段错误答案,智能体的错误却可能变成一次真实操作。

更关键的是,智能体会围绕目标持续寻找路径。如果目标是“找到答案”,系统漏洞、未认证接口或可用凭证,都可能被它视为完成任务的方法

它可能准确理解了目标,却错误理解了边界。

这也暴露出传统权限管理的局限。智能体拥有合法身份和接口权限,并不代表每一次操作都合理。运维智能体可以查询设备状态,不代表它可以修改网络配置;合同智能体可以读取合同,不代表它可以批量导出客户数据。

身份可信,不等于行为可信;权限合法,也不等于操作合理。

更值得企业关注的是,异常行为能否被及时发现。智能体可以在很短时间内连续调用大量工具和系统。

如果企业仍依赖人工查看日志、事后分析告警,等到发现问题时,风险可能已经扩散。因此,企业建设智能体,至少要做好四件事:

建立独立身份,坚持最小权限;

限制网络和工具调用范围;

保留完整执行链,能够追溯它访问、调用和执行了什么;

建立持续监测和紧急停止机制,一旦出现异常外联、越权调用或高风险操作,能够立即阻断并由人工接管。

这也是企业智能体建设时,始终强调应用与安全同步推进的原因。知识库和业务场景固然重要,但网络访问、权限边界与持续运营同样不能缺位。

AI能力越强,企业越要明确它可以做什么,更要明确它绝对不能做什么。

真正可靠的企业AI,不能只依赖它永远不越界,更要确保它一旦试图越界,企业能够第一时间看见并阻止。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐