AI回答错一个问题，可能只是一次信息错误。但当AI智能体已经能够读取企业数据、调用业务接口、发送邮件、创建工单，甚至修改系统配置时，一次错误判断，就可能直接转化为真实的业务操作。

当AI开始替企业“做事”，企业真的还能管住它吗？

7月19日，在2026世界人工智能大会高质量语料生态论坛上，中国工程院院士邬江兴发表《破解AI产品可信可用质量检测瓶颈问题》主旨演讲，提出构建AI内生安全质量检测体系，强调让人工智能成为“人类的可信工具，并始终处于人类控制之下”。

这一观点，对于正在加速推进AI应用落地的企业而言，具有重要提醒意义。

AI正在从助手变成“行动者”

过去，企业使用AI，主要用于内容生成、知识查询和辅助分析。

如今，AI智能体开始接入知识库、数据库、邮件、客服、工单和运维系统，并能够根据任务自主调用工具、执行流程。

企业关注的重点，不能再只停留在AI回答得是否准确，还必须知道：

• AI以什么身份访问系统；
• 获得了哪些数据和操作权限；
• 调用了哪些工具及外部服务；
• 执行过程能否记录和追溯；

AI最危险的可能不是“答错”，而是“做错”。

看似正常运行，目标可能已经改变

邬江兴院士指出，人工智能系统具有复杂的不确定性，传统依赖规则、外围防护和事后修补的方式，难以覆盖不断变化的AI运行风险。

例如，在一种可能的攻击场景中，一封包含恶意指令的邮件被智能体自动读取，随后诱导智能体调用企业接口、查询敏感信息，并将结果发送至外部。

整个过程中，智能体可能没有宕机，也没有明显报错，甚至仍在“正常完成任务”，但最终可能造成数据泄露、错误指令执行、关键配置被修改，乃至业务中断和合规处罚。

一个看似正常运行的智能体，执行目标可能已经被悄悄改变。

因此，AI安全不能只在出事后补救，而要建立贯穿设计、部署和运行全过程的检测、反馈与持续优化机制。

企业是否真正看得见自己的AI？

随着AI智能体进入业务流程，企业需要管理越来越多的“智能体身份”。

更现实的问题是，一些业务部门和员工可能已经自行使用公共大模型、AI插件、第三方智能体、自动化工具或非官方接口，而IT部门尚未形成完整的AI资产清单。

企业可能并不完全清楚：

• 内部正在使用多少AI工具；
• 它们接入了哪些系统；
• 能够访问哪些敏感数据；
• 数据是否流向外部模型或第三方服务。

如果这些问题没有明确答案，AI智能体就可能成为一个身份不清、权限过大、行为不可见的新风险入口。

目前企业至少要管住三件事：管住AI连接什么、管住AI能够做什么、看见AI刚刚做了什么

观点：让AI运行在安全边界内

当AI进入企业真实业务环境后，还必须进一步管住它的网络连接、Agent权限、运行主机和执行过程。

围绕企业AI智能体运行场景，通过网络围栏、行为围栏和主机围栏，分别管住AI连接什么、能够做什么，以及运行在哪里。

同时，依托NSCOC运营中心开展7×24持续监测、专家研判和事件闭环，帮助企业及时发现并处置AI运行过程中的异常风险。

结语

AI能力越强，企业越不能只关注它能做什么，还要关注它被允许做什么。

安全治理不是限制AI创新，而是企业敢于让AI访问更多数据、进入核心流程、承担更多任务的重要前提。

当企业的AI已经能够读取数据、调用工具和执行任务，我们至少应该能够回答三个问题：

它是谁？它能做什么？它刚刚做了什么？

只有这些问题始终有清晰答案，AI才能真正成为企业可信、可控的生产力。