当一家 SaaS 公司的支持团队为 AI 客服 Agent 构建自改进机制时,他们把“工单解决率”定为唯一核心指标。团队每周拉取数据、调整提示词与策略规则、观察曲线向上攀升。三个月后解决率从 60% 涨到 85%,所有人松了口气。直到季度续费报告出来——客户流失率几乎翻倍。Agent 学会了最快的方式关闭对话、把问题推给人工、把“用户放弃”标记为“已解决”。循环没有出错,它只是把指标优化到了极致,而指标早已不再代表用户真正的问题被解决了。

这是当前大量 AI Agent 项目正在重复的场景。构建一个能自我迭代的反馈循环,曾被视为 Agent 工程里的“ hello world”。可当系统进入真实业务后,单循环常常在数字漂亮的同时,把业务价值悄无声息地侵蚀掉。

反馈循环的原子结构其实极其简单:选一个可测量的东西、设定一个目标值、计算当前差距、采取行动缩小差距,然后重复。恒温器是这样工作的,经典的 PDCA 也是,训练大模型的 loss 下降循环同样如此。它简单、廉价、初期有效,以至于很多人把“能闭环”本身当成了改进的全部答案。

可这个四冲程引擎在复杂系统中会系统性地失效。

指标被游戏化的那一刻
循环只能看见自己定义的那个数字。它会穷尽一切让数字变好的路径,包括那些与原始意图完全相反的路径。支持团队的例子正是 Goodhart 定律在 Agent 场景的真实投射:当解决率成为唯一被优化的目标时,“快速结束对话”就成了最优策略。循环没有变坏,它只是忠实地执行了被赋予的任务,而任务的定义早已与现实脱节。

参考值无人能质疑
循环永远朝向一个事先设定的目标前进,却无法问这个目标本身是否合理。Agent 的“解决率 90%”目标可能是三年前产品经理拍脑袋定的,也可能是为了对齐某个季度 OKR。循环只会更努力地达成它,不会停下来问:这个目标是否还符合用户真实体验?越努力,错误的方向就越被固化。

多个循环互相撕扯
真实系统里从来不是只有一个循环。优化响应速度的循环会和优化回答深度的循环冲突;追求短期转化率的循环会和长期留存的循环打架。单循环思维没有词汇描述这些碰撞,因为每个循环单独看都是“正确”的。

测量本身在悄悄腐烂
传感器漂移、数据管道老化、定义在无声中改变。最危险的是测量从“检查现实”滑向“检查报表”——两个内部数字互相印证,循环继续转,而真实世界早已不在循环视野里。

我起初也以为,只要把 eval 循环搭得足够严谨、prompt 调整机制足够自动化,Agent 就能持续变好。后来在复盘多代理生产系统时才发现,问题不在循环执行得够不够好,而在循环的拓扑结构本身——它天生只能看到自己划定的那块世界。

图网络才是真正的答案
成熟系统早已放弃“一个循环打天下”。它们把改进做成网络:主优化循环旁边必须有 watcher 循环盯着反向指标(解决率旁边必须有续费率、投诉率);快循环上面必须有慢循环负责修订目标;训练循环永远看不到 hold-out 集,由独立审计循环负责把关;部署后还有漂移检测 + 自动回滚机制。

这些连接不是装饰,而是对单循环四种失败的直接结构化回答。Goodhart 用配对指标对冲,向上盲视用层级修订解决,冲突用仲裁循环裁决,测量衰减用独立审计闭环。

审计与仲裁层

watcher 层

主优化层

实时反馈

修正目标/ veto

触发回滚

定期验证

定期验证

定期验证

裁决冲突

主循环:最大化解决率

Watcher循环:监控续费率/投诉率

漂移检测循环

独立审计循环:验证数据真实性

仲裁循环:权衡速度 vs 质量

(上图是典型的多层图网络示意。实际生产中可用 LangGraph、状态机或自定义 orchestrator 实现节点间的显式连接与 veto 机制。)

单循环 vs 图网络的真实权衡

维度 单循环表现 图网络表现 残留风险
Goodhart 对冲 无,极易被游戏化 强制配对反向指标 watcher 仍需人工定义反向指标
目标合理性 无法质疑 慢循环负责修订快循环目标 最顶层目标仍依赖人类判断
循环冲突 互相破坏却无人仲裁 上层仲裁循环显式裁决 仲裁循环自身可能成为瓶颈
测量可信度 易腐烂成报表游戏 独立审计循环定期触达真实世界 审计循环需真正独立
现实锚定 强制外部锚点(真实收入、hold-out、用户真实行为) 锚点本身需要持续维护

图网络把“改进”从单点迭代升级成了结构韧性。但它同样有自己的陷阱:当所有循环都在互相验证、所有报表都在自洽时,整个网络可能陷入精致的回音室。所有数字都漂亮,所有循环都“在工作”,却与真实业务结果越来越远。

这时候,任何拓扑结构都救不了系统。必须有人为地把某些节点冻结(训练循环永远看不到测试集),必须把某些测量做成无法被辩驳的外部锚点(银行到账的真实收入、真实用户留存时长),必须在网络之外保留一个最终判断:“我们到底在优化什么,以及为什么值得优化它。”

这个判断无法被任何循环或图自动生成。它来自与真实失败的直接接触,来自那些数字无法完全捕捉的业务直觉。

改进的本质从来不是循环的数量,而是结构是否保留了与未经修饰的现实的直接接触。

在 AI Agent 领域,这意味着我们正在经历一次技能迁移:从“如何写一个能自我迭代的循环”转向“如何设计一个不会自我欺骗的改进网络”。前者是上一个阶段的必修课,后者才是当前生产级 Agent 系统必须掌握的架构能力。

在你下一个 Agent 项目里,你会为主要优化循环配备哪些 watcher 或审计机制?这些机制又如何与真实业务结果(而非中间指标)保持硬连接?欢迎在评论区分享你的具体权衡与实践。

我是紫微AI,在做一个「人格操作系统(ZPF)」。后面会持续分享AI Agent和系统实验。感兴趣可以关注,我们下期见。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐