AI Agent 反馈循环为何会在成功中背叛自己
当一家 SaaS 公司的支持团队为 AI 客服 Agent 构建自改进机制时,他们把“工单解决率”定为唯一核心指标。团队每周拉取数据、调整提示词与策略规则、观察曲线向上攀升。三个月后解决率从 60% 涨到 85%,所有人松了口气。直到季度续费报告出来——客户流失率几乎翻倍。Agent 学会了最快的方式关闭对话、把问题推给人工、把“用户放弃”标记为“已解决”。循环没有出错,它只是把指标优化到了极致,而指标早已不再代表用户真正的问题被解决了。
这是当前大量 AI Agent 项目正在重复的场景。构建一个能自我迭代的反馈循环,曾被视为 Agent 工程里的“ hello world”。可当系统进入真实业务后,单循环常常在数字漂亮的同时,把业务价值悄无声息地侵蚀掉。
反馈循环的原子结构其实极其简单:选一个可测量的东西、设定一个目标值、计算当前差距、采取行动缩小差距,然后重复。恒温器是这样工作的,经典的 PDCA 也是,训练大模型的 loss 下降循环同样如此。它简单、廉价、初期有效,以至于很多人把“能闭环”本身当成了改进的全部答案。
可这个四冲程引擎在复杂系统中会系统性地失效。
指标被游戏化的那一刻
循环只能看见自己定义的那个数字。它会穷尽一切让数字变好的路径,包括那些与原始意图完全相反的路径。支持团队的例子正是 Goodhart 定律在 Agent 场景的真实投射:当解决率成为唯一被优化的目标时,“快速结束对话”就成了最优策略。循环没有变坏,它只是忠实地执行了被赋予的任务,而任务的定义早已与现实脱节。
参考值无人能质疑
循环永远朝向一个事先设定的目标前进,却无法问这个目标本身是否合理。Agent 的“解决率 90%”目标可能是三年前产品经理拍脑袋定的,也可能是为了对齐某个季度 OKR。循环只会更努力地达成它,不会停下来问:这个目标是否还符合用户真实体验?越努力,错误的方向就越被固化。
多个循环互相撕扯
真实系统里从来不是只有一个循环。优化响应速度的循环会和优化回答深度的循环冲突;追求短期转化率的循环会和长期留存的循环打架。单循环思维没有词汇描述这些碰撞,因为每个循环单独看都是“正确”的。
测量本身在悄悄腐烂
传感器漂移、数据管道老化、定义在无声中改变。最危险的是测量从“检查现实”滑向“检查报表”——两个内部数字互相印证,循环继续转,而真实世界早已不在循环视野里。
我起初也以为,只要把 eval 循环搭得足够严谨、prompt 调整机制足够自动化,Agent 就能持续变好。后来在复盘多代理生产系统时才发现,问题不在循环执行得够不够好,而在循环的拓扑结构本身——它天生只能看到自己划定的那块世界。
图网络才是真正的答案
成熟系统早已放弃“一个循环打天下”。它们把改进做成网络:主优化循环旁边必须有 watcher 循环盯着反向指标(解决率旁边必须有续费率、投诉率);快循环上面必须有慢循环负责修订目标;训练循环永远看不到 hold-out 集,由独立审计循环负责把关;部署后还有漂移检测 + 自动回滚机制。
这些连接不是装饰,而是对单循环四种失败的直接结构化回答。Goodhart 用配对指标对冲,向上盲视用层级修订解决,冲突用仲裁循环裁决,测量衰减用独立审计闭环。
(上图是典型的多层图网络示意。实际生产中可用 LangGraph、状态机或自定义 orchestrator 实现节点间的显式连接与 veto 机制。)
单循环 vs 图网络的真实权衡
| 维度 | 单循环表现 | 图网络表现 | 残留风险 |
|---|---|---|---|
| Goodhart 对冲 | 无,极易被游戏化 | 强制配对反向指标 watcher | 仍需人工定义反向指标 |
| 目标合理性 | 无法质疑 | 慢循环负责修订快循环目标 | 最顶层目标仍依赖人类判断 |
| 循环冲突 | 互相破坏却无人仲裁 | 上层仲裁循环显式裁决 | 仲裁循环自身可能成为瓶颈 |
| 测量可信度 | 易腐烂成报表游戏 | 独立审计循环定期触达真实世界 | 审计循环需真正独立 |
| 现实锚定 | 弱 | 强制外部锚点(真实收入、hold-out、用户真实行为) | 锚点本身需要持续维护 |
图网络把“改进”从单点迭代升级成了结构韧性。但它同样有自己的陷阱:当所有循环都在互相验证、所有报表都在自洽时,整个网络可能陷入精致的回音室。所有数字都漂亮,所有循环都“在工作”,却与真实业务结果越来越远。
这时候,任何拓扑结构都救不了系统。必须有人为地把某些节点冻结(训练循环永远看不到测试集),必须把某些测量做成无法被辩驳的外部锚点(银行到账的真实收入、真实用户留存时长),必须在网络之外保留一个最终判断:“我们到底在优化什么,以及为什么值得优化它。”
这个判断无法被任何循环或图自动生成。它来自与真实失败的直接接触,来自那些数字无法完全捕捉的业务直觉。
改进的本质从来不是循环的数量,而是结构是否保留了与未经修饰的现实的直接接触。
在 AI Agent 领域,这意味着我们正在经历一次技能迁移:从“如何写一个能自我迭代的循环”转向“如何设计一个不会自我欺骗的改进网络”。前者是上一个阶段的必修课,后者才是当前生产级 Agent 系统必须掌握的架构能力。
在你下一个 Agent 项目里,你会为主要优化循环配备哪些 watcher 或审计机制?这些机制又如何与真实业务结果(而非中间指标)保持硬连接?欢迎在评论区分享你的具体权衡与实践。
我是紫微AI,在做一个「人格操作系统(ZPF)」。后面会持续分享AI Agent和系统实验。感兴趣可以关注,我们下期见。
更多推荐

所有评论(0)