【文献笔记】Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate

c769

1079人浏览 · 2025-06-26 10:23:59

c769 · 2025-06-26 10:23:59 发布

Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate
原文代码：https://github.com/Skytliang/Multi-Agents-Debate

标题翻译：通过多代理辩论促进大语言模型中的发散性思维

1. 内容介绍

1.1. 背景

LLM在复杂推理任务上仍然有问题，解决方法的一个代表性的策略是自我反思，但它高度依赖于LLM的自我评估能，没有保证

这种自我反思存在"思维退化" ( Degenation-of-Throught，DoT )问题：一旦LLM对其解决方案建立了信心，即使其最初的立场不正确，也无法通过反思产生新的想法

为了解决DoT问题，提出了一个多代理辩论( Multi-Agent Debate，MAD )框架：多个代理以“针锋相对”的状态表达他们的论点，一名裁判管理辩论过程以获得最终解决方案。MAD框架鼓励LLM的发散思维，这对需要深层思考的任务非常有帮助

造成DoT问题的原因：

偏见和扭曲的观念：在预训练期间从大量数据中学到了偏见或扭曲思维，自我反思过程可能会本能地得出不准确的结论
僵化和对变化的抵制：自我反思通常涉及挑战自己的信念的行为。如果一个LLM抵制变化，可能会难以进行有意义的自我反思
有限的外部反馈：自我反思主要是一个内部过程，但外部反馈可以提供有价值的观点和见解。如果不考虑外部反馈，LLM可能会忽略重要的盲点

MAD框架核心思想：

一个代理人的扭曲思维可以被其他人纠正；
一个代理人对变化的抵抗会被其他人补充；
每个代理人可以从其他人那里获得外部反馈

因此，MAD缓解了DoT，可以探索不同的思维链，以达到准确的答案

与之前Du的LLM多代理辩论(文献笔记)的区别：

引入了一个具有自适应中断机制的额外裁判，来决定辩论的最佳结束时机
工作旨在解决LLM的DoT问题
凭经验证明，MAD框架可以使用增强具有相同LLM的代理的性能

反直觉算术推理的例子：

两圆外切，不存在相对滑动。圆A的半径为圆B的半径的1 / 3，圆A绕圆B滚动一周回到起点。圆A总共旋转多少圈

在这里插入图片描述

2. 研究方法

MAD框架三个组件：

元提示词（Meta Prompts）：介绍要解决的主题、辩手数量、迭代限制以及其他要求，控制了辩论的激烈程度
辩手（Debater）：在框架中涉及N个辩论者Di。在每次辩论迭代中，辩论者Di按固定顺序依次发言，并根据先前的辩论历史H表达自己的论点
裁判(Judge)：一个裁判J来管理和监控整个辩论过程。包含两种不同的模式：(a)辨别模式，在这种模式下，裁判J决定在当前迭代中所有辩论者完成他们的论点后是否可以得到正确的解决方案；(b)提取模式，裁判J需要根据整个辩论历史H提取最终解决方案,因为在辩论的迭代限制内未找到正确解决方案。

3. 实验

3.1. 实验设置：

5基线：
- 自我反思（Self-Reflect）：这种方法要求LLM在将其翻译完善之前不断反思，直到认为输出令人满意
- 重新排名（Rerank）：对LLM的翻译进行四次抽样，然后根据质量估计（QE）选择最佳候选
- 地图（MAPS）：这种方法使LLM能够模仿人类翻译过程，在翻译之前先进行分析
- 思维链（CoT）：这种方法用一个触发性提示词“让我们一步一步地思考”连接到测试问题上
- 自我一致（Self-Consistency）：该方法对多个回答进行采样，并通过多数投票确定最终答案
任务：通过两项具有挑战性的任务对自然语言生成和理解进行了实验，即常识机器翻译（Common MT）和反直觉算术推理（Counter-Intuitive AR）。这两项任务的共同特点是，仅基于问题的表面表达直觉大多是错误的，需要更深层次的思考才能得到更好的答案。
1. 常识机器翻译Commonsense Machine Translation：Common MT数据集由很多中译英组成，用于检查翻译模型解决三种模糊性的能力，包括词汇模糊和无上下文/有上下文的句法模糊。每个源句的真实翻译都需要对常识知识有适当的理解。虽然这些含糊不清的句子可能看似有一个直接的翻译，但这种字面解释是错误的。未能识别和解决这种歧义可能导致不准确的翻译。
  评估指标：采用自动指标如COMET6和BLEURT7等LLM翻译文献广泛采用的评估指标，还聘请专业人类翻译人员直接评估翻译结果，用1到5的范围评估翻译质量（3个专业评估人取平均分）
2. 反直觉算术推理Counter-Intuitive Arithmetic Reasoning：造了一个数据集CIAR，主要是两个作用：
  1. 反直觉：问题中隐藏的陷阱，直觉上的答案通常是不正确的，用来评估LLM抵抗肤浅陷阱的能力。
  2. 多步推理：数据集中的每个正确答案都需要严格的多步推理过程，从而评估LLM参与复杂决策和问题解决的能力
    评估指标：用准确率（ACC）评估

3.2. 结果

实验结果表明，MAD框架优于基准方法

在这里插入图片描述

3.3. 常识机器翻译：

更注重特定单词的翻译准确性以及它们是否符合常识，引入了人类评估指标

在这里插入图片描述

由于DoT问题，自我反思无法纠正字面翻译。

在这里插入图片描述

而提出的MAD框架，可以探索不同的思维链，生成正确的翻译

3.4. 反直觉算术推理

通过生成的token数量来衡量成本，CoT方式为基准1，成本很大

在这里插入图片描述

但考虑到MAD在增强LLMs的发散性思维能力方面所提供的显著优势而不需要外部信号（与人类互动），这种成本增加被认为是可以接受的

在这里插入图片描述

MAD准确性最好，但不如GPT-4

3.5. 定性分析：主要在常识翻译上测试

3.5.1. DoT的缓解分析

Bias：观察到LLMs经常依赖直觉，这可能导致不正确或不恰当的反应。所以利用人类评估来确定LLMs的模糊错误率，检查LLM的输出是否存在bias
多样性：LLMs对改变答案持抗拒态度且缺乏多样性反思。翻译的多样性是使用Self-BLEU分数进行评估的。更高的Self-BLEU分数意味着更低的多样性。通过以下方式计算文本多样性：Diversity = 100 − Self_BLEU (Cand1, Cand2)

在这里插入图片描述

MAD框架能减少偏差，增加多样性，缓解DoT问题

3.5.2. 对裁判的定性研究

在这里插入图片描述

具有一个弱裁判和强大辩手比反之效果好。主要还是辩手回答的质量显著影响了MAD的性能上限，裁判的LLM规模不是那么重要

在使用不同LLM模型作为辩手时，裁判可能不公正
- 通过计算裁判在不同情况下选择哪个辩手答案作为最终解决方案的次数来研究代理的行为
- 当裁判和辩手全部使用同一个LLM时：裁判更偏袒反方，因为在面对复杂任务时，正方往往会犯错，反方会来纠正
- 在使用不同llm时：发现裁判更偏袒于选择和自己一样的LLM