近年来，大型语言模型（LLM）在各类任务中表现出色，但在经过“对齐训练”（如基于人类反馈的强化学习RLHF）后，模型往往会出现一种称为**模式崩溃（Mode Collapse）**的现象。简单来说，就是模型在面对一个开放性问题时，倾向于反复生成几种“最典型”的回答，而不是展现出其预训练阶段学到的丰富多样性。例如，当你让模型“讲一个关于咖啡的笑话”时，它可能每次都输出同一个笑话，而不是像人类那样创造出多种不同的笑点。

这种现象严重限制了LLM在创意写作、社交模拟、开放式问答等需要多样性的场景中的应用效果。以往的研究多将模式崩溃归因于算法缺陷，例如奖励模型设计不当或优化过程偏好多数派答案。但这篇论文提出了一个全新的视角：模式崩溃的根本原因，其实隐藏在人类偏好数据本身。具体来说，是人类标注者在评判模型输出时，无意识地偏爱那些“熟悉、流畅、典型”的文本，这种心理倾向被称为典型性偏见（Typicality Bias）。

• 论文：Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity
• 链接：https://arxiv.org/pdf/2510.01171

基于这一洞见，作者提出了一种简单却强大的方法——Verbalized Sampling（VS）。这种方法不需要重新训练模型，只需在推理时改变提示方式：不再直接要求模型生成一个答案，而是让它同时生成多个答案，并为每个答案附上其出现的概率。例如，提示改为：“生成5个关于咖啡的笑话，并给出每个笑话的概率”。实验证明，这种方法能有效恢复模型的原始多样性，且在多个任务中显著提升性能，同时不损害事实准确性与安全性。

模式崩溃的根源：典型性偏见

什么是典型性偏见？

典型性偏见指的是人类在面对多个选项时，更倾向于选择那些“看起来更熟悉、更典型”的内容。这种现象在认知心理学中早有研究，例如：

• 单纯曝光效应：人们更喜欢自己熟悉的事物。
• 可用性启发：容易回忆起来的内容被认为更可能发生。
• 处理流畅性：易于理解的信息被自动认为是更真实、更高质量的。

在LLM的对齐训练中，人类标注者会根据这些心理倾向来评判模型输出的“好坏”，导致奖励模型学习到一种偏见：越是典型的回答，得分越高。

理论建模与数学表达

为了量化典型性偏见，作者将奖励函数建模为：

其中：

• 是回答的真实效用（如正确性）；
• 是基座模型（未对齐的预训练模型）给出回答 的概率；
• 是典型性偏见的权重；
• 是噪声项。

这个公式表明，即使两个回答在真实效用上相同，标注者也会偏爱基座模型认为更典型的那个。作者在多个偏好数据集（如HelpSteer）上验证了 ，证实了典型性偏见的存在。

典型性偏见如何导致模式崩溃？

作者进一步推导出，在RLHF优化目标下，最优策略会变为：

其中 。这意味着对齐模型的输出分布会被“锐化”，概率质量向基座模型的模式集中。当多个回答在真实效用上相当时（例如创意任务），典型性偏见就成为“决胜局”，导致模型只输出最典型的那个回答，从而引发模式崩溃。

模式崩溃的示意图

Verbalized Sampling（VS）方法详解

VS的核心思想

既然对齐模型在实例级提示下会崩溃到基座模型的“模式”，那么如果我们换一种提示方式，是否能引导模型恢复多样性？VS正是基于这一直觉：通过让模型“自我报告”其概率分布，我们可以绕过对齐带来的锐化效应，直接逼近基座模型的原始分布。

三种提示策略对比

论文将提示策略分为三类：

1. 实例级提示（如“讲一个笑话”）：模型输出一个答案，通常是最典型的那个。
2. 列表级提示（如“讲5个笑话”）：模型输出一个列表，但概率分布是均匀的，无法反映真实分布。
3. 分布级提示（VS）（如“讲5个笑话并给出概率”）：模型输出答案及其概率，能近似基座模型的真实分布。

对比不同提示方法的具体设置，包括调用次数、候选数、提示示例等。

VS的变体

• VS-Standard：标准版本，一次生成多个答案及其概率。
• VS-CoT：加入思维链（Chain-of-Thought），让模型先推理再生成。
• VS-Multi：多轮对话形式，分多次生成答案，适合长对话任务。

概率调优与多样性控制

VS还允许用户通过调整概率阈值来“调优”多样性。例如，提示模型“生成概率低于0.05的答案”，可以迫使模型探索更多低概率但有趣的选项。

通过概率阈值调优多样性在诗歌、故事、笑话任务中的效果

实验设计与结果分析

任务概览

论文在以下四类任务中全面评估VS：

1. 创意写作：诗歌续写、故事生成、笑话创作。
2. 对话模拟：使用PersuasionForGood数据集模拟劝捐对话。
3. 开放式问答：如“列举美国州名”，评估答案覆盖范围。
4. 合成数据生成：生成数学题目，用于下游模型训练。

关键发现

• 多样性显著提升：在创意写作中，VS将多样性提升1.6–2.1倍，恢复基座模型约66.8%的多样性。
• 质量不受损：尽管多样性增加，答案质量（如事实准确性、安全性）并未下降。
• 模型规模效应：越大的模型（如GPT-4.1、Gemini-2.5-Pro）从VS中获益越多。
• 人类评估支持：在故事、诗歌、笑话任务中，人类标注者认为VS生成的答案更具多样性。

人类评估中VS在多样性评分上显著高于基线方法

VS在对话模拟中生成的捐款金额分布更接近人类真实行为

消融研究

• 温度与解码策略：VS与温度调节、top-p、min-p等方法正交，可结合使用进一步优化多样性-质量权衡。
• 候选数 ：增加 能提升多样性，但可能轻微降低质量；VS在所有 下均优于基线。
• 概率定义格式：使用“概率”或“置信度”等不同表述对效果影响不大，但“显式概率”格式通常表现最佳。

温度调节对VS多样性-质量权衡的影响

讨论与启示

VS的优缺点

• 优点：

• 无需训练，即插即用。
• 适用于闭源和开源模型。
• 在多样性、真实性、安全性之间取得良好平衡。

• 缺点：

• 计算成本较高（需生成多个答案）。
• 对小模型效果有限，因其推理和指令遵循能力较弱。

对齐方法的再思考

论文指出，模式崩溃不是算法缺陷的必然结果，而是人类偏好数据中固有偏见的体现。这提示我们：

• 未来需设计更公平、更多元的奖励模型。
• 对齐目标应从“单一最优”转向“多元共存”。

未来方向

• 奖励模型去偏：通过后校准或众包评分减少典型性偏见。
• 推理时扩展：将VS与强化学习结合，增强探索效率。
• 复杂任务验证：将VS应用于代码生成、科学推理等更复杂领域。

本论文首次从数据层面揭示了模式崩溃的根本原因——人类偏好数据中的典型性偏见，并提出了一种简单有效的推理时解决方法——Verbalized Sampling（VS）。VS通过让模型“自我报告”答案概率分布，成功恢复了对齐过程中丢失的多样性，在创意写作、对话模拟、开放式问答和合成数据生成等任务中均取得显著提升。

这项研究不仅为解决模式崩溃问题提供了新思路，也启示我们：LLM的潜力远未被充分释放，只需改变提问方式，就能唤醒其内在的创造力。未来，我们期待看到VS在更多实际场景中的应用，以及更公平、更多元的对齐方法的出现。

如何学习AI大模型？

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓