📖标题：Group-Aware Reinforcement Learning for Output Diversity in Large Language Models
🌐来源：arXiv, 2511.12596 (EMNLP 2025)

🌟摘要

大型语言模型 (LLM) 经常受到模式崩溃的影响，即使存在许多有效答案，也会重复生成相同的少数完成，限制了它们在广泛的任务中的多样性。我们引入了组感知策略优化 (GAPO)，它是最近流行的组相对策略优化 (GRPO) 的简单扩展，它作为一个整体计算组的奖励。GPO 能够从多样性和覆盖率等组级属性中学习。我们使用频率感知奖励函数来演示GAPO，该函数鼓励对有效的LLM完成进行均匀采样，并表明GAPO训练的模型产生有效和更多样化的模型响应。除了这种设置之外，GAPO 可以推广到开放式提示并提高响应多样性，而不会损害标准 LLM 基准（GSM8K、MATH、HumanEval、MMLU-Pro）的准确性。我们的代码将公开。

🛎️文章简介

🔸研究问题：如何在大语言模型（LLM）的训练中改善输出的多样性，而不降低其连贯性和准确性？
🔸主要贡献：论文提出了一种名为Group-Aware Policy Optimization (GAPO)的强化学习方法，通过在训练过程中基于组级别的奖励函数来促进输出的多样性。

📝重点思路

🔸奖励函数设计：GAPO对于每个有效的输出项，奖励函数会对其出现的频率进行评估，并在奖励中惩罚出现频率较高的项，同时奖励那些较少出现的项。这样的设计使得模型可以学习到分散概率质量，从而避免生成重复的或高度偏向的输出。
🔸群体奖励计算：与GRPO通常会为每个单独的回合（rollout）分配固定的奖励不同，GAPO通过在组层面上计算奖励，这样认识到输出的多样性和覆盖情况。
🔸实验验证：进行了一系列实验来验证均匀抽样的效果，判断是否存在明显的选择偏好。

🔎分析总结

🔸GAPO训练的模型在从具有相同比例的列表中选择项时，在近乎均匀采样方面表现出优异的能力，显著增加了开放式提示的输出多样性。
🔸实验表明，GAPO在创意写作任务中（如诗歌、讲故事和对话）增强了输出的多样性，同时保持了准确性，未显著影响模型的连贯性。
🔸基于组奖励的设计有效平衡了不同有效输出之间的概率分布，缓解了大型语言模型的模式崩溃现象。

💡个人观点

论文核心是在组级奖励机制下，优化采样策略，改善了模型的输出多样。

🧩附录