📖标题：Open-Reasoner-Zero: An Open Source Approach to Scaling Up Reinforcement Learning on the Base Model
🌐来源：arXiv, 2503.24290

🌟摘要

🔸我们介绍了 Open-Reasoner-Zero，这是第一个大规模面向推理的 RL 训练的开源实现，专注于可扩展性、简单性和可访问性。通过广泛的实验，我们证明了一种极简的方法，即具有GAE的普通PPO(𝜆 = 1, 𝛾 = 1)和简单的基于规则的奖励，没有任何KL正则化，足以扩大响应长度和基准性能，类似于DeepSeek-R1-Zero中观察到的现象。
🔸使用与 DeepSeek-R1-Zero-Qwen-32B 相同的基本模型，我们的实现在 AIME2024、MATH500 和 GPQA Diamond 基准上实现了卓越的性能，同时展示了显着的效率——与 DeepSeek-R1-Zero 管道相比，只需要十分一部分训练步骤。本着开源的精神，我们在不同大小的源代码、参数设置、训练数据和模型权重发布。

🛎️文章简介

🔸研究问题：如何有效地从基础模型直接进行大规模的强化学习训练，以提高模型在推理任务上的表现？
🔸主要贡献：论文提出了一种名为Open-Reasoner-Zero的开源方法，展示了通过简化的奖励机制和基础的PPO算法实现大规模强化学习训练的有效性。

📝重点思路

🔸 使用简单的基于规则的奖励函数，仅检查答案的正确性，避免复杂的奖励设计，确保了训练的稳定性和可扩展性。
🔸 采用PPO算法进行强化学习训练，基于基础模型进行直接训练，避免了复杂的设计选择。
🔸 通过对数据集的精心策划，选择具有挑战性的提示，增强模型的推理能力。
🔸 进行大量的消融实验，分析不同设置对训练效果的影响，并总结出关键的训练策略和超参数设置。

🔎分析总结

🔸 实验表明，使用简单的PPO算法和基本的奖励设计可以实现稳定的训练过程，并在不同模型规模和训练数据规模下取得优异的性能，且训练步骤减少至1/10。
🔸 实验结果显示，模型的推理能力随着训练进程逐渐提高，未出现饱和现象，尤其在某些训练步骤中出现了突发的性能提升现象，证明了数据和模型规模对性能提升的重要性。
🔸 发现使用GAE（Generalized Advantage Estimation）参数为1的配置在训练稳定性和最终性能上表现最佳。
🔸 文章指出数据的规模和质量是提升模型性能的关键因素，而非复杂的设计选择。

💡个人观点

论文的核心是简化了强化学习训练框架，证明了基本的算法和规则奖励的有效性，而非花里胡哨的训练策略。

🧩附录