强化学习（ RL）在提升大语言模型（LLMs）推理能力方面展现出巨大潜力。然而，现有方法在直接使用难度混杂的样本进行训练时，常出现梯度饥饿（Gradient Starvation）和策略退化（Policy Degradation）问题。为缓解这些问题，现有研究尝试利用思维链（CoT）数据，但高质量CoT标注的构建过程极为耗时费力。另一种思路是采用课程学习（Curriculum Learning）策略，但这类方法常面临诸难度不匹配、依赖人工设计课程以及灾难性遗忘等挑战。

为解决上述问题，阿里的研究者们提出了一种自适应课程强化学习框架 AdaCuRL。该框架融合了由粗到精的难度评估机制与自适应课程调度策略，动态对齐数据难度与模型能力，并引入数据重温机制以缓解灾难性遗忘。此外，AdaCuRL采用自适应参考策略与稀疏KL策略来预防策略退化。在多个推理基准上的大量实验表明，AdaCuRL 在LLMs和MLLMs上均取得显著的性能提升。

01 方法

尽管基于强化学习的方法取得了显著成功，但其性能在很大程度上依赖于训练数据的课程设计。当模型在难度混杂的数据上进行训练时，会出现严重的数据低效问题。这种低效源于样本难度与GRPO分组内rollout相对优势之间的内在耦合关系。

当训练样本的难度相对于当前策略过高或过低时，奖励信号往往会退化为二元状态：简单样本奖励值普遍为1，而困难样本的奖励值则始终为0。这些无效样本最终引发两大核心困境：

（i）梯度饥饿：发生在所有探索性rollout产生的奖励值均为1或0时，导致优势函数崩溃策略梯度失效，模型无法获得任何有意义的学习信号。

（ii）策略退化：出现在对无效样本施加的KL散度惩罚主导了优化信号时。这会迫使策略退化为保守的参考模型，从而削弱了通过强化学习获得的推理能力。

为此，研究团队提出AdaCuRL，旨在提升GRPO训练的数据效率，从而推动LLMs和MLLMs推理能力的渐进式提升。

图2：AdaCuRL的整体框架。难度评估（左侧）从大规模数据集中采样一个训练子集，使其匹配目标难度分布，并将数据按从易到难排序。课程强化学习（右侧）在训练过程中监控平均准确率奖励，以评估模型对当前难度级别的掌握程度，并逐步引入更具挑战性的样本。此外，AdaCuRL还结合了稀疏KL和自适应参考机制，以防止模型推理能力退化。

（1）由粗到细的难度评估策略（Coarse-to-Fine Difficulty Estimation）

• 粗粒度阶段

对于每个问题，模型生成五个答案。根据正确答案的数量，将每个问题分配到三个类别中的一个。然后，按照预设的比例从每个类别中采样，同时确保所选样本在不同数据集间保持均匀分布。形式化定义为： ci∈{0,…,5} 表示问题 i 的正确答案数量，定义三个区间：，。

并采样：

其中 ，ρk 是第 k 个类别的预设采样比例。

• 细粒度阶段

对于集合 S 中的每个问题，生成 N（N≫5）个答案，以进行精确的难度估计。令 c(q) 表示问题 q在这 N 次尝试中正确解的数量。将其难度得分定义为：

过滤掉难度高于 0.95 或低于 0.05 的问题，以避免过于困难或过于简单的情况。剩余的数据按难度升序排列，构成最终的训练数据集 D。

（2）课程强化学习

按难度对数据集 D 进行排序后，将其划分为 K 个大小相等的连续桶 {B1,B2,…,BK}：

其中， q1,…,q∣D∣ 按从易到难的顺序排列。

当前的训练子集 Dc 初始化为第一个桶 B1。训练过程中，每个更新阶段 t 将下一个桶合并到 Dc 中，以缓解灾难性遗忘：

训练过程持续进行，直到 Dc=D。这种渐进式扩展在初始阶段保留了简单样本的知识，同时随着模型推理能力的提升逐步引入更具挑战性的样本。

（i）奖励函数

当同时采用格式奖励（format reward）和准确率奖励（accuracy reward）时。研究团队观察到格式奖励会快速收敛，而准确率奖励（特别是来自高难度区间的奖励）始终维持在较低水平且提升缓慢。这种失衡会影响优势函数，使其被格式奖励主导，从而阻碍策略有效学习正确的推理路径。因此，在训练步数达到Tf后，仅基于准确率奖励来更新策略。

（ii）数据桶更新策略

为了自适应地衡量学习进展，研究团队在训练过程中使用准确率奖励来评估模型对当前桶中样本的掌握程度，并将每个样本的奖励记录在奖励缓冲区 Rb中。首先，需要维护一个能力得分 cs∈[0,1]，其初始值为 cs(0)=0，并按如下方式更新：

其中，是最近 M 个训练样本的平均奖励，max(1−cs,γ) 作为更新步长的衰减因子。随着 cs 增大，更新步长会逐渐变小，模拟人类学习过程中在更难的数据上花费更多时间，而 γ 则防止更新速率变得过小。

当 Rb 包含 M 个样本时，更新 cs 并检查课程训练集 Dc 是否应进行扩展。课程扩展条件定义如下：

当下一个桶索引 k 满足上述公式时，桶 Bk 将被合并到 Dc中。

为了准确评估模型在新引入数据后的表现，仅从最新合并的桶中抽取的样本才用于计算 。在合并 后，能力得分被重新初始化为 ：以确保准确反映策略模型对新增数据的掌握程度。

（iii）KL散度设计（KL Divergence Design）

• 条件化KL计算。当某个rollout组内的所有奖励均为0或1时，从该组的损失计算中排除KL散度项，从而能够更有效地提升模型的推理能力。在AdaCuRL中，GRPO的损失函数定义如下：

• 参考模型重置。每次数据桶更新后，将参考模型 πref 重置为当前策略模型 πθ，从而避免随着策略模型推理能力增强，仍过度对齐初始参考模型

（3）自定步调机制（Self-pacing Mechanism）

完成第一轮基于由粗到细的难度评估和课程强化学习的训练后，模型已具备更强的推理能力。为持续提升性能，研究团队引入一种自定步调机制Re-AdaCuRL。

使用更新的策略模型 πθ对由粗到细的难度评估进行重新校准，并在采样过程中过滤掉已在前一轮训练过的数据。将Difficulty(1)(q) 表示为重新估计的难度得分。为保留已获得的推理能力，在第二轮迭代中丢弃难度得分低于阈值（例如 0.2）的样本：

将剩余数据 D′ 按更新后的难度升序排列，重新划分为 K个桶：

接着，研究团队在这些更新后的桶上重复上述的训练流程。该自定步调机制使得先前因难度过高而被排除的数据有机会被重新访问，同时过滤掉模型已能高置信度解答的简单样本。因此，当前策略πθ能够持续在信息量逐步提升的数据上进行训练，从而进一步强化模型推理能力。

02 评估

表1：MLLMs在数学推理（左）和通用推理（右）基准上的方法对比。

表1和表2全面比较了不同方法在MLLMs和LLMs上的各类推理基准表现。可以发现，无论是在多模态模型还是纯语言模型上，AdaCuRL 在所有基准测试和不同模型规模下均优于基线方法。

原始的 GRPO 方法，在Qwen2.5-VL-3B和7B模型上分别将数学推理提升了1.05%和0.24%；在Qwen2.5-Math-1.5B和7B模型上分别取得3.56%和2.84%提升。

在数学推理任务中，AdaCuRL对比原始的 GRPO在Qwen2.5-VL-3B和7B模型上分别实现了3.17%和2.16%的性能提升；在Qwen2.5-Math-1.5B和7B模型上分别取得了 3.45% 和 5.53% 的提升。这些结果凸显了逐步增加训练难度对于增强推理能力的重要性，并证明了 AdaCuRL 在MLLMs和LLMs任务中均有效。

表2：LLMs在数学推理基准上的方法对比。结果在 AIME24@16、AMC23@16 和 others@3 上取平均值。“Oly.” 表示 Olympiad-bench。

如表1所示，Re-AdaCuRL 在 Qwen2.5-VL-3B 和 7B 模型的数学推理任务上分别额外提升了 1.37% 和 1.03%。如表3所示，G1 组的样本减少而 G3 组的样本增加，这表明模型的数学推理能力得到了提升。为了更充分地利用数据集，研究团队采用更新后的策略重新评估题目难度并进行二次采样，基于重新采样的数据继续开展训练，从而进一步提升模型推理能力。

表3：使用 AdaCuRL 进行一轮训练前后数据的粗粒度分布情况。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？