今天分享一篇伊利诺伊大学的文章，标题为：Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning（Search-R1：利用强化学习训练LLM进行推理并利用搜索引擎）。

这篇文章是关于如何训练大型语言模型（LLMs）有效地利用搜索引擎来增强其推理和文本生成能力。论文提出了一个名为SEARCH-R1的框架，该框架仅仅通过强化学习（RL）让LLM学习如何在逐步推理过程中自主生成搜索查询并与实时检索交互。
该方法特点总结如下：1）使用检索token mask技术稳定RL训练，2）支持多轮交错推理和搜索，以支持复杂的任务解决，3）设计了一个简单而有效的基于结果的奖励函数。通过在七个问答数据集上的实验，SEARCH-R1在三个LLM上实现了相对于SOTA基线的显著性能提升。

主要特点：

1. 1. 将搜索引擎建模为环境的一部分: SEARCH-R1将搜索引擎建模为环境的一部分，实现了LLM token生成与搜索引擎检索的交错序列。

2. 2. 支持多轮检索和推理: SEARCH-R1 支持由 <search> 和 </search> 标签触发的显示搜索，检索到的内容位于 <information> 和 </information> 标签内。

3. 3. 简单的奖励函数: 采用直接的基于结果的奖励函数，避免了复杂的基于过程的奖励。

一、概述

• • Title: Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

• • URL: https://arxiv.org/abs/2503.09516v1

• • Authors: Bowen Jin, Hansi Zeng, Zhenrui Yue, Dong Wang, Hamed Zamani, Jiawei Han

• • Institutions: University of Illinois at Urbana-Champaign, University of Massachusetts Amherst

• • Code: https://github.com/PeterGriffinJin/Search-R1

1 Motivation

• • 大型语言模型（LLMs）在复杂推理和从外部来源检索最新信息方面面临挑战（LLM非常吃外部的检索知识）。

• • 现有的LLM与搜索引擎集成方法缺乏复杂的多轮检索 灵活性或需要大规模的监督数据 。

• • 提示工程方法在推理时利用LLM来使用搜索引擎并不理想，因为LLM没有学会如何以最佳方式与搜索引擎交互。

• • 总结：Å（将DeepSeek R1的强化学习方法用于Search链路还没人做过!!! ）

2 Methods

SEARCH-R1通过强化学习让LLM在推理时与搜索进行交互。 将搜索作为环境的一部分，采用 multi-turn 检索，并用简单的 outcome-based reward。 在多个问答数据集上效果显著。

详细方法和步骤:

论文提出了一种新的强化学习框架SEARCH-R1，使LLM能够以交错的方式与搜索引擎进行交互。具体步骤如下：

1. 1. 将搜索引擎建模为环境的一部分： SEARCH-R1将搜索引起作为环境的一部分， 让模型与环境交互，从而得到 reward。

   

2. 2. 支持多轮检索和推理： SEARCH-R1通过特定的标签（<search>, </search>, <information>, </information>, <think>, </think>, <answer>, </answer>）来支持多轮检索和推理。

   

3. 3. 采用 retrieved token masking: 为了稳定优化，SEARCH-R1采用 retrieved token masking, 只对LLM生成的 token 进行优化，检索的内容不参与优化。

4. 4. 优化算法兼容性： SEARCH-R1 与各种 RL 算法兼容，包括 PPO 和 GRPO。

5. 5. 简单结果奖励函数： 避免复杂的基于过程的奖励, 采用简单的基于结果的奖励函数 （字符串匹配作为reward!!!）。

   

3 Conclusion

• • SEARCH-R1在七个问答数据集上实现了显著的性能提升，平均相对提升达到26%（Qwen2.5-7B）、21%（Qwen2.5-3B）和10%（LLaMA3.2-3B）。

  

• • SEARCH-R1可以成功应用于基础模型和指令调整模型，并且在不同的LLM架构中具有通用性。

• • 论文还深入分析了RL训练策略，包括RL方法选择、LLM选择和响应长度动态，为未来研究提供了有价值的见解。

4 Limitation

• • 奖励机制的设计相对简单，仅依赖于最终结果的评估，可能无法充分捕捉到中间推理步骤的质量。

• • 动态检索调整，基于不确定性的动态检索调整，需要进一步探索。

详细内容

1 SEARCH-R1 在多个数据集上始终优于baseline，包括 Qwen2.5-7B、Qwen2.5-3B 和 LLaMA3.2-3B

2 不同RL方法在不同基座模型上的影响

说明：展示了在四个 LLM 上使用 PPO 和 GRPO 作为基础 RL 方法训练 SEARCH-R1 的动态过程。
总结1：GRPO 通常收敛速度更快，但在某些情况下可能表现出不稳定性，而 PPO 提供了更稳定的优化，但收敛速度较慢。
总结2： GRPO 在训练 LLAMA3.2-3B-Instruct 模型时出现了奖励崩溃现象，而 PPO 在不同的 LLM 架构中保持稳定。

3 SEARCH-R1 在base model和instruct model的表现对比

总结1：指令模型收敛速度更快，并且初始性能更好，但两种模型的最终性能非常相似。
总结2：Instruction Tuning 加速了学习过程，但最终性能与基础模型相当。

4 检索token损失mask对效果提升非常大

image-20250318151512229

总结1：(a) 响应长度在整个训练过程中呈现先减少、后增加、再稳定的趋势，与 LLM 的整体性能轨迹一致。
总结2：(b) 展示了检索到的 token 损失遮蔽研究，检索 token 损失遮蔽可以带来更大的 LLM 效果提升，减轻发生意外的优化效果，并确保更稳定的训练动态。

4 在七个不同数据集上使用 PPO 和 GRPO 的 SEARCH-R1 的性能对比

image-20250318151227679

总结1：GRPO 通常优于 PPO，并且指令model优于base model。
总结2： Qwen2.5-3B 的最佳配置是 SEARCH-R1-Instruct (GRPO)，平均得分为 0.365。LLaMA3.2-3B 的最佳配置是 SEARCH-R1-Base (GRPO)，平均得分为 0.324。

9 Case Study: Search-R1能持续与真实数据进行交互

 

总结1：SEARCH-R1 通过多轮检索实现了更深入的推理，而 R1 仅依赖于模型内部知识。（完美结合检索+推理真的太棒啦!!!)

三、总结

结论1: SEARCH-R1 显著提升了LLM在需要实时外部知识的复杂推理任务中的能力。 通过强化学习，LLM可以自主生成查询并有效利用检索到的信息，优于传统的RAG方法。
结论2: SEARCH-R1在不同LLM架构和训练方法上具有广泛的适用性。 实验结果表明，无论使用基础模型还是指令调整模型，SEARCH-R1都能带来显著的性能提升，且对不同的RL算法（如PPO和GRPO）具有兼容性。
结论3: SEARCH-R1有很强的实用价值。 SEARCH-R1能够显著提高LLM在需要实时外部知识的复杂推理任务中的能力。 可以用于智能问答，智能助手等领域。

 

 如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓