由Oxford、UCSD、NUS、ICL、UIUC、UCL、上海AI Lab 等全球16家顶尖机构的研究者联合撰写，并整合了500+篇研究成果，且首次全面描绘了 Agentic Reinforcement Learning（Agentic RL，具身智能体强化学习） 的研究版图的一篇极具深入、系统化的论文综述强势来袭！

这篇最新上线的长达 100 页综述论文——《The Landscape of Agentic Reinforcement Learning for LLMs: A Survey》将全面而系统地解读如何让 LLMs 从“会对话的工具”进化为“能自主完成任务的智能体”。

感兴趣的同学可以赶紧收藏+学习啦！

综述信息：

📄 综述论文链接：

https://arxiv.org/abs/2509.02547

💻 Github 开源合集：

https://github.com/xhyumiracle/Awesome-AgenticLLM-RL-Papers

HuggingFace Papers：

https://huggingface.co/papers/2509.02547

导读

Agentic

在过去几年，大语言模型（Large Language Models, LLMs）迅速崛起，从 ChatGPT 到 Claude，再到国产的 GLM、通义千问，它们在写作、编程、问答等任务中表现出惊人的能力。 但与此同时，人们也逐渐意识到一个核心问题：这些模型虽然会“说”，却并不会真正“做”。它们往往只能单轮回答，而缺乏长期规划、与环境互动和自我改进的能力。

如何让 LLMs 从“会对话的工具”进化为“能自主完成任务的智能体”？ 本篇综述将带你系统而深入的全面了解！

►►►

一、什么是 Agentic RL？

在传统的 LLM 强化学习（RLHF、DPO 等）中，语言模型被视为单轮输出的生成器，核心目标是“答得更符合人类偏好”。 这种范式虽然推动了 ChatGPT 的成功，但仍局限于 单步决策，缺乏长期互动能力。

而 Agentic RL 提出了一个新的认知框架：LLMs 不再只是被动输出的“答题机器”，而是嵌入在动态环境中的“自主智能体”。

在形式化建模上，Agentic RL 使用**部分可观测马尔可夫决策过程（POMDP）**来刻画这一特性：

a）模型不再一次性完成任务，而是通过连续多轮决策逐步探索；

b）它可以感知环境、调用工具、记忆过往信息，并在长期目标驱动下不断调整策略。

简单来说，Agentic RL 就是让大模型拥有：感知—决策—行动—反馈—改进的完整智能循环。

►►►

二、能力视角：六大核心模块

论文首先从“能力”出发，提出了 Agentic RL 的 六大核心维度：

1）Planning（规划）

不再是“一问一答”，而是能分解任务、生成长期计划，并逐步执行。

RL 可以通过环境反馈不断优化规划策略。

2）Tool Use（工具使用）

传统的 ReAct 框架依赖人工设计提示，而 RL 能让模型自主决定何时调用、如何组合工具，例如搜索引擎、代码解释器、浏览器。

3）Memory（记忆）

模型不仅能短期处理上下文，还能通过 RL 学习如何存储、提取和遗忘信息，形成真正的“工作记忆”。

4）Reasoning（推理）

从“直觉式快速推理”到“链式深度推理”，RL 使模型学会在不同任务中动态切换，既高效又可靠。

5）Self-Improvement（自我改进）

通过反思与反馈，模型能够发现自身错误，并利用 RL 将“反思机制”内化到参数中，实现持续进化。

6）Perception（感知）

不再局限于文本，Agentic RL 正在推动多模态智能体的发展，让模型学会理解图像、视频、音频并结合语言进行推理。

这六大模块，勾勒出 LLM 从“文本生成器”走向“自主智能体”的必经路径。

►►►

三、任务视角：七大应用场景

除了能力拆解，综述还从“任务维度”系统梳理了 Agentic RL 在不同领域的应用：

1）搜索与研究代理 —— 自动检索、阅读、总结信息（如 DeepResearch）。

2）代码代理 —— 自动生成代码、调试与软件工程（如 SWE-bench）。

3）数学推理代理—— 解决复杂数学与逻辑问题。

4）GUI 代理 —— 在应用程序界面中执行操作，实现真实任务自动化。

5）视觉智能体—— 融合图像感知与语言推理。

6）具身智能体（Embodied Agents） —— 与物理或虚拟环境交互，学习执行任务。

7）多智能体系统（Multi-Agent Systems）—— 多个 LLM 代理协作，完成复杂目标。

可以看到，Agentic RL 不仅是概念上的提升，而是已经在搜索、编程、科研乃至机器人领域展现出巨大的潜力。

►►►

四、生态建设：开源资源与建设

为加速研究，论文团队还整理了当前最重要的开源工具与框架：

**1）环境（Environments）：**AlfWorld、GAIA、SWE-Bench、BrowseComp 等。

**2）基准测试（Benchmarks）：**涵盖推理、工具使用、GUI 操作等多领域。

**3）训练框架（RL Frameworks）：**包括经典的 PPO、DPO、以及近年兴起的 GRPO 系列算法

此外，作者们开源了 Awesome-AgenticLLM-RL-Papers 项目，将论文、环境、基准、框架一站式整理，方便研究者快速入门与对比实验。

此开源项目的GitHub链接：

https://github.com/xhyumiracle/Awesome-AgenticLLM-RL-Papers

►►►

五、面临的挑战与未来方向

虽然 Agentic RL 展示了令人振奋的前景，但距离真正的通用智能体（AGI）仍有不小的挑战：

1）可信性（Trustworthiness）

如何确保智能体在复杂环境下的决策可控、安全、可靠？

2）训练扩展性（Scaling up Training）

长期决策需要大量交互数据，如何降低训练成本？

3）环境扩展性**（Scaling up Environments）**

现有环境往往过于理想化，如何构建更贴近现实的复杂场景？

这些问题不仅是技术难题，也涉及伦理、安全和社会应用层面。但可以肯定的是，Agentic RL 已经成为通往**通用人工智能（AGI）**的关键方向之一。

►►►

**六、**总结：智能体时代正在到来

从最初的 ChatGPT 式“对话机器人”，到如今具备感知、规划、行动、反思能力的“智能体”，大语言模型的发展正在迎来一次质变。

Agentic RL 是这一变革的核心动力。它让模型真正走出了“单步模仿”的框架，开始在复杂动态环境中学习、探索和自我进化。

对于研究者，它提供了系统化的框架与工具；

对于开发者，它开辟了新一代应用的可能性；

对于整个社会，它意味着 AI 不再只是“会说话的助手”，而将逐渐成为“能独立完成任务的伙伴”。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】