主题

Memory-R1：用强化学习重塑Agent的记忆能力

时间

北京时间：2025.10.11 (周六) 20:00 ｜ 欧洲中部时间：2025.10.11 (周六) 14:00

直播平台

微信视频号：

b站直播间：

https://live.bilibili.com/27784098

（点击文末「阅读原文」即可跳转）

论文信息

• Paper: https://arxiv.org/pdf/2508.19828

• X Post: https://x.com/omarsar0/status/1961073807537693072

内容介绍

大型语言模型（LLMs）在理解与生成自然语言方面表现出卓越能力，但它们依然“无记忆”——受限于有限的上下文窗口，无法在长时间交互中保持连贯的知识与状态。为缓解这一问题，近年来研究者尝试为 LLM 加入外部记忆模块，使其能够在多轮对话或跨会话场景中存取历史信息。然而，大多数现有方法仅依赖启发式或手动设计的规则来决定“存什么”“删什么”，缺乏可学习的机制；更重要的是，它们往往也不知道该如何从大量检索到的记忆中筛选出真正有助于回答的问题息。这不仅导致记忆冗余或缺失，也使模型在复杂、多轮的对话推理中容易被无关内容干扰，无法有效利用已有知识。

为此，我们提出 Memory-R1 框架：一种基于强化学习的 LLM记忆增强体系。它通过两个协同工作的智能体实现自适应记忆管理与使用——Memory Manager 负责通过强化学习策略学习何时新增、更新或删除记忆；Answer Agent 则在回答问题时自动过滤与整合最相关的记忆，实现“有选择的回忆”。通过 PPO 与 GRPO 训练，这两个智能体在仅 152 个训练样本下便在 LoCoMo 等基准上显著超越强基线模型，并在 MSC 与 LongMemEval 基准上展现出跨数据集泛化能力，体现了强化学习在“让模型学会管理并运用记忆”上的潜力。本次报告将从研究动机、核心创新、主要结果、消融实验、意义与展望几个全面介绍Memory-R1工作。

嘉宾

严思宽，德国慕尼黑大学TRESP LAB一年级博士生，慕尼黑机器学习中心成员，华为慕尼黑研究所研究员。研究聚焦于Agent Memory, LLM Agent。

主持人

聂耳聪，德国慕尼黑大学Schütze NLP Lab博士生，主要研究方向为多语言NLP及可解释性。个人主页： https://ercong21.github.io/

入群

欢迎加入NICE每周分享交流群，可与NICEer唠嗑，以及第一时间收到后续NICE分享报告的通知。加群通过小助手认证，群内无广告。

NICE介绍

NICE（NLP Academic Exchange Platform）是由国内外青年学者共同发起的、专注于AI（尤其NLP/LLM）领域的开放式学术交流平台。平台成立于2023.11.26，已累计举办学术活动100+场，邀请海内外嘉宾近300位，全网关注量超过13万。详情见：
NICE主页
https://nice-nlp.github.io
NICE海外
https://nice-intl.github.io
b站
https://space.bilibili.com/507524288
Youtube
https://www.youtube.com/@NLPAcademicExchangePlatform

编辑：聂耳聪