导读

本文系统揭示了现有知识编辑方法在多跳推理中泛化失效的内在机理，并提出回路感知的知识编辑新方法（CaKE），通过数据驱动激活完整推理回路，实现了更具泛化性与稳健性的知识更新。

一、背景与问题

大语言模型（Large Language Models, LLMs）在各类任务中展现出卓越性能，但其参数化知识在预训练完成后即固定，难以适应动态变化的现实世界信息。知识编辑（Knowledge Editing, KE）技术旨在精准更新模型内部的特定事实，而不影响其他知识或通用能力。

然而，现有主流 KE 方法（如 ROME、MEMIT、WISE 等）虽能在单跳问答（single-hop QA）中有效修改孤立事实，却在涉及该事实的多跳推理任务（multi-hop reasoning）中表现显著退化。例如，当将“Eddie Mathews 的国籍由美国改为英国”后，模型虽能正确回答“Eddie Mathews 的国籍是？”，却仍错误地回答“Eddie Mathews 国籍所在国家的首都是华盛顿”。在多跳知识编辑标准基准 MQuAKE上：ROME/MEMIT 在单跳准确率（H-Acc）超过 80% 的情况下，其多跳准确率（MAcc）仅约 10–11%。

图 1：(a) LLM 多跳推理回路；(b) 传统编辑方法因编辑位置局限导致回路失效；© CaKE 通过合成任务激活完整回路。

二、核心发现：推理回路视角下的知识编辑失效机制

本文从推理回路（reasoning circuit）的角度系统分析了 KE 在多跳推理中失效的根本原因。 通过基于 PatchScope 的干预实验与表征追踪，作者发现 LLM 的多跳推理依赖于一个跨层协同的计算结构：

1. 前层（early layers）：完成第一跳推理，提取中间实体（如“英国”）并编码于第一跳结尾 token（记为 ）；
2. 中层（middle layers）：将中间实体与第二跳关系（如“首都”）的信息路由至最终输出 token 位置（）；
3. 后层（later layers）：在 处融合信息，完成第二跳推理并生成答案（如“伦敦”）。

现有 KE 方法存在两类典型缺陷：

• ROME/MEMIT 类方法（编辑前层）：虽能更新第一跳结果，但后层未接收到足够强的信号以激活第二跳推理；
• WISE 类方法（编辑后层）：虽在后层注入新知识，但前层仍输出原始中间实体，导致推理链断裂。

换言之，局部参数修改无法保证知识在推理回路中的端到端传播。

---

三、方法：Circuit-aware Knowledge Editing（CaKE）

为解决上述问题，本文提出 CaKE（Circuit-aware Knowledge Editing），其核心思想是：通过少量精心构造的训练样本，引导模型自主构建包含更新知识的完整推理回路。

1. 回路感知的数据构造

针对每条待编辑事实 ，自动生成两类任务样本：

• 知识整合任务（Late-layer Integration）：
  示例：“PersonX 穿绿色衣服，其他人穿红/蓝衣。穿绿衣者的国籍是？”
  → 强制模型在后层使用新知识（如“PersonX的国籍是阿根廷。”），增强信号强度。
• 推理回路增强任务（Reasoning Circuit Enhancement）：
  示例：“阿根廷在书中第6页提及。PersonX 的国籍国家出现在哪一页？”
  → 要求模型先推理出国籍（阿根廷），再据此查页码（6），完整走通两跳。

为避免数据泄露并检验泛化性，任务中引入临时特征（ad-hoc features，如“穿绿衣”、“第6页”），确保模型学习的是推理逻辑而非表面关联。

2. 轻量微调

使用上述数据对模型进行 LoRA 微调，优化其内部知识组织结构，使更新后的知识能自然融入多跳推理流程。训练目标为最小化生成答案的交叉熵损失。训练目标为：

---

四、实验结果

本文在多跳知识编辑标准基准 MQuAKE 上对 CaKE 进行了系统评估。MQuAKE 包含 2–4 跳推理问题，并考察编辑知识出现在推理链中不同位置（如第一跳或第二跳）时的模型表现。评估指标包括：

• H-Acc（Hop-wise Accuracy）：各推理步骤的正确率；
• MAcc（Multi-hop Accuracy）：完整多跳问题的最终答案正确率。

1.主要结果：显著优于现有方法

在 LLAMA3-8B-Instruct 和 Qwen2.5-7B-Instruct 上，CaKE 在所有 MQuAKE 子集上均大幅领先：

图 2： LLAMA3-8B-Instruct与LLAMA3-70B-Instruct的实验结果。

图 3： Qwen2.5-7B-Instruct的实验结果。

CaKE 在 MAcc 上平均提升超过 20 个百分点，且 H-Acc 保持在 90% 以上，表明其不仅编辑成功，还能在推理链中正确传递知识。

值得注意的是，即使与同时编辑前层和后层的 IFMET 相比，CaKE 仍显著更优，说明仅靠多层编辑不足以构建有效推理回路，关键在于任务驱动的回路激活。

2.多跳泛化性与编辑位置鲁棒性

下图展示了 CaKE 在不同跳数和编辑位置下的表现（基于 MQuAKE-CF-v2）：

图 4：CaKE 在不同跳数和编辑位置下的表现

• 跨跳泛化：即使仅在 2-hop 问题上训练，CaKE 在 4-hop 问题上仍取得 55.5% MAcc，而 IFMET（专为 2-hop 设计）仅 **2.75%**；
• 位置无关性：无论编辑知识位于第一跳（如国籍）还是第二跳（如首都），CaKE 均能稳定提升性能，证明其不依赖特定编辑位置假设。

3.通用能力保持（Locality）

为验证编辑不影响模型原有能力，我们在多个通用基准上评估：

模型	方法	CSQA	BBH	MMLU	GSM8K
LLAMA3-8B	原始	76.09	67.89	63.83	75.20
	CaKE	75.10	67.20	62.98	76.04
Qwen2.5-7B	原始	82.31	33.39	71.80	82.26
	CaKE	82.64	37.44	71.76	82.79

CaKE 在各项任务上与原始模型性能基本持平，充分验证其良好的局部性（locality）。

---

五、结论与意义

本文揭示了当前知识编辑方法在多跳推理中失效的深层机制——即编辑操作与模型内在推理回路的错位。基于这一发现，我们提出回路感知的 CaKE 框架，通过精心设计的数据构造与轻量微调，有效建立了模型外显行为、内部参数机理（推理回路）与数据驱动信号之间的对应关系，并实现了可泛化、可组合的知识更新，使模型不仅能‘记住’新事实，更能‘推理’新事实。

该工作不仅为构建可维护、可信赖的大语言模型系统提供了新范式，也揭示了行为—机理—数据之间的紧密联系，为未来探索基于数据驱动的知识操控与推理机制开辟了丰富的研究空间。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】