作者：香港城市大学、中国科学技术大学 许德容

今天跟大家分享一篇来自香港城市大学、中国科学技术大学、腾讯优图实验室、北京大学的一篇论文：通过自适应多层次检索增强大模型的知识图谱问答。

论文：https://arxiv.org/abs/2412.18537
Github: https://github.com/Applied-Machine-Learning-Lab/AMAR

一、核心问题

近年来，大语言模型（LLMs），如 GPT-4 和 LLaMA 等，展现了卓越的自然语言处理能力。然而，在处理需要复杂知识推理的任务时，LLMs 往往面临以下问题：

1. 幻觉问题（Hallucination）：LLM 会生成与事实不符的答案，尤其是在其训练语料中未包含目标知识时。这种问题在医疗、法律和安全等高可靠性领域尤为突出。

2. 知识时效性问题：由于 LLM 的训练数据通常是静态的，模型缺乏实时更新的知识库。当问题涉及最新信息或特定领域的专业知识时，LLM 往往力不从心。

为了解决上述问题，知识图谱问答（Knowledge Graph Question Answering, KGQA）被视为一种潜在的有效方案。知识图谱（KG）是存储结构化事实的数据库，采用三元组形式（实体、关系、实体或字面值）表达知识。KGQA 通过从知识图谱中检索相关信息，能够为 LLM 提供可靠且结构化的事实依据。然而，现有 KGQA 方法面临以下挑战：

1. 检索噪声问题： 无论是嵌入方法还是检索方法，现有工作无法有效过滤检索到的无关或部分相关信息，导致 LLM 推理时被噪声干扰。

2. 多层次知识整合不足： 很少有工作同时利用实体、关系、子图等多层次信息，缺乏对不同类型知识之间共性的对齐和统一建模。

二、方法与框架

AMAR 提出了一种新的方法，通过多层次的知识检索和增强机制，提升 LLM 的推理能力并减少噪声。核心模块包括：

1、自对齐模块（Self-Alignment Module）：

多层次知识（如实体、关系和子图）分别被线性化为文本，然后被映射为提示嵌入（prompt embeddings）。 通过自注意力和交叉注意力机制，对齐不同检索信息中的共性（如共同提到的实体或关系），从而增强关键知识并减少不相关信息的干扰。

2、相关性门控模块（Relevance Gating Module）：

引入一个相关性学习机制，通过西门子网络（Siamese Network）计算问题与不同检索信息之间的相关性分数。 相关性分数作为“软门控”，自适应地选择有用的检索信息，并过滤掉无关内容。

3、逻辑表达式生成与执行：

AMAR 生成结构化逻辑表达式（如 S 式表达式），随后将其转换为 SPARQL 查询语言并在知识图谱上执行，最终获得答案。

三、实验与结果

1. 主要结果： AMAR 在 Hits@1、F1 和准确率等指标上均超越 22 种基线模型，在 WebQSP 和 CWQ 数据集上有显著提升。 AMAR 表现优于直接将检索数据作为上下文输入的方式，证明其在减少噪声干扰和提取关键信息层次效果显著。

2. 消融实验： 去掉自对齐模块或相关性门控模块会显著降低模型性能，证明这些模块是 AMAR 成功的关键。

3. 其他分析： 检索信息的多样性（实体、关系、子图）对于性能提升至关重要，其中关系的贡献最大。 相较于直接输入检索文本，AMAR 的计算效率更高，训练时间和显存占用均显著减少。

贡献总结：

1. 创新性框架：首次在 KGQA 任务中，通过自对齐和相关性门控模块，将多层次知识以提示嵌入的形式整合到 LLM 中，提升其推理能力。
2. 性能提升：在多个数据集和指标上实现了新的 SOTA（最先进）表现，验证了 AMAR 的有效性和鲁棒性。

---

四、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】