在大语言模型（LLMs）的应用中，检索增强生成（RAG）技术虽有进展，但也面临挑战，尤其是在处理复杂或特定领域查询时。查询优化（QO）对于提升 RAG 的效率和质量至关重要，其包含多种技术。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

腾讯最新QO技术研究综述，四大类Query优化：扩展、分解、消歧、抽象。

1. Query Expansion（查询扩展）

查询扩展可以基于不同的知识来源，分为内部扩展和外部扩展。

1.1 内部扩展（Internal Expansion）

• 技术与原理：内部扩展主要针对信息时效性较低的查询，这些信息通常包含在LLMs的预训练阶段内嵌入的知识。如：

• 利用设计指令让 LLMs 生成上下文文档辅助回答；

• 借助 LLMs 的少样本提示生成伪文档扩展查询；

• 先生成初始输出，再检索信息优化输出；

• 让检索模型利用 LLM 生成知识集合扩展查询知识，同时 LLM 借助检索文档优化提示；

• 用零样本提示生成假设文档，经对比编码器处理后检索相似真实文档；

• 基于原始查询预测未来内容并检索信息，迭代优化；

• 利用 LLMs 零样本推理生成多样查询和文档，相互验证实现扩展；

• 用零样本指令的释义生成多组关键词提升检索效果；

• 从 LLMs 提取参数知识并用查询优化器优化查询。

• 应用场景：适用于信息时效性较低、相关知识可能包含在 LLMs 预训练阶段的查询，如 “2020 年夏季奥运会将在何处举行？” 可通过内部扩展优化。

1.2 外部扩展（External Expansion）

• 技术与原理：外部扩展主要针对通常需要从知识库或网络中搜索事实的高度时效性查询。如：

• 用 LLMs 结合查询和潜在答案（通过标准检索获取）扩充查询；

• 利用初始检索文档关键信息优化查询；

• 挖掘语料库知识，用 LLMs 评估相关性确定关键句子扩展查询；

• 让 LLMs 生成伪参考并与查询结合增强检索器。

• 应用场景：针对需要从外部获取最新事实的高度时效性查询，如 “2024 年夏季奥运会将在何处举行？” 可通过外部扩展从知识库检索相关信息优化。

2. Question Decomposition（问题分解）

2.1 技术与原理

• 对于复杂查询，简单地使用原始查询进行搜索通常无法检索到足够的信息。因此，LLMs需要先将这些查询分解成更简单、可回答的子查询，然后搜索与这些子组件相关的信息。通过整合这些子查询的响应，LLMs能够构建对原始查询的全面响应。如：

• 在 LLM 和检索模型间传递自然语言文本，将问题分解为小转换处理；

• 用少样本提示分解复杂问题为简单子问题依次解决；

• 制定计划划分任务为子任务按计划执行；

• 用查询扩展模型生成多样查询，经重排选择更好检索结果；

• 先准备初步答案和理由，根据知识域纠正理由；

• 从相关任务数据源转移推理能力，分解复杂查询；

• 让 LLMs 生成推理痕迹和行动，动态推理并与外部环境交互；

• 分解复杂问题为可控粒度子查询，用强化学习迭代改进；

• 迭代处理子查询，结合文本相关性和自知识回答能力；

• 用预定义模式从知识图谱提取实例生成复杂查询和子查询；

• 用问题增强器生成多视角子查询处理复杂表格推理；

• 用小 LLM 生成计划，包含调用工具、顺序和参数；

• 分解原始查询为多跳查询，用 CoT 整合答案；

• 将知识编辑存于外部记忆，分解多跳查询为子问题，迭代查询获取答案；

• 用子方面探索器剖析查询，结合多方面检索器回答。

2.2 应用场景

适用于需要检索多个事实以形成全面答案的复杂查询，如：

• “在 2024 年夏季奥运会上，中国在乒乓球或羽毛球上赢得的奖牌更多？” 可优化为 “中国在 2024 年奥运会乒乓球上赢得了多少奖牌？” 和 “中国在 2024 年奥运会羽毛球上赢得了多少奖牌？” 两个子查询；

• “2024 年奥运会男子单打乒乓球金牌得主的出生日期是什么时候？” 可优化为 “2024 年夏季奥运会男子单打乒乓球冠军是谁？”（假设冠军是）和 “的出生日期是什么时候？” 两个子查询。

3. Query Disambiguation（查询消歧）

3.1 技术与原理

• 查询消歧旨在识别和消除复杂查询中的歧义，确保查询是明确的。这涉及到确定查询中可能被多种方式解释的元素，并细化查询以确保单一、精确的解释，也就是通过多种方式澄清意图。如：

• 引入基于自然语言的演绎推理格式，分解推理过程为子过程，增强推理严谨性；

• 用特定提示让模型重述查询再推理；

• 用少样本提示和外部知识构建歧义查询的消歧树获取长答案；

• 用 “rewrite-then-edit” 框架让 LLMs 改写和编辑查询消除歧义；

• 用对话答案建模检索器偏好，优化改写器；

• 整合检索文档和生成响应的多方面反馈探索最优改写策略；

• 利用 LLMs 的 NLP 能力（如解决共指关系、扩展上下文）减少对话历史歧义，通过多种方式将优化后的对话历史融入框架。

3.2 应用场景

主要针对模糊查询，如：

• “2024 年夏季奥运会乒乓球单打冠军是谁？” 可能指代男子或女子单打冠军，可消歧为 “2024 年夏季奥运会女子乒乓球单打冠军是谁？” 和 “2024 年夏季奥运会男子乒乓球单打冠军是谁？” 两个子查询。

4. Query Abstraction（查询抽象）

4.1 技术与原理

• 查询抽象旨在提供对事实需求的更广泛视角，可能导致更多样化和全面的结果。这涉及到识别和提炼查询的基本意图和核心概念元素，然后创建一个高层次的表示，捕捉本质含义的同时去除具体细节。如：

• 用精心设计提示引导 LLM 推理，使输出契合原始查询意图；

• 要求 LLMs 对抽象查询进行概念推理，在可验证符号空间生成解决方案；

• 将通用 CoT 推理抽象为含抽象变量推理链，借助领域工具解决查询；

• 用抽象框架构建推理过程，集成不同层次抽象；

• 生成高层抽象信息作查询上下文背景；

• 定义查询方面辅助复杂查询推理；

• 解构查询语义为通用符号表示，学习通用推理模式；

• 通过两阶段（查询到模式、模式到子图）用语言模型和图语义距离处理查询与知识图谱结构对齐。

4.2 应用场景

适用于需要理解并应用领域特定推理及数据上下文的查询，如 “中国举办过多少次奥运会？” 可抽象为 “奥运会的举办历史”，为理解和回答查询提供更广泛背景。

5. 查询优化核心技术的分类树

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓