五、查询规划型 Agentic RAG

查询规划型 Agentic RAG 是一种方法论,旨在通过利用多个可并行化的子查询跨多个数据源来高效地处理复杂查询。这种方法结合了智能查询分解、分布式处理和响应合成,提供准确且全面的结果。

以下是其核心组件:

1. 用户输入与查询提交

  • 用户输入:用户将查询或请求提交给系统。
  • 输入的查询将被处理并传递到下游进行进一步处理。

2. 查询规划器是协调整个过程的核心组件。它:

  • 解释用户提供的查询。
  • 为下游组件生成适当的提示。
  • 决定调用哪些工具(查询引擎)来回答查询的具体部分。

3. 工具

  • 工具是包含查询引擎的专用管道(例如 RAG 管道),包括:
    查询引擎 1
    查询引擎 2
  • 这些管道负责从外部知识源(例如数据库、文档或 API)检索相关信息或上下文。
  • 检索到的信息会返回给查询规划器进行整合。

4. LLM

  • LLM 作为复杂推理、自然语言理解和响应生成的合成引擎
  • 它与查询规划器进行双向交互:
    接收来自查询规划器的提示。
    根据检索到的信息提供上下文相关的响应或优化后的输出。

5. 合成与输出

  • 合成:系统将来自工具的检索信息和 LLM 的响应结合,生成连贯的答案或解决方案。
  • 输出:最终合成的结果以清晰的格式呈现给用户。

关键亮点

  • 模块化设计:架构允许在工具选择和集成方面具有灵活性。
  • 高效的查询规划:查询规划器作为智能中介,优化哪些组件被使用以及使用的顺序。
  • RAG:通过利用 RAG 管道,系统增强了 LLM 的知识,提供最新的、特定领域的信息。
  • 迭代交互:查询规划器确保工具和 LLM 之间的迭代合作,逐步改进响应。

总结

查询规划型 Agentic RAG 方法通过智能分解查询、分布式处理和响应合成,能有效处理复杂查询。这种方法不仅增强了 LLM 的能力,还提高了信息检索的精度和时效性,确保最终输出是综合且符合用户需求的答案。

六、自适应 RAG

自适应 RAG(Adaptive RAG)是一种通过根据传入查询的复杂度调整查询处理策略,来提高 LLM 灵活性和效率的方法。

自适应 RAG 根据查询的复杂性动态选择回答问题的不同策略——从简单的单步骤方法到更复杂的多步骤方法,甚至在某些情况下不进行检索的过程。这一选择通过一个分类器来实现,该分类器分析查询的性质,并确定最佳的处理方法。

以下是单步骤、多步骤和自适应方法的比较:

1. 单步骤方法(Single-Step Approach)

  • 工作原理:对于简单和复杂的查询,执行一次检索,并直接从检索到的文档中生成答案。

  • 局限性:
    对于像“Michael F. Phelps的生日是什么时候?”这样的简单查询效果很好,但对于“Billy Giles出生地使用什么货币?”这类复杂查询则效果差,因为缺乏中间推理。
    这种方法在复杂查询中会导致答案不准确。

2. 多步骤方法(Multi-Step Approach)

  • 工作原理:无论查询简单还是复杂,都经过多轮检索,逐步生成中间答案以完善最终的回应。
  • 局限性:尽管强大,但对于简单查询来说,它引入了不必要的计算开销。例如,反复处理“Michael F. Phelps的生日是什么时候?”是低效和冗余的。

3. 自适应方法(Adaptive Approach)

工作原理:此方法使用分类器来确定查询的复杂性并选择合适的策略:

  • 简单查询:直接生成答案,无需检索(例如,“巴黎是哪个国家的首都?”)。
  • 普通查询:使用单步骤检索过程。
  • 复杂查询:采用多步骤检索进行迭代推理和答案完善。

优势:

  • 对于简单查询减少不必要的开销,同时保证复杂查询的高准确度。
  • 灵活适应各种查询复杂性。

自适应RAG框架

分类器角色

  • 一个较小的语言模型预测查询的复杂性。
  • 它通过自动标注的数据集进行训练,标签来源于过去模型的输出和数据中的固有模式。

动态策略选择

  • 对于简单或直接的查询,框架避免浪费计算资源。
  • 对于复杂查询,确保通过多轮检索进行充分的迭代推理。

以下是来自 LangGraph 的自适应 RAG 系统架构流程示例:

1. 查询分析

该过程首先分析用户查询,以确定最合适的检索和生成路径。

  • 步骤1:路径确定

    查询根据与现有索引(数据库或向量存储)的相关性进行分类。
    [与索引相关]:如果查询与已索引内容对齐,则将其路由到RAG模块进行检索和生成。
    [与索引无关]:如果查询超出索引范围,则路由到Web搜索或其他外部知识源。

  • 步骤2:可选路径
    可以为更专业的场景添加额外路径,例如领域特定工具或外部API。

2. RAG + 自我反思

如果查询通过 RAG 模块进行处理,它将经历一个迭代的自我反思过程,以确保提供高质量和准确的回应。

  1. 检索节点
  • 根据查询从索引数据库中检索文档。
  • 这些文档传递到下一阶段进行评估。
  1. 评分节点
  • 评估检索到的文档的相关性。
  • 决策点:
    如果文档相关:继续生成答案。
    如果文档无关:重新编写查询以获得更好的检索,并返回到检索节点。
  1. 生成节点
  • 基于相关文档生成响应。
  • 生成的响应进一步评估以确保准确性和相关性。
  1. 自我反思步骤
  • 它回答了问题吗?
    如果是:过程结束,答案返回给用户。
    如果否:查询将进行另一次迭代,可能进行额外优化。
  • 幻觉检查
    如果发现幻觉(不准确或虚构的事实):重新编写查询,或触发额外检索进行修正。
  1. 重新编写问题节点
  • 优化查询以获得更好的检索结果,并将其重新带入处理流程。
  • 这确保模型动态适应并处理边缘情况或不完整数据。

3. Web搜索处理无关查询

如果在查询分析阶段,查询被认为与索引知识库无关:

  • 生成节点与 Web 搜索:系统直接进行 Web 搜索,并使用检索到的数据生成回应。
  • Web 搜索回应:生成的回答直接返回给用户。

总结

自适应 RAG 是一种智能且资源意识强的框架,通过利用定制化的查询策略,提高了响应质量和计算效率。它能够根据查询的复杂性灵活调整策略,确保对于简单查询减少不必要的计算开销,同时保证复杂查询的高准确度。


如何系统学习掌握AI大模型?

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐