在当今人工智能蓬勃发展的时代，大型语言模型（LLMs）已深度融入我们的生活与工作，其强大的语言处理能力为我们带来了诸多便利。然而，这些模型并非十全十美，诸如可能产生误导性 “幻觉”、依赖过时信息、处理特定知识效率低下、缺乏专业领域深度洞察以及推理能力不足等问题，限制了它们在实际场景中的应用。在此背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应运而生，成为人工智能领域备受瞩目的焦点，为解决上述难题提供了创新性的思路与方法。

一、RAG 的定义与核心概念​

RAG 是一种通过将检索与生成相结合，显著提升语言模型性能的技术框架。

其核心思想在于，在语言模型生成答案之前，先从广泛的文档数据库、知识图谱或其他信息源中检索与问题相关的信息，然后利用这些检索到的信息引导语言模型的生成过程，从而使生成的内容更加准确、相关且具有时效性。简单来说，RAG 赋予了语言模型 “查阅资料” 的能力，让其在回答问题时不再仅仅依赖自身训练数据中存储的知识，而是能够实时获取最新、最相关的信息来丰富答案。

二、RAG 的工作原理

（一）数据摄取阶段

1. 数据收集与整理：收集各类外部数据，包括但不限于文本文件、网页内容、数据库记录、学术文献等。这些数据来源广泛，涵盖了不同领域和格式。例如，在企业应用中，可能收集内部的产品手册、技术文档、客户服务记录等；在医疗领域，会收集医学期刊文章、临床指南、病例数据等。收集后，需要对数据进行清洗，去除噪声、重复数据以及格式不规范的数据，确保数据的质量和可用性。

2. 向量化处理：将整理后的数据通过特定的编码器（如词嵌入模型、句嵌入模型等）转换为向量表示，即将文本数据映射到一个高维向量空间中。这样做的目的是为了后续能够通过计算向量之间的相似度来快速检索相关信息。例如，使用流行的 BERT 模型对文本进行编码，将每个文本片段转换为一个固定长度的向量，向量中的每个维度代表了文本在某个语义特征上的数值表示。

3. 索引构建：将向量化后的数据存储到向量数据库中，并构建相应的索引结构，以便在检索阶段能够高效地进行数据查询。常见的向量数据库有 Milvus、Weaviate 等，它们提供了快速的向量相似度搜索功能。索引结构的设计对于检索效率至关重要，例如采用倒排索引、KD 树等结构，可以大大减少检索时的计算量，提高检索速度。

（二）推理阶段

1. 检索：当用户输入问题后，首先将问题进行向量化处理，转化为与存储在向量数据库中的数据相同格式的向量。然后，在向量数据库中执行相似性搜索，根据设定的相似度度量方法（如余弦相似度、欧式距离等），找出与问题向量最相似的若干个数据向量，这些向量所对应的原始文本数据就是检索到的与问题相关的信息片段。例如，如果用户询问 “某品牌 2024 年发布的新款手机的摄像头参数”，检索模块会在存储了该品牌手机相关资料的向量数据库中，找到与 “2024 年新款手机摄像头参数” 语义最相近的文本片段，可能包括产品发布会文档中关于摄像头的介绍、官方网站上的产品规格说明等。

2. 增强：将检索到的相关信息与用户的原始问题进行融合，生成一个增强后的提示（prompt）。这个提示不仅包含了原始问题，还融入了从外部数据源检索到的关键信息，为后续的生成模型提供了更丰富的上下文。例如，将检索到的关于手机摄像头参数的文本片段与用户问题 “某品牌 2024 年发布的新款手机的摄像头参数” 组合在一起，形成一个类似 “某品牌 2024 年发布的新款手机的摄像头参数：[具体检索到的摄像头参数相关文本]，请详细介绍这些参数的特点和优势” 的增强提示。

3. 生成：将增强后的提示输入到生成式语言模型（如 GPT 系列、文心一言等）中，语言模型根据其内部的语言理解和生成能力，结合增强提示中的信息，生成最终的回答。生成模型在生成过程中，会利用自身学习到的语言模式和语义知识，将检索到的信息以自然流畅的语言组织起来，形成一个完整、准确且符合用户需求的答案。例如，生成模型根据上述增强提示，生成关于该手机摄像头参数特点和优势的详细介绍，如 “该品牌 2024 年新款手机配备了 [具体像素] 的主摄，采用了 [传感器型号] 传感器，具有 [具体技术特点]，能够在 [场景描述] 下拍摄出 [效果描述] 的照片，在 [低光等特殊场景] 中也有出色表现……”

三、RAG的核心流程

顾名思义，RAG（检索增强生成）通过三阶段协同机制实现动态知识整合，其核心流程如下：

1.检索阶段： 用户输入一个问题或指令（Query），系统中的检索器根据这个输入从外部数据库中检索相关资料（可能是互联网上的公开文档，也可能是用户数据库中的个人数据）。这一阶段的核心目标是从异构数据源中高效定位相关信息片段，为后续生成提供基础。

2. 增强阶段： 将检索到的相关信息有效地整合到用户的原始查询中，形成一个新的、信息更丰富的“提示”（Prompt），提供给生成模型。该阶段的核心目标是构建语义增强的上下文输入。

3. 生成阶段： 大模型基于“提示”生成一个自然、准确的响应。该阶段的核心目标是基于增强后的上下文生成精准响应。

四、RAG具体是如何工作的？

一个完整的RAG工作流程包括两大部分：准备部分（发生在提问前）和回答部分（发生在提问后）。

准备部分（提问前）： 外部资料分块➡️将拆分好的文本块通过Embedding模型转换成向量➡️将这些向量存储到向量数据库中。

回答部分（提问后）： 用户查询➡️将用户的问题转换成向量➡️从向量库中检索出与用户问题相关的文本块➡️将检索到的文本块重新排序，筛选出相关程度高的块➡️将筛选出来的块与用户的原始查询一起发给LLM➡️LLM生成最终回答。

准备部分（数据提取流程）

1.分块

第一步是将这些外部资料拆分成chunk（块），比如一份 500 页的产品手册，RAG 会按规则将其拆成小块。分块时会保留上下文连贯性，确保每个块都是完整的 “知识碎片”。

为什么必须分块？

✨输入尺寸限制，模型也有“进食”上限：如果不分块，直接喂一本数万字的文档，模型会 “噎住”（超出输入限制），可能只处理的部分内容，后面的知识全漏了。

✨检索精度需求，避免大海捞针：不分块的话，就像在一整本书里翻找特定段落，没有明确的 “页码” 定位，想找某段内容难上加难。

✨理解效率提升，小块知识更好消化：每个块只包含一个核心知识点，模型处理时不会被其他无关内容干扰。

下面是几个主流的分块策略：

• 固定大小分块（Fixed-size chunking）是一种将文本划分为均匀长度的段的策略， 例如按预定义的字数或token数划分，文档可能会被拆分成每段 200 个单词的块。

• 基于语义的分块（Semantic chunking）是一种按照含义（主题转换、逻辑转折等）对文本进行分块的策略。通过计算相邻文本单元的语义相似度变化，识别“语义断点”。

• 递归分块（Recursive chunking）是根据固有分隔符（如段落、章节等）进行分块。如果每个块的大小超出了预定义的大小，则将其拆分成更小的子块，直到每个子块满足预设的长度或语义完整性要求。

• 基于文档结构的分块（Document structure-based chunking）利用文档的天然格式或逻辑结构进行分块，核心思想是将文档的物理结构（如标题、章节）或逻辑结构（如操作流程中的步骤）作为分块边界，确保拆分后的子块保留完整的语义单元。

• 基于LLM的分块（LLM-based chunking）是指利用LLM的语义理解能力来动态确定文本分块边界，通过模型对文本语义的深层理解实现更精准的分块。

除此之外还有很多其他的切分方式，但最终都需要把文本切分成多份小块。

2.文本块向量化

在RAG流程里，把长文本切成小块后，这些文本块对机器来说还是乱码，这时候需要将其转换为机器可理解的格式。

向量化（Embedding）就是将文本或数据转换为向量的过程。模型经过训练后，这些向量可以捕捉到文本的语义信息，使得相似的文本在向量空间中距离较近，这样检索系统可以基于这些向量进行高效的相似度搜索。

3.将向量存储在向量数据库

向量数据库是用于存储和查询向量的数据库。文本块向量化后，就会与原始内容、元数据（如文本块 ID、来源文档、创建时间等）一起被存储到向量数据库中。

假设向量是图书馆里的书，语义信息是每本书的内容，那么向量数据库就是专门为其设计的智能图书馆。

• 传统数据库像老式图书馆，只能按书名（关键词）找书；

• 向量数据库像智能图书馆，能根据书的主题（语义）分类，比如“想找养猫的书”，它会自动把涉及 “猫粮”“猫砂”的书都找出来 ，因为这些词在向量空间里是 “邻居”。

向量数据库充当了 RAG 应用的内存，是存储所有附加知识的地方，通过这些知识，模型可以回答用户的查询。

至此，向量数据库已创建完毕，信息也已添加。

现在，进入模型回答部分。

回答部分（检索与生成流程）

4.用户查询

接下来，用户输入一个查询，比如：“常州能打破0进球魔咒吗？”

5.将查询向量化

与准备部分中的文本块向量化步骤一样，使用相同的Embedding模型，将用户查询“常州能打破0进球魔咒吗？”转换为向量。

6.检索相似的块

将用户查询转换为向量后，系统需要在向量数据库中快速找到语义最接近的文本块。这个过程本质上是向量相似度检索，用搜索算法检索查询向量与库中所有向量的 “距离”，距离越近，语义越相似。

像KNN（K最近邻）等传统的最近邻搜索算法会遍历所有数据点，计算目标向量与库中每个向量的距离，并严格按距离排序，选取最近的 K 个样本。

但向量数据库可能存在百万级甚至上亿向量，若每次都遍历所有向量计算距离，效率极低。如何避免 “暴力比对所有向量” 的低效操作呢？

ANN（近似最近邻）算法采取“抓大放小”策略，牺牲少量精度以换取速度提升。ANN通过 “空间分区 + 快速导航” 机制，将海量向量的搜索范围 “剪枝” 到局部区域，避免全局遍历，降低搜索复杂度。

接下来，向量数据库返回与用户查询相关的文本块，为最终的生成提供基础。

7.重排序

检索阶段就像海选，捞出一堆 “可能相关” 的块，这些块还需要重排序（Re-ranking），以确保最相关、最优质的文档被优先提供给生成模型。该过程依赖编码器模型为检索到的每个块分配相关性分数。

双编码器（Bi-Encoder）和交叉编码器（Cross-Encoder）是两种主要的编码器类型。

双编码器通过独立的查询编码器和文档编码器，分别将用户查询与文档编码为向量，通过向量相似度计算获取计算其相关性，该方法效率高但仅能捕捉表层语义；交叉编码器将查询和文本块作为整体输入，通过全注意力机制捕捉深层语义交互，直接输出相关性分数。这种方法能捕捉深层语义关联，精度更高但处理速度较慢。

在 RAG 重排序中，交叉编码器通过牺牲部分效率换取语义匹配精度，成为优中选优的核心方案。

8.生成最终响应

当重排序后的高相关文本块准备就绪，LLM 将进入“知识拼图”环节，把用户问题与精选出来的文本块按“提示模板（Prompt Template）”组合，生成融合外部知识的精准回答。

“提示模板”是一个固定格式，把用户问题和精选资料按顺序排列，形成LLM能理解的输入格式。

生成最终响应是 RAG 系统的“知识变现”环节，LLM 在此扮演三重角色：

• 信息融合者：将碎片化知识块与问题深度整合，避免照搬资料的生硬感；
• 逻辑编排者：按人类认知习惯重组信息（如时间顺序、重要性排序）；
• 表达优化者：将专业术语转化为易懂语言，同时保留关键数据准确性。

从知识分块的 “抽丝剥茧”，到嵌入向量的 “语义编码”，再到检索重排的 “沙里淘金”，最终通过 LLM 完成知识的 “有机生成”。至此，RAG的工作流程就完成了。

真正的模型“顶流”从不依赖 “人设” 行走江湖，得有随时更新、知错就改的真本事，这才是“顶流”保证长红不衰的硬实力。

五、RAG 的技术范式发展

（一）Naive RAG

作为 RAG 技术的基础形式，Naive RAG 主要包括三个基本步骤：

1. 索引：将文档库分割成较短的 Chunk，并通过编码器构建向量索引。例如，将一本技术手册按章节或段落分割成多个 Chunk，然后使用词嵌入模型将每个 Chunk 转换为向量，存储在向量数据库中并建立索引。

2. 检索：根据问题和 chunks 的相似度检索相关文档片段。当用户提出问题时，将问题也转换为向量，在向量数据库中计算其与各个 Chunk 向量的相似度，返回相似度较高的 Chunk。

3. 生成：以检索到的上下文为条件，生成问题的回答。将检索到的 Chunk 与问题一起输入生成模型，由生成模型生成最终答案。

然而，Naive RAG 在检索质量、响应生成质量以及增强过程中存在多个挑战。例如，由于简单的相似度检索可能会返回与问题相关性不强的 Chunk，导致生成的答案不准确；而且当检索到的信息过多或过少时，都会影响生成模型的表现。

（二）进阶的 RAG（Advanced RAG）

为了解决 Naive RAG 的不足，Advanced RAG 范式被提出，并在数据索引、检索前和检索后都进行了额外处理。

1. 数据索引优化：通过更精细的数据清洗、设计文档结构和添加元数据等方法提升文本的一致性、准确性和检索效率。例如，在清洗数据时，对一些模糊或歧义的表述进行标准化处理；在文档结构设计上，明确不同部分的主题和层次关系；添加元数据如文档的来源、发布时间、所属领域等，以便在检索时能够更精准地筛选数据。

2. 检索前处理：可以使用问题的重写、路由和扩充等方式对齐问题和文档块之间的语义差异。比如，通过自然语言处理技术对用户问题进行语义分析，将其重写为更符合文档库语言风格和语义表达的形式；或者根据问题的主题将其路由到特定领域的文档子集中进行检索；还可以对问题进行扩充，添加一些相关的关键词或背景信息，提高检索的准确性。

3. 检索后处理：通过将检索出来的文档库进行重排序避免 “Lost in the Middle” 现象的发生，或是通过上下文筛选与压缩的方式缩短窗口长度。例如，利用排序算法对检索到的文档片段按照与问题的相关性、重要性等因素进行重新排序，将最相关的片段排在前面；通过对检索到的上下文进行筛选，去除冗余信息，保留关键内容，然后对保留的内容进行压缩，使其能够更好地适配生成模型的输入要求，提高生成效率和质量。

（三）模块化 RAG（Modular RAG）

随着 RAG 技术的进一步发展和演变，新的技术突破了传统的 Naive RAG 检索 — 生成框架，基于此提出了模块化 RAG 的概念。

1. 结构灵活性：在结构上它更加自由和灵活，引入了更多的具体功能模块，例如查询搜索引擎、融合多个回答等。不同的模块可以根据实际需求进行组合和定制，以适应多样化的应用场景。例如，在处理复杂问题时，可以引入一个查询搜索引擎模块，先对问题进行初步的分析和处理，确定需要检索的信息范围和重点，然后再将处理后的查询发送到检索模块；在生成答案阶段，可以融合多个不同来源或不同模型生成的回答，通过一定的策略进行整合，得到更全面、准确的答案。

2. 技术融合：技术上将检索与微调、强化学习等技术融合。例如，结合微调技术，针对特定领域或任务对检索到的信息进行进一步的优化和调整，使生成的答案更符合该领域的专业知识和语言习惯；利用强化学习，根据生成答案的质量反馈（如用户满意度、答案准确性评估等）来动态调整检索和生成过程中的参数和策略，不断提高 RAG 系统的性能。

3. 流程编排：流程上也对 RAG 模块之间进行设计和编排，出现了多种的 RAG 模式。不同的模块之间需要合理地协同工作，通过优化流程编排，可以提高整个系统的运行效率和效果。例如，确定检索模块和生成模块之间的数据传递方式和时机，以及如何在不同的应用场景下选择最合适的模块组合和执行顺序。

需要注意的是，这三个范式之间是继承与发展的关系。Advanced RAG 是 Modular RAG 的一种特例形式，而 Naive RAG 则是 Advanced RAG 的一种特例。随着技术的不断发展，RAG 的技术范式也在持续演进，以满足日益复杂和多样化的应用需求。

六、RAG 与其他 LLMs 优化手段的比较

除了 RAG，LLMs 主要优化手段还包括提示工程（Prompt Engineering）、微调（Fine-tuning，FT），它们都有自己独特的特点，在不同方面对 LLMs 进行优化，根据对外部知识的依赖性和模型调整要求上的不同，各自有适合的场景。

1. RAG：就像给模型一本教科书，用于定制的信息检索，非常适合特定的查询。它能够实时从外部数据源获取最新信息，快速适应知识的更新和变化，在处理需要最新数据或特定领域专业知识的问题时表现出色。例如，在金融领域，能够实时获取最新的股票价格、财经新闻等信息来回答用户的投资咨询问题；在法律领域，能够检索最新的法律法规和案例来辅助法律分析。

2. 微调（FT）：就像一个学生随着时间的推移内化知识，更适合模仿特定的结构、风格或格式。通过在特定的数据集上对模型进行微调，可以使模型在特定任务或领域上表现得更加出色，例如在情感分析任务中，使用大量带有情感标注的文本数据对模型进行微调，能够提高模型对文本情感判断的准确性；在文本生成任务中，根据特定的写作风格（如新闻写作、小说写作等）对模型进行微调，可以使生成的文本更符合该风格的要求。然而，微调不那么擅长整合新知识或快速迭代新的用例，因为每次微调都需要重新训练模型，过程相对复杂且耗时。

3. 提示工程（Prompt Engineering）：主要通过精心设计输入给模型的提示，来引导模型生成更符合期望的输出。它是一种相对简单且灵活的优化方式，不需要对模型进行大量的训练或调整。例如，通过在提示中明确指定任务的要求、提供示例或引导模型的思考方向，可以让模型更好地理解用户的意图，生成更准确、更有针对性的回答。但是，提示工程的效果在很大程度上依赖于提示的设计质量，对于复杂的任务或需要深入理解的问题，可能需要不断尝试和优化提示才能得到满意的结果。

值得注意的是，RAG 和 FT 并不是相互排斥的，它们可以是互补的，联合使用可能会产生最佳性能。例如，先使用 RAG 获取最新的外部知识，然后再针对特定任务对模型进行微调，能够使模型既具备实时获取知识的能力，又能在特定任务上表现出色。在实际应用中，可以根据具体的需求和场景，灵活选择和组合这些优化手段，以充分发挥 LLMs 的潜力。

七、RAG 的应用场景

（一）智能客服与聊天助手

在电商、金融、电信等众多行业中，智能客服和聊天助手广泛应用。RAG 能够使这些系统为用户提供详尽、上下文相关的回答，有效解决客户问题或帮助用户完成复杂的任务。例如，当电商平台的用户咨询某款商品的详细信息、使用方法、售后政策等问题时，RAG 系统可以从商品介绍文档、用户评价数据、售后政策文件等数据源中快速检索相关信息，并生成准确、清晰的回答，提升用户体验和客服效率。

（二）教育与知识服务

在教育领域，RAG 可基于教材、参考资料、学术文献等为学生生成清晰的解答或补充学习内容。例如，学生在学习过程中遇到难题，如数学证明题、历史事件分析等，RAG 系统可以检索相关的知识点、解题思路、历史资料等，为学生提供详细的解答和学习指导，帮助学生更好地理解和掌握知识，相当于为学生配备了一个随时在线的智能学习顾问。

（三）医疗诊断与咨询

医生在进行诊断和治疗决策时，需要参考大量最新的医学文献、临床指南和病例数据。RAG 技术可以帮助医生快速访问这些信息，从而提高诊断和治疗建议的准确性。例如，在面对罕见病的诊断时，医生可以通过 RAG 系统检索全球范围内最新的研究成果和类似病例，获取更多的诊断思路和治疗方案参考，为患者提供更精准的医疗服务。

（四）法律研究与文档审阅

法律专业人士在处理案件、起草法律文件时，需要查阅大量的法规、判例和文书摘要。RAG 系统能够帮助他们快速检索到相关信息，显著节约时间成本。例如，律师在准备诉讼案件时，可以利用 RAG 系统迅速找到支持自己观点的法律法规和类似判例，为案件的胜诉增加筹码；法务人员在审阅合同等法律文件时，可以借助 RAG 系统快速检查文件是否符合最新的法律法规要求，识别潜在的法律风险。

八、如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】