什么是混合检索？

融合检索方法涉及在 RAG 系统的检索阶段融合或聚合多个信息流。回想一下，在检索阶段，检索器（信息检索引擎）获取 LLM 的原始用户查询，将其编码为矢量数值表示，并使用它在庞大的知识库中搜索与查询高度匹配的文档。之后，通过添加从检索到的文档中产生的额外上下文信息来增强原始查询，最后将增强的输入发送给 LLM。

通过在检索阶段应用融合方案，在原始查询之上添加的上下文可以变得更加连贯和上下文相关，从而进一步改善 LLM 生成的最终响应。混合检索利用从多个提取文档（搜索结果）中获取的知识，并将其组合成更有意义和更准确的上下文。但是，我们已经熟悉的基本 RAG 方案也可以从知识库中检索多个文档，而不一定只有一个。那么，这两种方法有什么区别呢？

经典 RAG 与混合检索之间的关键区别在于如何处理多个检索到的文档并将其集成到最终响应中。在经典 RAG 中，检索到的文档中的内容只是简单地连接起来，或者最多是提取总结，然后作为附加上下文输入到 LLM 中以生成响应，没有应用任何高级融合技术。而混合检索则使用更专业的机制来组合多个文档中的相关信息，这种融合过程可以发生在检索增强阶段，甚至可以发生在生成阶段。

• 增强阶段的融合

增强阶段的融合包括应用技术对多个文档进行重新排序、过滤或组合，然后再将它们传递给生成器。这方面的两个例子是一个是重新排名，其中文档在与用户提示一起输入模型之前根据相关性进行评分和排序，以及聚合，其中每个文档中最相关的信息被合并到单个上下文中。另一个是聚合是通过经典的信息检索方法应用的，例如 TF-IDF（词频 - 逆文档频率）、嵌入操作等。

• 生成阶段的融合

生成阶段的融合涉及 LLM（生成器）独立处理每个检索到的文档（包括用户提示），并在生成最终响应期间融合多个处理作业的信息。广义上讲，RAG 中的增强阶段成为生成阶段的一部分。此类别中的一种常见方法是解码器融合 (FiD)，它允许 LLM 单独处理每个检索到的文档，然后在生成最终响应时结合它们的见解。

重新排序是最简单但有效的融合方法之一，可以有意义地组合来自多个检索源的信息。下一节简要说明其工作原理。

Reranking重排序工作原理

在重新排序过程中，检索器获取的初始文档集会重新排序，以提高与用户查询的相关性，从而更好地满足用户的需求并提高整体输出质量。检索器将获取的文档传递给称为排序器的算法组件，该组件根据所学用户偏好等标准重新评估检索到的结果，并对文档进行排序，以最大限度地提高向特定用户呈现的结果的相关性。使用加权平均或其他形式的评分等机制来组合和优先排序排名最高位置的文档，这样排名靠前的文档内容比排名较低的文档内容更有可能成为最终组合上下文的一部分。

下图说明了重新排名机制：

以东亚旅游业为例来描述一个示例，以便更好地理解重新排名。想象一下，一位旅行者向 RAG 系统查询“亚洲自然爱好者的热门目的地”。初始检索系统可能会返回一份文档列表，其中包括一般旅行指南、关于亚洲热门城市的文章以及自然公园的推荐。但是，重新排名模型可能会使用其他特定于旅行者的偏好和上下文数据（例如首选活动、以前喜欢的活动或以前的目的地），重新排序这些文档，以优先显示与该用户最相关的内容。它可能会突出显示宁静的国家公园、鲜为人知的远足小径和可能不是每个人建议列表顶部的生态友好型旅游，从而为像我们的目标用户这样的热爱自然的游客提供“直奔主题”的结果。

总之，重新排名根据额外的用户相关性标准重新组织检索到的多个文档，以将内容提取过程集中在排名靠前的文档中，从而提高后续生成的响应的相关性。