# 合并多检索器结果的实战指南

## 技术背景介绍

在复杂的信息检索任务中，单一检索算法往往不能满足多样化的需求。因此，使用多个检索器的组合(如EnsembleRetriever)可以显著提高检索性能。最为常见的模式是结合稀疏检索器(如BM25)和密集检索器(如嵌入相似度)，因为它们的优势是互补的。这种组合通常被称为"混合检索"。

## 核心原理解析

EnsembleRetriever通过一系列BaseRetriever对象初始化，并基于Reciprocal Rank Fusion算法对检索结果进行重新排序，从而充分利用不同算法的优势，达到优于单一算法的效果。

## 代码实现演示

下面我们展示如何结合BM25检索器和FAISS向量存储的检索器进行检索操作。

```python
# 安装必要的库
%pip install --upgrade --quiet rank_bm25 > /dev/null

# 导入相关模块
from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

# 文档列表
doc_list_1 = [
    "I like apples",
    "I like oranges",
    "Apples and oranges are fruits",
]

# 初始化BM25检索器
bm25_retriever = BM25Retriever.from_texts(
    doc_list_1, metadatas=[{"source": 1}] * len(doc_list_1)
)
bm25_retriever.k = 2

# 初始化FAISS检索器
doc_list_2 = [
    "You like apples",
    "You like oranges",
]

embedding = OpenAIEmbeddings()
faiss_vectorstore = FAISS.from_texts(
    doc_list_2, embedding, metadatas=[{"source": 2}] * len(doc_list_2)
)
faiss_retriever = faiss_vectorstore.as_retriever(search_kwargs={"k": 2})

# 初始化EnsembleRetriever
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

# 执行检索
docs = ensemble_retriever.invoke("apples")
print(docs)

运行时配置调整

除了标准配置，我们还可以在运行时调整个别检索器的参数，比如修改FAISS检索器的"top-k"。

from langchain_core.runnables import ConfigurableField

# 配置FAISS检索器
faiss_retriever = faiss_vectorstore.as_retriever(
    search_kwargs={"k": 2}
).configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs_faiss",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

# 配置更新
config = {"configurable": {"search_kwargs_faiss": {"k": 1}}}
docs = ensemble_retriever.invoke("apples", config=config)
print(docs)

应用场景分析

这种组合检索方式特别适合需要同时考虑关键词匹配和语义匹配的场合，例如文档管理系统、电子商务搜索引擎、问答系统等。

实践建议

1. 权重调整：根据具体应用需求调整各检索器的权重。
2. 实时配置：利用运行时配置根据用户反馈动态调整检索参数以优化结果。
3. 多样化文档库：确保输入文档库的多样性，以发挥检索器组合的优势。

如果遇到问题欢迎在评论区交流。

---END---