前面在langgraph构建智能RAG中加载文档和分块入库使用的均是langchain自带的组件，本文使用纯粹的python库实现同样的功能。本文将使用pypdf和chromadb库。

        1.安装库

#pip  install pypdf

#pip install chromadb

        2.加载pdf文档

        使用pypdf加载文件代码如下：

from pypdf import PdfReader
# 使用《beijing_annual_report_2024》作为示例文件
reader = PdfReader ("../data/beijing_annual_report_2024.pdf")
# 从该文件中提取文本，并删除前后空格。加载后一页为一项
pdf_texts=[p.extract_text().strip() for p in reader.pages]
# 剔除空页，因为检索系统不能接受空页
pdf_texts=[text for text in pdf_texts if text]

        输出加载后内容：

# 打印文档第一页作为输出示例
print(pdf_texts[0])

        输出内容如下：

各位代表：
现在，……支持雄安新区“三校一院”交钥匙项目开学开诊，公共服务共建共享不断深化。

        3.对文本分块

        仍使用递归文本分块器对文本分块，具体代码如下：

from  langchain_text_splitters import RecursiveCharacterTextSplitter
character_splitter = RecursiveCharacterTextSplitter(
    #separators=["\n\n", "\n", ". ", " ", ""],英文文档的分割符示例
    separators=["\n\n", "\n", "。", "，", "、", "；", ""],
    chunk_size=1000,
    chunk_overlap=100
)

#把所有文本拼接后再分割
character_split_texts = character_splitter.split_text('\n\n'.join(pdf_texts)) 

        查看分段效果：

['各位……健全重大国',
 '升，……中关村科技园挂牌运营'，

'……北京向天津、河']

        4.创建向量库

        chromadb与mongodb类似，使用集合表示一个表，具体代码如下：

import chromadb
from chromadb.utils.embedding_functions import SentenceTransformerEmbeddingFunction
embedding_function = SentenceTransformerEmbeddingFunction(model_name='../models/text2vec-base-chinese')

chroma_client = chromadb.PersistentClient(path="../data/chroma")
chroma_collection = chroma_client.get_or_create_collection("beijing_annual_report_2024", embedding_function=embedding_function)

      使用持久化存储，刚创建时为空。

        5.分块数据入库

        把第3步处理后的所有分块向量化并插入向量库以备检索，具体代码如下：

ids = [str(i) for i in range(len(character_split_texts))]

chroma_collection.add(ids=ids, documents=character_split_texts)

        6.相似性检索

        使用集合的query方法进行检索，返回2个匹配的分块，具体代码如下：

query = "促进就业的举措有哪些？"

# 查询Chorma来获取结果，请求5个结果
results = chroma_collection.query(query_texts=[query], n_results=2)

        查看检索结果：

results

        输出如下：

{'ids': [['8', '36']],
 'embeddings': None,
 'documents': [['四是加大民生服务保障力度，……深入推进',
   '促进 12 万城镇就业困难人员实现就业、……。']],
 'uris': None,
 'included': ['metadatas', 'documents', 'distances'],
 'data': None,
 'metadatas': [[None, None]],
 'distances': [[0.4134409427642822, 0.41738224029541016]]}

        7.工具封装

        把第6步的检索功能封装到工具中，工具返回整合后的内容和原始内容供智能体调用，具体代码如下：

from langchain.tools import tool

@tool(response_format="content_and_artifact")#返回原始内容和整合后内容
def retrieve_context(query: str):
    """Retrieve information to help answer a query."""
    retrieved_docs = chroma_collection.query(query_texts=[query], n_results=2)
    serialized = "\n\n".join(
        (f"Source: {metadata}\nContent: {content}")
        for metadata, content in zip(retrieved_docs['metadatas'][0], retrieved_docs['documents'][0])
    )

    #serialized是整合后内容，retrieved_docs为原始内容，原始内容包含元数据
    return serialized, retrieved_docs

        测试一下工具调用结果：

retrieve_context.invoke("促进就业的举措有哪些？")

        输出如下：

#以下格式是输入到大模型中提供上线文的标准格式

'Source: None\nContent: 四是加大民生服务保障力度，……市深入推进\n\nSource: None\nContent: 少于 26 万人……体育赛事。'

        8.分析

        基于pypdf加载文件后元数据内容不够丰富，仅有公共的元数据，并且没有文件路径，每页没有元数据。

        查看元数据：

  reader.metadata

        输出如下，输出中没有文件名

{'/Author': 'sky',
 '/Comments': '',
 '/Company': '',
 '/CreationDate': "D:20240208203412+12'34'",
 '/Creator': 'WPS 文字',
 '/Keywords': '',
 '/ModDate': "D:20240208203412+12'34'",
 '/Producer': '',
 '/SourceModified': "D:20240208203412+12'34'",
 '/Subject': '',
 '/Title': '',
 '/Trapped': '/False'}

        查看某页内容：

  reader.pages[3]

        输出如下：

{'/Contents': {'/Filter': '/FlateDecode'},
 '/MediaBox': [0, 0, 595.3, 841.9],
 '/Parent': {'/Count': 13,
  '/Kids': [IndirectObject(6, 0, 140335219092880),
   IndirectObject(19, 0, 140335219092880),
   IndirectObject(21, 0, 140335219092880),
   IndirectObject(23, 0, 140335219092880),
   IndirectObject(25, 0, 140335219092880),
   IndirectObject(27, 0, 140335219092880),
   IndirectObject(29, 0, 140335219092880),
   IndirectObject(31, 0, 140335219092880),
   IndirectObject(33, 0, 140335219092880),
   IndirectObject(35, 0, 140335219092880),
   IndirectObject(37, 0, 140335219092880),
   IndirectObject(39, 0, 140335219092880),
   IndirectObject(41, 0, 140335219092880)],
  '/Type': '/Pages'},
 '/Resources': {'/ExtGState': {'/GS13': {'/AIS': False,
    '/BM': '/Normal',
    '/CA': 1,
    '/Type': '/ExtGState',
    '/ca': 1}},
  '/Font': {'/FT14': {'/BaseFont': '/ZLXSHE+Calibri',
    '/DescendantFonts': [IndirectObject(16, 0, 140335219092880)],
    '/Encoding': '/Identity-H',
    '/Subtype': '/Type0',
    '/ToUnicode': {'/Filter': '/FlateDecode'},
    '/Type': '/Font'},
   '/FT8': {'/BaseFont': '/LNUHNF+SimSun',
    '/DescendantFonts': [IndirectObject(10, 0, 140335219092880)],
    '/Encoding': '/Identity-H',
    '/Subtype': '/Type0',
    '/ToUnicode': {'/Filter': '/FlateDecode'},
    '/Type': '/Font'}}},
 '/Type': '/Page'}

        基于此提供的上下文内容不够丰富，如果不能满足要求，则不能使用pypdf，仍需使用langchain社区中的文件加载器。