一、引言

Spring AI Alibaba 在 Spring AI 的基础上进行了多项功能扩展，其中 SentenceSplitter （语句切分器）和 DocumentRetrievalAdvisor （文档检索拦截器）是优化 RAG（检索增强生成）流程的关键组件。本文将深入解析这两者的原理、对比其优势，并结合实际代码演示其用法 。

---

二、文本切分器对比

1. Spring AI 的 TokenTextSplitter

• 核心逻辑 ：按最大 token 数切分文本，并向前查找最近的英文分隔符（如句号、问号、换行符）。
• 局限性 ：

• • 分隔符硬编码为英文符号，无法适配中文语境。
  • 对中文长文本的切分效果较差，容易破坏语义完整性 。

2. Spring AI Alibaba 的 SentenceSplitter

• 实现原理 ：基于 OpenNLP 的 SentenceDetectorME 实现，通过预训练模型（位于 spring-ai-alibaba-core 包的 opennlp/bin 目录）精准识别句子边界。
• 核心流程 ：

1. 1. 使用模型分割文本为独立句子。
   2. 根据最大 token 数对句子进行聚合，避免过短或过长的片段 。

• 优势 ：

• • 支持中文及多语言文本切分，适配复杂语言结构。
  • 相比 TokenTextSplitter，能更自然地保留语义单元，提升后续检索准确性 。

示例代码

List<Document> documentList = ...; // 待切分的文档集合
SentenceSplitter splitter = new SentenceSplitter(100); // 最大 token 数为 100
List<Document> newDocuments = splitter.split(documentList); // 切分后的文档

3. 递归字符切分器（RecursiveCharacterTextSplitter）对比

• 特点 ：按优先级尝试多种分隔符（如 \n\n、.、,），递归切分文本。
• 适用场景 ：适合段落结构复杂的文档，但需手动配置分隔符优先级。
• 对比结论 ：

• • SentenceSplitter 更适合依赖语言模型的精准切分，而递归切分器更灵活但需调参 。

---

三、文档检索拦截器：DocumentRetrievalAdvisor

1. 核心功能

DocumentRetrievalAdvisor 是 Spring AI Alibaba 对检索流程的增强组件，用于拦截用户请求并自动检索相关文档，最终将检索结果与用户输入结合后传递给大模型 。

2. 与 Spring AI 的对比

• Spring AI 的 QuestionAnswerAdvisor ：

• • 需注入 VectorStore，直接依赖向量数据库。

• Spring AI Alibaba 的 DocumentRetrievalAdvisor ：

• • 依赖 DocumentRetriever 接口，可灵活对接不同数据源（如本地文件、API 或自定义数据库）。
  • 支持在检索前后插入自定义逻辑（如日志记录、权限校验）。

3. 使用场景

• 动态检索知识库中的文档片段。
• 在生成回答前，自动融合最新数据或上下文信息 。

示例代码

public class MyDocumentRetriever implements DocumentRetriever {
    // 自定义实现检索逻辑，例如从数据库或文件系统获取文档
}

// 配置 ChatClient
ChatClient chatClient = builder.defaultAdvisors(
    new DocumentRetrievalAdvisor(
        new MyDocumentRetriever() // 注入自定义检索器
    )
).build();

// 调用接口
@GetMapping("/retriever")
public String retriever(String input) {
    return chatClient.prompt()
        .user(input)
        .call()
        .content();
}

---

四、生态支持与扩展

1. 文档解析能力

Spring AI Alibaba 提供了丰富的文档解析器（如 spring-ai-alibaba-starter-document-parser-*），支持 PDF、Markdown、YAML 等格式，与 SentenceSplitter 结合可高效处理多源文档 。

2. 向量数据库集成

通过 spring-ai-alibaba-starter-store-* 模块，可无缝对接阿里云 AnalyticDB、OpenSearch 等向量数据库，为 DocumentRetriever 提供高性能检索能力 。

---

五、最佳实践建议

1. 选择切分器 ：

• • 中文文本优先使用 SentenceSplitter，英文文本可尝试 TokenTextSplitter 或递归切分器。
  • 若需精细控制分隔符，可继承 RecursiveCharacterTextSplitter 自定义规则 。

1. 优化检索效率 ：

• • 结合 DocumentRetriever 与缓存机制（如 Redis），减少重复检索开销。
  • 利用 SentenceSplitter 的聚合特性，平衡检索粒度与性能 。

---

六、总结

Spring AI Alibaba 的 SentenceSplitter 和 DocumentRetrieverAdvisor 极大地提升了 RAG 应用的文本处理与检索能力。前者通过语言模型精准切分文本，后者通过灵活接口适配多源数据检索，二者结合可显著优化生成式 AI 的上下文构建效率。开发者可根据业务需求选择合适的切分策略，并结合生态组件构建高效的知识增强系统 。