RAGFlow分块策略：通用、问答、简历、论文等模板化处理

【免费下载链接】ragflow RAGFlow是一个基于深度文档理解的开源RAG（检索增强生成）引擎。 项目地址: https://gitcode.com/GitHub_Trending/ra/ragflow

你是否还在为不同类型文档的分块效果不佳而烦恼？RAGFlow的模板化分块策略让你告别繁琐的手动调整，一键适配通用文本、问答、简历、论文等多种场景。本文将详细介绍RAGFlow的分块机制、模板类型及实操方法，帮助你提升检索精度与问答效果。

分块策略核心架构

RAGFlow的分块系统通过可配置的模板化策略，实现不同文档类型的智能处理。核心代码位于rag/flow/chunker/chunker.py，采用插件化设计支持多种分块方法扩展。

分块参数配置

ChunkerParam类定义了分块的核心参数，包括方法选择、块大小、重叠率等关键配置：

class ChunkerParam(ProcessParamBase):
    def __init__(self):
        super().__init__()
        self.method_options = [
            # General
            "general", "onetable",
            # Customer Service
            "q&a", "manual",
            # Recruitment
            "resume",
            # Education & Research
            "book", "paper", "laws", "presentation"
        ]
        self.method = "general"
        self.chunk_token_size = 512
        self.overlapped_percent = 0

分块流程示意图

分块处理主要包含三个阶段：文档解析、策略匹配和智能分块。系统根据文档类型自动选择最优分块模板，或根据用户配置强制执行指定策略。

模板化分块策略详解

1. 通用文档分块（General）

通用分块策略适用于大多数非结构化文本，采用基于语义边界的自适应拆分算法。核心实现位于rag/flow/chunker/chunker.py的_general方法：

def _general(self, from_upstream: ChunkerFromUpstream):
    if from_upstream.output_format in ["markdown", "text", "html"]:
        payload = self._get_payload(from_upstream)
        cks = naive_merge(
            payload,
            self._param.chunk_token_size,
            self._param.delimiter,
            self._param.overlapped_percent,
        )
        return [{"text": c} for c in cks]

该方法通过naive_merge函数实现文本的智能合并，确保语义完整性的同时控制块大小。

2. 问答型文档分块（Q&A）

针对FAQ、帮助文档等问答类内容，系统采用问答对提取算法，将问题与对应的回答绑定为独立块。配置示例：

{
  "method": "q&a",
  "chunk_token_size": 1024,
  "auto_questions": 3
}

启用auto_questions参数可自动为每个分块生成相关问题，提升检索召回率。

3. 简历分块（Resume）

简历分块采用结构化提取策略，通过deepdoc/parser/resume/模块提取关键信息：

# 简历实体提取示例（deepdoc/parser/resume/step_one.py）
FIELDS = [
    "name STRING", "phone STRING", "email STRING",
    "degree STRING", "school_name STRING",
    "work_experience int", "position_name STRING"
]

分块时优先保留个人信息、工作经历、教育背景等关键模块的完整性，便于招聘场景下的精准匹配。

4. 论文分块（Paper）

论文分块针对学术文献特点，按章节结构（摘要、引言、方法、结果、结论）进行拆分，并保留图表引用关系。核心实现位于rag/flow/chunker/chunker.py的_paper方法：

def _paper(self, from_upstream: ChunkerFromUpstream):
    # 论文结构识别与分块逻辑
    sections = self._extract_sections(from_upstream.json_result)
    return self._merge_sections(sections)

分块策略配置指南

分块参数配置表

参数	含义	默认值	推荐范围
chunk_token_size	块大小（ tokens）	512	256-2048
overlapped_percent	重叠率	0	0-0.3
auto_keywords	自动关键词数量	0	0-5
auto_questions	自动问题数量	0	0-3

配置方式

1. 通过API配置：

# SDK配置示例（sdk/python/hello_ragflow.py）
dataset.set_chunker_config({
    "method": "resume",
    "chunk_token_size": 768,
    "tag_sets": ["recruitment", "tech"]
})

2. Web界面配置：在数据集设置页面，选择"分块策略"标签页进行配置。

性能优化建议

根据docs/guides/dataset/best_practices/accelerate_doc_indexing.mdx文档建议，优化分块性能可采取以下措施：

• 纯文本PDF选择"Naive"解析器替代"DeepDoc"
• 禁用非必要的auto_keywords和auto_questions
• 大文件优先采用"onetable"方法进行表格提取

实际应用案例

案例1：学术论文处理流程

1. 使用paper分块方法解析PDF
2. 启用tag_sets添加学科标签
3. 配置page_rank提升重要章节权重

{
  "method": "paper",
  "chunk_token_size": 1536,
  "tag_sets": ["computer_science", "machine_learning"],
  "page_rank": 5
}

案例2：简历筛选系统

通过deepdoc/parser/resume/step_two.py实现简历的结构化分块后，可快速构建人才检索系统：

# 简历实体提取结果示例
{
  "name": "张三",
  "degree": "硕士",
  "work_experience": 5,
  "position_name": "软件工程师",
  "skill_obj": ["Python", "机器学习", "自然语言处理"]
}

总结与展望

RAGFlow的模板化分块策略通过场景化设计，解决了不同类型文档的分块难题。核心优势包括：

1. 多场景适配：覆盖通用、问答、简历、论文等10+场景
2. 可配置性：丰富的参数调节分块效果
3. 性能优化：支持GPU加速和增量分块

未来版本将引入更智能的自适应分块算法，结合文档内容动态调整分块策略。如需了解更多分块配置细节，请参考官方文档docs/guides/dataset/。

点赞收藏本文，关注RAGFlow项目获取最新分块策略更新！

【免费下载链接】ragflow RAGFlow是一个基于深度文档理解的开源RAG（检索增强生成）引擎。 项目地址: https://gitcode.com/GitHub_Trending/ra/ragflow