前期分享了多模态rag相关思路及实现如：《多模态GraphRAG初探：文档智能+知识图谱+大模型结合范式》、《开源多模态RAG的视觉文档(OCR-Free)检索增强生成方案-VDocRAG》、《一图看懂基于ColPali与Qwen2.5-VL的文档多模态RAG技术流程》。

多模态rag的挑战归纳两点：

• 挑战 1：跨模态信息脱节
  多模态文档（如文本、表格、图表、图像）中，相关证据可能分散在不同模态中，但现有方法难以建立文本与视觉信息（如图表中的数据）的关联。例如，问题可能需要结合文本描述和图表中的视觉数据才能回答，但传统检索方法因缺乏模态间关联，无法有效定位图表中的关键信息。

• 挑战 2：跨页证据整合与推理能力不足
  回答问题所需的证据可能分散在多个页面，且涉及不同模态（如一页的文本说明和另一页的表格数据），现有方法难以跨页关联这些证据并进行长距离推理。例如，用户询问某服务的联系方式时，说明性文本可能在第 54 页，而具体电话号码在第 55 页的表格中，传统方法无法有效关联这两部分信息。

  

下面看一个新思路，如何解决这两个挑战。

MMRAG-DocQA方法

MMRAG-DocQA是一种针对多模态长文档问答任务的检索增强生成方法，核心是通过构建层级索引结构和多粒度检索机制，解决多模态信息割裂和跨页证据推理难题。任务的目标是基于包含文本、表格、图表、图像等多模态内容的文档，回答可能涉及跨页、跨模态证据的问题。因此输入：一个查询$Q$和包含$N$页的文档 D = { d 1 , d 2 , . . . , d N } D = \{d_1, d_2, ..., d_N\} D={d1​,d2​,...,dN​}（其中$d_i$表示第$i$页）。输出：基于文档证据生成的答案$Y_{ans}$。

其中，$R_q^{context}$是检索到的多模态证据，由多模态检索器（MMRetriever）从文档的层级索引（HierIndex）中获取；$P_{CoT}$是思维链提示策略，用于引导模型分步推理。

1、层级索引构建

为建立多模态信息关联和跨页依赖，MMRAG-DocQA设计了扁平化页内索引（$I_{in}$）和拓扑跨页索引（$I_{cross}$）的双层结构：

1.1 多模态内容编码

• 文本内容（$T^{corpus}$）：整合四种文本形式

  • 纯文本（$T^{Text}$）：原始文本内容；
  • 表格（$T^{Table}$）：序列化表格结构（保留行列关系）；
  • 布局文本（$T^{Layout}$）：基于页面布局的文本信息；
  • 视觉描述文本（$T^{Des}$）：通过LVLM将图像、图表等视觉内容转换为文本描述。

• 视觉内容（$V^{corpus}$）：保留原始视觉特征（$V^{Raw}$），避免信息丢失。

1.2 扁平化页内索引（$I_{in}$）

目的是建立单页内多模态信息关联（如文本与图表的对应）。 将每页文本内容（$T_i^{corpus}$）分割为固定大小的文本块（$c_{i,1},c_{i,2},...,c_{i,K_i}$），通过语言模型（LM）编码为语义向量（$Z_i^c=LM(c_i)$），并构建索引。

1.3 拓扑跨页索引（$I_{cross}$）

目的是捕捉跨页长距离语义关联，支持跨页证据整合。

方法：

1. 将全文档文本内容（$T^{corpus}$）聚类为语义相似的文本块（ B = { b 1 , . . . , b K } B = \{b_1, ..., b_K\} B={b1​,...,bK​}）；
2. 通过高斯混合模型（GMM）对文本块进行层级聚类，形成拓扑树结构：
   • 叶节点：原始文本块；
   • 中间节点：聚合语义相关的跨页块；
   • 根节点：通过LLM生成文档主题级摘要。
3. 对各层节点编码（$Z_i^{b,l}=LM(S_{K_l}^{(l)})$）并构建索引。

2. 多粒度检索

结合层级索引，MMRAG-DocQA设计了页级父页检索和文档级摘要检索，分别解决多模态关联和跨页推理问题：

2.1 页级父页检索

目的是关联单页内的文本与视觉证据（如通过文本定位图表）。

大体步骤：

1. 基于扁平化页内索引（$I_{in}$），计算查询$Q$与文本块的语义相似度，检索Top-K相关文本块（$C_q$）；
2. 定位这些文本块所属的“父页”（$P_q$），父页包含与文本关联的视觉内容（如图表、图像）；
3. 通过LLM对父页进行重排序（评分0-1），筛选最相关的父页（$P_q^{final}$）；
4. 从父页中提取视觉内容（$V_q$），并通过LVLM生成与查询相关的视觉证据（$V_q^{final}$）。

2.2 文档级摘要检索（Document-level Summary Retrieval）

目的是整合跨页分散的证据（如不同页面的文本与表格）。 首先基于拓扑跨页索引（$I_{cross}$），计算查询$Q$与各层节点的语义相似度； 然后检索Top-K相关的摘要节点，作为跨页证据的整合结果（$Summar{y}_q^{final}$）。

3. 答案生成

检索到的证据（$P_q^{final}$、$V_q^{final}$、$Summar{y}_q^{final}$）、查询$Q$和思维链提示（$P_{CoT}$）。 整合的证据和提示，生成分步推理过程和最终答案

实验性能

参考文献:MMRAG-DocQA: A Multi-Modal Retrieval-Augmented Generation Method for Document Question-Answering with Hierarchical Index and Multi-Granularity Retrievalhttps://arxiv.org/pdf/2508.00579v2