过去两年，我曾带团队做过十几个RAG项目。
刚开始，我们以为只要把文档喂进向量库，用户问啥都能答。
结果上线第一天就翻车了——

客户上传了一份设备维修手册PDF，里面有张关键的故障诊断流程图。
他问：“机器报警E03怎么处理？”
我们的系统翻了半天，返回一句：“请检查电源连接。”
——因为那张图是扫描的，文字压在图片上，模型“看不见”。

那一刻我才意识到：
我们的知识问答系统是一个“选择性失明”的AI助手。

后来我们才知道，这种问题太普遍了。
据Gartner统计，企业在非结构化文档中，超过30%的关键信息是以图像、表格、图表等形式存在的。
纯文本RAG，就像一个只会读文字的侦探，面对一张犯罪现场照片，却说：“我没看见线索。”

于是，多模态RAG 成了我们这代AI产品经理必须掌握的新基建能力。

今天，我将带你搞懂三件事：

1. 为什么传统RAG会“视而不见”？
2. 多模态RAG是怎么让AI“睁眼看世界”的？
3. 作为PM，我们该怎么设计、选型、落地，才能不踩坑？

不讲论文，不炫术语，只讲你真正用得上的东西。

unsetunset一、先搞懂RAG到底解决了什么问题unsetunset

很多人一上来就想搞多模态，但我建议你先问自己：
你的产品，真的需要多模态吗？

要回答这个问题，得先理解RAG的本质。

RAG的核心价值：给大模型“装外脑”

大模型有三大通病：

• 知识过时（比如不知道2025年新政策）
• 容易幻觉（编造不存在的数据）
• 私有知识进不去（公司内部资料它根本没学过）

RAG就是来解决这些问题的——
它不靠模型“记住”，而是“查资料+写答案”。

你可以把它想象成一个学霸在进行开卷考试，带着一本厚厚的参考书进场，看到题目先翻书，再作答。

这个“翻书+答题”的过程，就是RAG的三个核心环节：

1. 文档处理：把PDF、Word拆成小段（chunk），转成向量存进数据库；
2. 检索：用户提问时，系统去库里找最相关的几段；
3. 生成：把检索到的内容当“参考资料”，喂给大模型生成最终回答。

这套逻辑，在纯文本场景下已经很成熟了。

但问题来了——
如果“参考书”里有图、有表、有手写批注呢？

传统RAG就看不懂了。

unsetunset二、从“看不见”到“看得懂”unsetunset

我们团队踩过太多坑，也总结出一条清晰的认知路径：
多模态RAG不是一步到位的，而是分阶段演进的。

我把它的发展分成三个阶段，对应三种产品能力和技术方案：

阶段1：MRAG 1.0｜“伪多模态” —— 先让AI“听见”图像

这是最基础的形态，也叫“图像转文字”方案。
核心思路很简单：把图片变成一段描述文字（Caption），然后当普通文本处理。

举个例子：
一张折线图，标题是“Q1-Q3销售额增长趋势”，曲线显示6月有个明显峰值。
系统用视觉模型（比如LLaVA）生成一句描述：

“该折线图显示，2024年第二季度销售额在6月达到峰值，约为120万元。”

然后，这句话被当作普通文本存进向量库。
下次用户问：“什么时候销售额最高？”系统就能找到这条记录。

✅ 优点：成本低，技术成熟，能快速上线。
❌ 缺点：信息严重丢失。
比如流程图里的逻辑分支、表格中的行列关系，很难用一句话说清。

📌 适用场景：

• 学术论文检索（看图表结论）
• 内部知识库（辅助理解配图）
• 对精度要求不高的轻量级产品

阶段2：MRAG 2.0｜“真多模态” —— 让AI原生理解图文混合内容

这才是真正的多模态RAG。
它不再把图像“翻译”成文字，而是让文本和图像共享同一个语义空间，实现跨模态检索。

• 用文字查图：问“去年营收最高的月份”，返回那张柱状图；
• 用图查文字：上传一张产品结构图，问“这个零件叫什么”，返回BOM表中的名称；
• 图文联合推理：结合报告中的CT影像缩略图和诊断文字，生成更全面的回答。

这背后的关键技术是：

• 多模态嵌入模型：比如CLIP、BGE-M3，能把图像和文本映射到同一向量空间；
• 布局分析引擎：比如RAGFlow、DeepDoc，能识别PDF中哪些是标题、段落、表格、图片；
• 多模态大模型：比如GPT-4o、Gemini Pro，能同时“看图+读文”后生成回答。

📌 适用场景：

• 制造业：设备手册中的零件图与参数表联动查询
• 医疗：影像报告+文字诊断联合分析
• 法律：扫描合同中的条款示意图与正文交叉验证

我们用这个方案平衡了效果与成本。

阶段3：MRAG 3.0｜“智能体化” —— 让AI主动规划、反馈、迭代

这是2025年的前沿方向，也是我认为最有潜力的形态。
它不再是一个被动的“问答工具”，而是一个具备认知闭环的智能体（Agent）。

典型流程是：

1. 用户问：“对比这两款产品的参数差异。”
2. 系统自动判断：需要调取产品手册中的参数表 + 性能对比图；
3. 分别检索图文信息，整合后生成对比报告；
4. 用户反馈：“漏了防水等级”，系统记录并优化下次检索权重。

这个阶段，MRAG不再是“工具”，而是智能体的知识中枢。

📌 未来场景：

• 财务分析Agent：自动提取财报中的文字说明、营收图、业务结构饼图，生成综合报告；
• 医疗诊断Agent：结合影像、病历、检验单，给出辅助建议，并根据医生反馈持续优化。

unsetunset三、作为AI产品经理，我该怎么设计和选型？unsetunset

技术再先进，落地才是关键。
以下是我们踩过坑后总结的PM级决策清单，帮你少走弯路。

---

1. 技术栈怎么选？一张表说清楚

模块	可选方案	我们的推荐
文档解析	PyMuPDF（基础）、RAGFlow（带布局分析）	✅ 必须用带布局分析的工具，否则图文错位
OCR	Tesseract（开源）、PaddleOCR	中文场景首选PaddleOCR，准确率高
图像描述（Caption）	LLaVA-7B（本地部署）、GPT-4o Vision（API）	内部系统用LLaVA，对外产品用GPT-4o
多模态嵌入	BGE-M3（中文强）、CLIP（跨模态准）	中文为主选BGE-M3，国际化选CLIP
向量数据库	FAISS（轻量）、Milvus（高并发）	<10万条用FAISS，否则上Milvus
生成模型	Llama-3.2、Claude 3 Opus、GPT-4o	C端体验优先闭源模型，B端成本敏感可自建

2. 架构设计的三个关键原则

✅ 原则1：模态融合策略决定效果上限

• 共享向量空间（推荐）：所有模态统一编码，检索效率高，适合大多数场景；
• 独立数据库+结果融合：文本、图像分别建库，适合对某类模态精度要求极高的专业领域。

✅ 原则2：成本控制比炫技更重要

• 对非核心图像（如装饰图），用轻量模型生成Caption；
• 对重复图表（如行业通用流程图），只存一次，后续引用即可；
• 高频查询的结果做缓存，避免重复调用API。

✅ 原则3：可解释性是B端产品的生命线

• 回答必须标注来源：“来自第5页图3的描述”；
• 提供“信息错误”反馈入口，形成闭环优化；
• 敏感数据必须脱敏后再处理。

unsetunset四、我们踩过的7个坑，你一定要避开unsetunset

这些都不是理论问题，而是我们实打实交过学费的教训：

1. 大文件内存爆炸
   → 解决方案：流式解析 + 临时文件存储，处理完立即释放。
2. 中英文混杂导致检索偏差
   → 强制使用多语言嵌入模型（如bge-m3），并在prompt中指定语言。
3. 用户问文字问题，返回一堆无关图片描述
   → 在检索层加入“模态权重”，文本查询默认偏向文本结果。
4. 图表数值被误读（如“27.3%”变成“23.7%”）
   → 采用“OCR+Caption”双校验，确保关键数字准确。
5. 长视频检索延迟高
   → 按时间分段，每3秒提取关键帧，建立时序索引。
6. 隐私泄露风险
   → 在Caption生成前加入脱敏模块，屏蔽姓名、身份证号等。
7. 效果无法量化
   → 建立评估体系：

• 检索层：Precision@5（目标结果占比）
• 生成层：Answer Faithfulness（回答与原文一致性）≥0.9

unsetunset五、写在最后：技术是手段，解决问题才是目的unsetunset

从RAG到多模态RAG，技术在变，但产品经理的初心不该变。

我们不需要一个“什么都能看”的AI，而是一个“看得准、答得对、用得稳”的助手。

多模态RAG的价值，不在于它能处理多少种数据，而在于：
它终于能让AI真正理解我们世界本来的样子——图文并茂、复杂真实。

作为AI产品经理，我不建议你盲目追新。
而是先问三个问题：

1. 我的用户是否经常上传含图/表的文档？
2. 当前RAG是否因“看不见”而频繁出错？
3. 我的团队能否支撑多模态的技术复杂度？

如果答案是“是”，那就值得投入。
否则，先把文本RAG做扎实，一样有价值。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】