简介
随着 GPT-4o、Qwen-VL 等生成式视觉-语言模型（VLM）大放异彩，通用多模态表示的需求也急速升温；然而，直接用这些 VLM 做检索或理解任务时，单向因果注意力机制往往限制了表示质量。为应对这一问题，来自中国人民大学、微软亚洲研究院、斯坦福大学、普林斯顿大学等机构的研究者提出了MoCa框架，是一个“持续预训练 + 异构对比微调”的两阶段框架，可将单向注意力 VLM 轻量化地训练成 SOTA 级双向多模态编码器。

TLDR：本文首次提出针对双向多模态表征模型的持续预训练方法，来高效利用无监督的多模态数据。

Paper：https://arxiv.org/abs/2506.23115

HomePage：https://haon-chen.github.io/MoCa/

---

研究动机

尽管 VLM 生成能力强，但直接拿来做嵌入仍有三大痛点：

1. 单向因果注意力机制不利于表示学习现有多模态嵌入模型大多沿用 VLM 的单向因果注意力机制，导致上下文利用受限，表示质量逊于双向编码器。

2. 训练目标与数据分布单一传统方法主要在短图文对上做单一对比学习，难以激发 VLM 已具备的复杂跨模态推理能力，也易对特定分布过拟合。

3. 高质量成对数据难以扩展对比学习依赖人工或规则筛选的图文对，获取成本高且无法利用海量未配对的多模态信息。

MoCa 针对以上痛点提出：

• 用联合重建任务引入双向注意力；

• 高效利用大规模非标注数据，提升多模态嵌入模型的双向理解和泛化能力；

• 利用多样化的对比学习数据进一步提高模型的鲁棒性和泛化性能。

MoCa 框架

MoCa框架概览：（1）针对不同模态的持续预训练：该阶段专注于针对不同模态数据进行持续预训练，旨在显著增强模型在双向跨模态信息理解方面的能力；（2）异构对比学习微调：此阶段通过引入异构对比学习机制进行微调，以期进一步提升模型的鲁棒性与泛化性能。

MoCa 由两个阶段构成：

（1）针对不同模态的持续预训练（Modality-aware Continual Pre-training）

通过引入联合重建任务，模型以双向的方式同时还原被随机遮盖的文本 token （Masked Language Modeling, MLM）和图像 patch（Masked Autoencoding, MAE），打破原有因果掩码的限制，使模型充分捕获跨模态与跨语言的细粒度语义关系。

（2）异构对比学习微调（Heterogeneous Contrastive Fine-tuning）

在微调阶段，MoCa 利用多样化的异构数据，包括：

• 长文档检索对：增加长文本语义推理能力；

• 传统短图文对：维持基础的图文对齐；

• 纯文本对：补充语义多样性与泛化能力。

并通过任务感知批采样策略提高训练效率，有效提升难负样本的多样性和区分度，最终强化多模态嵌入的泛化能力。

---

实验结果

总体结果

在 MMEB 与 ViDoRe-v2 两大主流多模态嵌入基准上，MoCa 均取得显著性能提升：

实验结果图1

• MMEB（36 个任务）: MoCa-3B 比同规模基线提升显著，甚至能够达到现有7B规模baseline模型的性能水平。MoCa-7B 达到当前最佳表现（SOTA）。

实验结果图2

• ViDoRe-v2（7 个任务）: MoCa达到最佳single embedding model（除去colbert based），展现出强大的复杂文档图片检索能力。

消融实验

实验结果图3

消融实验表明：

• 去除持续预训练（Modality-aware Continual Pre-training）中的MLM和MAE后，模型表现均显著下降，说明 CPT 阶段学习的双向跨模态特征至关重要；

• 若移除异构对比学习中新引入的数据，仅用单一类型数据做对比微调，模型泛化性能明显降低，印证了异构样本与任务感知批采样的必要性。

关于模型参数以及训练数据规模的扩展性

实验结果图4

Scaling 实验进一步验证了 MoCa 的高效性：

• 仅使用 20 B token 进行 CPT 后，3B 模型即可逼近甚至超越未 CPT 的 7B baseline模型；

• 模型性能随着数据规模的增大呈稳定提升趋势，证明 MoCa 能高效利用大规模数据进一步提升表示质量。

未来展望

MoCa 展示了将生成式 VLM 转化为高质量双向多模态编码器的巨大潜力，但仍有若干值得进一步探索的方向：

1. 扩展至更多模态与任务场景当前 MoCa 主要聚焦图文检索任务，未来可以拓展至视频、音频等更复杂的模态，以及如多跳问答、多模态推理等更具挑战性的应用。

2. 提升多语言适应能力虽然 MoCa 已支持多语种文本输入，但在低资源语言或跨语言检索上的表现仍有提升空间，可结合语言自适应预训练进一步增强鲁棒性。

3. 自动合成高质量训练数据利用 LLM 合成多样化的图文对已成为趋势。后续可探索如何通过生成式模型构建异构样本，辅助对比训练，从而进一步降低对人工数据的依赖。

4. 与生成能力结合的统一模型当前 MoCa 专注于表征能力优化，与原始 VLM 的生成能力相对割裂。未来可以探索如何构建兼具理解与生成的统一多模态模型，提升整体系统的通用性与实用性。

通过这些方向的拓展，MoCa 有望进一步推动多模态嵌入模型向更强、更广、更智能演进。

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。 

 这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

 

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓