一个模型，既能看懂图，又能画出图，还能在推理过程中把结果可视化出来——这是 GPT-4o 之后，多模态领域最令人期待的方向之一。

但问题也很明显：长期以来，“理解”和“生成”其实是两条独立演化的技术路线。理解侧更偏向自回归模型，生成侧更依赖扩散模型，两者架构差异巨大，直接拼在一起往往会“打架”。

本文精读的不是某一个具体方法，而是一篇综述地图：

《Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities》 arXiv:2505.02567，持续更新至 2026 年

如果你是研一研二，想入门 GPT-4o 之后最火的统一多模态方向，从这篇综述开始会非常省力。

▲ 图：统一理解与生成的三大架构范式与核心矛盾

01 这个方向想解决什么问题？

统一多模态理解与生成，想解决的核心问题很直接：

能不能用一个模型，同时完成“看懂图”和“生成图”？

传统上，理解和生成属于两个世界。

理解侧通常由自回归模型主导。它和文本大语言模型天然兼容，核心训练目标可以写成：

$$p(x)=\prod_{t=1}^{T}p(x_t|x_{也就是根据前面的 token 预测下一个 token。这类模型擅长语义理解、逻辑推理、复杂指令跟随。

生成侧则主要由扩散模型主导。扩散模型通过逐步去噪生成图像，图像质量高、细节保真度强，因此成为文生图、图像编辑等任务的主流路线。

问题在于： AR 擅长“想”，Diffusion 擅长“画”。

前者适合语义规划，但图像生成容易受到 token 序列长度、误差累积等问题影响；后者适合高保真生成，但和语言推理、符号逻辑之间的接口并不天然统一。

GPT-4o 展示出更强的多模态理解与生成能力后，领域内开始集中思考一个问题：能否把这两类能力真正统一到一个模型框架中？

02 这篇综述如何梳理整个领域？

这篇综述最大的价值，是把快速膨胀的统一多模态模型整理成了一个非常清晰的“三范式”框架。

第一类：纯扩散范式

这一路线试图用扩散模型统一处理理解和生成。

扩散模型本来强在生成，但如果进一步改造其条件建模、表示学习和任务接口，也可以承担图像理解、视觉问答、跨模态推理等任务。

它的优势是图像质量高，天然适合生成任务；挑战是如何让扩散模型具备更强的语义推理能力。

第二类：纯自回归范式

这一路线的核心思想是：把图像也离散成 token，然后像语言一样进行 next-token prediction。

也就是说，文本是 token，图像也被 tokenizer 编码成 token，最后统一交给 Transformer 处理。这样一来，理解和生成都可以放进同一个自回归框架里。

它的优势是和 LLM 兼容性强，容易继承大语言模型的推理能力；问题是图像 token 序列可能非常长，生成效率和视觉细节保真度都会受到挑战。

第三类：AR + 扩散混合范式

这是目前非常受关注的一类路线。

它的基本思路是： 让 AR 负责高层语义规划，让 Diffusion 负责低层图像生成。

也就是说，模型先用自回归模块理解指令、规划内容、生成语义条件，再交给扩散模块生成高质量图像。字节的 MammothModa2 就是这一类路线的代表之一。

这类方法试图结合两者优势：既保留 LLM 的理解与推理能力，又利用扩散模型的高保真生成能力。因此，它很可能是未来一段时间内最活跃的技术路线之一。

03 这个方向最核心的矛盾

如果只用一句话概括统一多模态理解与生成的核心矛盾，那就是：

如何让一个模型既会“想”，又会“画”？

自回归模型的强项在于语言、推理、规划、组合泛化。它适合回答问题、理解复杂指令、进行多步推理。但当它被用于图像生成时，往往需要把图像拆成大量离散 token，序列变长后容易带来效率问题和误差累积。

扩散模型的强项在于高质量视觉生成。它能画出细节丰富、纹理真实的图像，但它的推理方式和 LLM 不同，难以直接承担复杂语义推理和多轮交互。

因此，整个方向的关键不只是“把两个模型接起来”，而是要解决表示、接口、注意力机制、训练数据和任务目标之间的深层统一问题。

04 这篇综述最值得看的三点

第一，它提供了一张“地图”。

统一多模态理解与生成的论文非常多，如果直接读单篇方法，很容易陷入细节而看不清全局。这篇综述先用“三大范式”建立坐标系，让你知道每篇工作大致属于哪条路线、解决什么问题。

第二，它点出了三个核心挑战。

综述中反复强调，统一模型后续发展的关键集中在三个方面：

1. Tokenization 策略：图像、视频、音频该如何被表示成模型可处理的 token？连续表示和离散表示如何取舍？

2. 跨模态注意力机制：文本 token 与视觉 token 如何高效交互？是早融合、晚融合，还是分层融合？

3. 数据与基准：统一理解与生成需要什么样的数据？如何评估一个模型是否真正同时具备理解和生成能力？

这三个问题，几乎就是后续选题的主要入口。

第三，它仍在持续更新。

这篇综述从 2025 年 5 月首发，到 2026 年初仍在迭代，覆盖了不少最新工作。对于发展极快的多模态领域来说，这种持续更新非常重要。

05 读这类综述时也要保持清醒

综述的价值在于帮你建立地图，但它不是最终答案。

首先，它告诉你有哪些技术路线，但不会告诉你哪条路线一定胜出。纯 AR、纯扩散、混合架构都还在快速演化，最终格局仍然需要实证结果来决定。

其次，多模态领域变化极快，任何综述都有“快照”属性。阅读时要注意版本时间，最好结合最新论文一起看。

最后，三大范式只是当前阶段的整理方式。随着模型架构继续融合，未来很多新工作可能会突破现有分类，出现更模糊、更统一的设计。

06 对科研入门有什么帮助？

对研一研二同学来说，这篇综述非常适合作为统一多模态方向的第一篇入门材料。

它的意义主要有三点。

第一，帮你建立全局认知。读完之后，你至少会知道这个方向为什么重要、主流路线有哪些、每条路线的优缺点是什么。

第二，方便后续精读单篇论文。之后再读某个具体模型时，你可以立刻判断：它是纯 AR、纯扩散，还是混合架构？它主要解决 tokenizer、attention，还是数据问题？

第三，它能直接启发选题。比如：

• 统一多模态模型的视觉 tokenizer 应该如何设计？

• AR 与 Diffusion 如何更自然地协同？

• 理解能力和生成能力是否会互相干扰？

• 如何构建能同时评估理解与生成的 benchmark？

• 多模态统一模型的数据配比应该如何设计？

这些问题都可以作为后续科研切入点。

07 小结

统一多模态理解与生成，是 GPT-4o 之后最热门的多模态方向之一。

这篇综述用“三大范式 + 三大挑战”的方式，帮我们快速建立了一张清晰地图：

• 纯扩散：生成强，理解待增强；

• 纯自回归：推理强，生成效率和细节有挑战；

• AR + 扩散混合：让 AR 负责想，让 Diffusion 负责画，是当前非常有潜力的路线。

它不会直接告诉你最终答案，但能让你知道自己站在地图的哪个位置，以及下一步该往哪里走。

如果你关注统一多模态、生成式 AI，或者正在寻找前沿科研选题，这篇综述非常适合作为入门起点。

评论区聊聊：你更看好纯自回归、纯扩散，还是 AR + Diffusion 的混合路线？