Language Multi-modal Models (LMMs) 详解

Large Language Models (LLMs)

大语言模型（LLMs）。这类模型通常基于 Transformer decode-only 架构，在海量无标注文本语料上进行预训练。其核心预训练任务是预测下一个 token，这一目标驱动着模型的学习过程。形式化表述中，学习目标可定义为：
$$L=\sum _{t=1}^N\log P_{\theta }(x_{t+1}|{\mathbf{x}}_{1:t})$$
其中，$P$ 代表大语言模型，$\theta$ 是模型的可训练参数。训练目标是在给定前序 tokens ${\mathbf{x}}_{1:t}=(x_1,\cdots ,x_t)$ 的条件下，最大化下一个 token $x_{t+1}$ 出现的概率。

Language Multi-modal Models (LMMs)

语言多模态模型（LMM）。这类模型通过扩展预训练的大语言模型，使其能够基于输入图像生成回复。其实现方式是将 visual token 作为前缀信息进行处理：
$$L=\sum _{t=1}^N\log P_{\theta }(x_{t+1}|{\mathbf{x}}_{1:t},\mathbf{X})$$
其中，$\mathbf{X}\in {\mathbb{R}}^{l\times c}$ 表示 visual tokens 序列，$l$ 是序列的长度，$c$ 是 LLM 的 hidden_dim。

Image Tokenization

现存的研究广泛探讨了如何将输入图像编码为 visual tokens，这类 tokenize 方案通常利用视觉语言预训练的图像编码器 $F^v$（如 CLIP 模型），从输入图像 $\mathbf{I}$ 中提取图像特征 $f^v$，随后通过连接模块 $M$ 将图像特征转换为 visual tokens，具体流程如下：
$$\mathbf{X}=M(f^v);f^v=F^v(\mathbf{I})$$
其中，连接模块 $M$ 可采取多种形式，主要分为投影模块与感知重采样器两类。在前者中，$M$ 通过单层线性投影或多层 MLP 实现，直接将稠密图像特征投影至大语言模型的隐空间。后者则采用交叉注意力机制配合一组固定长度的可学习查询向量来提取图像特征——将稠密图像特征转化为稀疏的图像查询 tokens，进而作为语言模型的输入 token。但基于重采样器的方法在空间推理任务中易出现幻觉现象。