Transformer（Attention Is All You Need）

arXiv:1706.03762

2017-06

提出 Transformer 架构，完全基于自注意力机制，无需 RNN/CNN，奠定后续所有 LLM 与多模态大模型的通用底座。

ViT

arXiv:2010.11929

2020-10

首次证明“纯 Transformer 直接作用于 16×16 图像块序列”即可在大规模预训练后取得 SOTA 分类效果，无需卷积。

CLIP

arXiv:2103.00020

2021-02

利用 4 亿图文对训练双塔 Transformer，实现“零样本”图像分类与图文检索，把视觉概念映射到文本语义空间。

Flamingo

arXiv:2204.14198

2022-04

在冻结的 LLM 前插入交叉注意力池化层，仅用少量图文交错数据就能让模型输出开放式文本描述，奠定“冻结 LLM + 视觉连接器”范式。

BLIP-2

arXiv:2301.12597

2023-01

提出轻量 Q-Former 把 ViT 特征压缩成 32 个查询 token，零样本指令下也能让冻结的 LLM 生成准确字幕并回答视觉问题。

LLaVA

arXiv:2304.08485

2023-04

将图片切块经 ViT 线性投影后与文本 prompt 拼接，端到端微调 LLM，首次展示 GPT-4 级多模态对话能力且代码开源。

GPT-4V

无论文（技术报告）

2023-09

OpenAI 公布的 GPT-4 视觉接口，用同一套 Transformer 同时接受图像+文本输入并生成文本，首次把大规模多模态能力产品化。

Gemini

arXiv:2312.11805

2023-12

Google 发布的多模态 Gemini 系列，用原生 Transformer 端到端训练文本、图像、音频、视频统一 tokenizer，在多项基准上超越 GPT-4V。