近期，智谱 AI 的 Qwen2.5-VL 系列模型以其文档解析、视频理解等能力引发行业热议，而就在此时悄然放出一枚 “开源核弹”——GLM-4.1V-Thinking。

这个仅 90 亿参数的模型，在 28 个权威多模态基准测试中，竟以18 项超越 72B 的 Qwen2.5-VL-72B的战绩震惊学界，甚至在长文档理解、STEM 推理等硬核任务上，与 GPT-4o 等闭源模型正面交锋也毫不逊色！

当智谱还在为参数规模狂欢时，GLM-4.1V-Thinking 用极致效率证明：多模态推理的未来，属于小而强的思考型模型。

1.摘要

本文介绍了GLM-4.1V-Thinking，这是一款旨在推进通用多模态推理的VLM。

首先通过大规模预训练开发了一个具有巨大潜力的视觉基础模型，这可以说是为最终性能设定了上限。

然后，通过带课程采样的强化学习（RLCS）释放了模型的全部潜力，实现了跨多种任务的全面能力提升，包括STEM问题解决、视频理解、内容识别、编码、接地、基于GUI的代理和长文档理解等。

为促进该领域的研究，开源了GLM-4.1V-9B-Thinking，其在同类规模的模型中取得了最先进的性能。

在对28个公共基准的综合评估中，模型几乎在所有任务上都优于Qwen2.5-VL-7B，并且在18个基准上相对于更大的Qwen2.5-VL-72B取得了相当甚至更优的性能。

值得注意的是，GLM-4.1V-9B-Thinking在长文档理解和STEM推理等具有挑战性的任务上，与GPT-4o等闭源模型相比也表现出竞争力或更优的性能，进一步凸显了其强大的能力。

AcademicDailyAcademicDaily是一个跟踪、推荐和解读大模型等AI成果的技术交流平台，致力于传播和分享前沿技术。238篇原创内容公众号

2.背景

VLMs已成为现代智能系统的重要基石，使其能够超越文本感知和理解视觉信息。在过去十年中，随着模型智能水平的显著提升，相应的多模态智能任务的复杂性也相应增加。

从解决科学问题到开发自主代理，对模型的要求已远远超过简单的视觉内容感知，越来越强调高级推理能力。

最近，大量研究表明，长形式推理和可扩展强化学习可以显著增强LLMs解决复杂问题的能力。

此前有几项工作尝试使用类似范式来增强VLMs的推理能力，但它们主要集中在特定领域。

目前开源社区缺乏一个在广泛任务上始终优于同类参数规模的传统非思考模型的多模态推理模型。

3.整体架构

GLM-4.1V-Thinking的架构由三个核心组件组成：视觉编码器、MLP适配器和作为解码器的LLM。

采用AIMv2Huge作为视觉编码器，GLM作为LLM。

在视觉编码器内，采用了类似于Qwen2-VL的策略，将原来的2D卷积替换为3D卷积。

这使得视频输入可以进行2倍的时间下采样，从而提高模型效率。对于单图像输入，图像会被复制以保持一致性。

为了支持任意图像分辨率和宽高比引入了两项改编。

首先集成了2D-RoPE，使模型能够有效处理极端宽高比（超过200:1）或高分辨率（超过4K）的图像。

其次，为了保留预训练ViT的基础能力，保留了其原始的可学习绝对位置嵌入。在训练期间，这些嵌入通过双三次插值动态适应可变分辨率输入。

为了进一步增强语言侧的空间感知，在LLM中将RoPE扩展到3D-RoPE。这在保留原始模型基于文本的能力的同时，为多模态上下文提供了更好的空间理解。

对于视频输入的时间建模，在每个帧token后插入一个时间索引tokens，其中时间索引通过将每个帧的时间戳编码为字符串来实现。

4.预训练

为了开发更强大的视觉语言基础模型，正在整合多样化的数据集，包括广泛的学术语料库和知识丰富的交织图像文本数据，同时也在纯文本数据上训练模型以保留其语言能力。

如图3所示，GLM-4.1V-9B-Base在pass@k指标上的表现明显优于同类规模的最先进预训练基础模型。

这种优越的基础性能可以说是为RL后的最终结果设定了上限。

预训练数据构建包括图像字幕数据、交织图像文本数据、OCR数据、grounding数据、视频数据和指令调整数据。

训练分为多模态预训练和长上下文持续训练两个阶段。

多模态预训练阶段使用2路张量并行策略，训练所有模型参数120,000步，采用8,192的序列长度和1,536的全局批量大小。

长上下文持续训练阶段增加视频输入和超过8k tokens的长序列交织数据，将序列长度增加到32,768，并采用2路张量并行与4路上下文并行相结合的混合并行方法，额外运行10,000步，同时保持1,536的全局批量大小。

5.监督微调

SFT阶段作为通向强化学习的桥梁，将基础VLM转变为能够进行长CoT推理的模型。

精心策划的长CoT语料库旨在增强推理风格和人类对齐，涵盖可验证领域（如STEM问题）和不可验证任务（如指令跟随、开放式写作）。

与之前将SFT应用于短CoT数据的工作流程不同，特意省略了这一步：不将SFT视为注入新知识，而是将其视为将模型现有的视觉语言理解与更有效的思考和响应风格对齐。

这种对齐为模型提供了更强的冷启动，使其在接下来的强化学习中能够更高效和稳定。

为了促进后续的强化学习，策划了一个高质量的长CoT推理示例数据集。

该数据集旨在训练模型以标准化格式生成连贯的多步骤解决方案，从而为稳定和可扩展的RL训练奠定基础。

响应格式遵循特定结构，包含推理过程和答案内容。实施了严格的数据清理管道，以确保冷启动数据集的质量，并通过从RL检查点采样的高质量和信息丰富的示例来迭代增强数据集。

使用32,768tokens的序列长度和32的全局批量大小进行全参数微调。

训练语料库包括跨多个领域的长形式推理数据，除了多模态数据外，还纳入了涵盖数学问题解决、多轮对话、代理规划和指令跟随的高质量纯文本长形式示例。

6.强化学习

在监督微调阶段之后，主要依靠RL来提升模型的性能。

结合使用RLVR和RLHF，在所有多模态领域和能力上进行大规模RL，包括STEM问题解决、grounding、OCR、视频理解、GUI代理、图表和文档理解、逻辑推理和指令跟随。

RL框架包括数据准备、奖励系统、训练和基础设施等组件。数据准备的目标是在每个子领域中选择或合成尽可能多的可通过RL有效改进的可验证数据。

奖励系统需与RLVR和RLHF兼容，并为每个多模态领域量身定制，其核心是提高奖励系统的准确性和鲁棒性。

训练部分提出并纳入了多项改进，以提高RL的有效性、效率和稳定性。基础设施方面，对RL基础设施进行了广泛优化，以最大限度地提高RL训练效率和性能。

如图5所示，当某些多模态子领域存在低质量验证器时，训练奖励曲线和评估指标会受到负面影响，这凸显了在每个领域都需要精心调整、抗干扰的验证器。

7.强化学习

6.1 与其他先进MLLMs的比较

GLM-4.1V-9B-Thinking在28个基准中的23个上，在10B参数以下的模型里创造了新的最先进水平，在广泛的多模态任务中展现出一致且强大的性能，具体表现如下：

通用VQA：在五个广泛使用的基准测试中超越所有10B以下的开源竞争模型，覆盖单图像和多图像场景，突出了模型强大的通用视觉推理能力，以及在不同视觉环境下进行事实和推理问答的娴熟程度。

STEM：在MMMU_Val、MMMU_Pro、VideoMMMU和AI2D等具有挑战性的科学与工程基准测试中取得最高性能，表明其在结构化和特定领域推理方面具有特别强的能力。在MathVista和WeMath等以数学为中心的任务上保持竞争力，但稍落后于MiMo-VL，这表明在符号和算术推理方面还有提升空间。

OCR&图表：在ChartQAPro和ChartMuseum上创造新的最先进分数，展示了从图表和图形中提取结构化数据的强大能力。在OCRBench上表现具有竞争力，略落后于InternVL3和MiMo-VL，表明在自然图像中的文本识别方面表现稳健但仍有改进空间。

长文档理解：在MMLongBench上超越所有其他模型，显示出对长序列进行推理、保持跨页连贯性以及处理复杂文档布局的强大能力。

GUI代理和多模态编码：在新兴任务中建立新的最先进结果，与竞争对手相比有显著优势，突出了其强大的跨模态推理能力以及视觉界面和代码表示之间的语义对齐。

视频理解：表现稳健，在VideoMME、MMVU和MotionBench等基准测试中处于领先地位，强调了其先进的时空推理能力，这对解释动态和多帧视觉内容至关重要。

视觉接地：在RefCOCO上取得可靠结果，表现与许多更大规模的竞争对手相当或更好。

尽管GLM-4.1V-9B-Thinking规模相对较小，但在28个基准中的18个上优于更大的Qwen2.5-VL-72B模型，包括MMStar、MUIRBENCH、MMMU_Pro和ChartMuseum等特别具有挑战性的任务，这体现了该模型卓越的效率和能力，使其成为计算资源受限的实际部署的有吸引力的选择。

此外，与专有模型GPT-4o相比，尽管GPT-4o规模大且为闭源，但GLM-4.1V-9B-Thinking在大多数任务上取得了更好的结果，这些发现强调了该模型在性能和效率之间提供了出色的平衡，使其成为资源受限的实际部署的实用且强大的解决方案。

6.2 强化学习中的跨域泛化研究

为探究在RL过程中，各种多模态领域是否可以相互泛化和强化，还是会相互对抗和干扰，选择了四个有代表性的领域：STEM、OCR&图表、接地和GUI代理。

每个实验都基于GLM-4.1V-9B-Thinking的SFT阶段检查点进行，比较了5组RL训练数据。

在训练后，在5类基准测试上对模型进行了评估，每类包含多个基准，结果如图6所示。

结果表明，在大多数领域中存在强大的跨域泛化和相互促进：

单域训练促进其他域性能：例如，对STEM数据进行强化学习不仅提高了STEM特定技能，还提升了视觉接地、GUI代理交互和通用VQA任务的性能。同样，对OCR&图表数据进行训练在STEM、GUI代理和通用VQA基准测试中产生了收益。这种跨域效应表明，诸如视觉理解、文本识别和推理等共享的基础能力可以通过单域RL信号共同激活和改进。有趣的是，仅对GUI代理任务应用RL会在所有评估领域产生改进，这表明GUI代理挑战本质上需要文本识别、视觉接地和逻辑推理的综合组合，从而广泛转移。

多域联合训练带来更大提升：这种协同作用可能是GLM-4.1V-9B-Thinking卓越性能的基础。在所有配置中，同时在每个域上训练模型的“mix-all”设置在五个领域中的三个（STEM、OCR&图表和通用VQA）中明显优于任何单域RL。值得注意的是，混合域训练并没有改善接地或GUI代理性能，这表明这些域可能需要更有针对性或专门的多域策略，值得进一步探索。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】