本篇文章对提出的“多模态学习中注意力缺陷“问题提出了详尽的实证与理论分析，可以让读者更深刻的理解这个问题所在，以及作者提出的方法的关键性。

01.Introduction

多模态大型语言模型（MLLMs）最近在整合多种模态的数据方面展现出强大的能力，这得益于一种可泛化的注意力架构。先进的方法主要集中于以语言为中心的调优，而较少探索通过注意力混合的多模态标记，这给需要细粒度认知和情感理解的高级任务带来了挑战。在这项工作中，我们识别出多模态学习中存在的注意力缺陷问题，这是由跨模态注意力不一致和逐层衰减的注意力激活引起的。为了解决这个问题，我们提出了一种新的注意力机制，称为模块化双通道注意力（MODA），同时进行模态内精炼和模态间交互。MODA 采用对齐后校正策略，有效地将模态对齐与跨层标记混合解耦。在对齐阶段，标记根据基向量映射到双通道模态空间，从而实现视觉和语言模态之间的交互。 此外，通过自适应掩码注意力机制确保了注意力分数的正确性，该机制通过允许为不同模态定制掩码模式来增强模型的灵活性。在 21 个基准数据集上的大量实验验证了 MODA 在感知、认知和情感任务中的有效性。源代码和演示可在 https://zzcheng.top/MODA 获取。

02.Motivation

图 1. 缺陷性注意力问题示意图。(a)鉴于《教父》的详细图像和线条，（b）我们突出显示错误响应、相应的幻觉解释以及附加的答案。（c）我们可视化各层级的注意力分数，突出显示跨模态的不一致注意力。

本文的动机源于尽管最新的多模态大型语言模型在基本感知方面取得了令人鼓舞的成果，但它们仍然难以感知细粒度细节（Tong 等人，2024b），这对于理解认知和情感至关重要。公开基准测试表明，这些先进的多模态大型语言模型相对于随机猜测的表现不佳（Yang 等人，2024），有 3 个 SOTA 模型在 HFM 数据集上的 2 类反讽检测中实现了约 50:50 的准确率。这种现象源于对主导模态数据的过度强调，导致忽略了替代模态中的细粒度细节。

我们深入探究了原因，并分析了 MLLM 中由注意力混合的多模态标记。如图 1 (a) 和 (b) 所示，我们观察到 SOTA MLLM 难以捕捉细粒度细节（例如角色的眼神），导致情感理解出现错误。其原因是 MLLM 的多层注意力不一致（图 1 © 中差异达 63%），我们称之为注意力缺陷问题。一方面，MLLM 中的注意力分数倾向于语言成分。另一方面，逐层的注意力衰减进一步加剧了这种差异。结果，跨模态的注意力分数差异可达 10 倍。

我们的直觉是，多模态注意力机制往往在自模态和跨模态交互之间存在不平衡，导致跨模态特征合作效果不佳。通过明确分离和调节这两个组件，我们可以在保留每种模态独特特征的同时更好地对齐多模态特征。为此，我们提出了模块化双通道注意力

03.Contribution

• 从注意力转移机制的新视角出发，我们指出了 SOTA MLLM 中注意力的关键瓶颈，并深入分析了其核心原因。我们进一步基于我们的观察，提出了一种模块化和双通道的注意力机制。

• 我们研究了一种用于感知、认知和情感的新 MLLM，使其能够应用于细粒度理解和规划。在 21 个基准测试上的大量实验验证了 MODA 的泛化性和有效性。

04.Method

图2：模块化双通道注意力。 (a) MODA 将图像和上下文提示作为输入，包括对话的背景和历史。 (b) 在 MODA 的帮助下，标记流在 MLLM 的每个 Transformer 模块中被对齐。MODA 通过 © 模块化掩码注意力和 (d) 双通道 (V/T)-对齐器以正确对齐后修正的方式修改缺陷注意力分数。

近年来，多模态注意力在多模态领域，包括涉及跨模态生成的扩散模型和涉及跨模态理解的多模态语言模型（MLLM）中，都扮演着非常重要的角色。注意力机制通过计算相似度并应用掩码来控制标记间的交互。为了进一步研究注意力缺陷障碍（DDA）现象，我们对四类细粒度理解任务进行了一系列分析。

图3：对现有 MLLMs 在四个细粒度理解任务上的分析。(a) 视觉和文本标记中注意力激活值的分布。(b) 各阶段多模态标记的注意力图。© 自身和跨模态注意力激活分数及其在注意力层中的差异。

如图 2(a)所示，我们观察到模型分配给视觉内容的注意力显著弱于文本模态。这一观察结果与自回归模型微调的 MLLM 在处理细粒度视觉感知时面临的挑战相吻合。MLLM 的固有设计主要针对基于文本的任务进行优化，当扩展到多模态环境时，可能导致视觉特征的代表性不足。这种不平衡凸显了当前架构的一个关键局限性，即模型在文本处理方面的专长并不能无缝转化为同等能力。此外，我们在图 2(b)和©上进行了实验，观察到模型 32 层中的低层存在明显的跨注意力偏差。这种偏差与高层（已知具有更强的表征能力）的注意力分布显著不一致。具体而言，低层倾向于聚焦过度依赖跨模态交互，可能以有效捕获模态内特征为代价，导致多模态整合效果不佳。

这导致了缺陷失调注意力 (DDA) 问题的正式引入。给定模块 l 中的视觉标记 x 和文本标记 x，多模态注意力建立了从两部分（即自模态 x→xt, x→xv 和跨模态 x→xv, x→xt）之间的联系，其中联系通常通过成对标记相似度和加权求和实现。然而，标记之间的模态差距降低了联系的幅度，正如我们所观察到的，x→xv 和 x→xv 的联系值随着深度呈指数衰减 (α∝γ, γ≠1)。这种错位逐层传播，导致跨模态交互中的累积误差如：

其中ϵ表示特定层级的对齐误差。这种现象与(Dong et al., 2021)中的理论见解一致，在该文献中，纯注意力机制会经历秩崩溃，这是加剧注意力分布不平衡的关键因素。

模块化双重注意力方法

当模态间出现差距时，我们提出在注意力中对多个模态的 token 进行对齐，这被称为模块化双重注意力（MODA）。MODA 首先将多模态注意力分为模态对齐部分和 token 焦点校正部分。

双通道注意力对齐 为了减少模态不一致性，一个自然的想法是使它们对齐。受近期视觉语言嵌入空间映射进展的启发在扩散模型中的 ping（Rombach 等，2022 年），我们提出根据 gram 矩阵的嵌入空间基将 token 映射到其他模态空间。我们根据 token 的 gram 矩阵提取每个模态空间的基向量（Ryu 等，2023 年；Peebles & Xie，2023 年），从而压缩每个模态的语义，并作为其他模态的转换。因此，双工注意力对齐由分别负责视觉和语言模态的 V-Aligner 和 T-Aligner 组成。具体来说，对于 m 模态，空间基是根据归一化格拉姆矩阵||G|| ∈ R 给出的，其中 G 是标记 i 和 j 之间的内积：

其中 K 是 m 模态 token 的键状态，N 是模态 m 中 token 的数量。通过包含由 Gram 矩阵定义的空间的基本向量，我们可以有效地捕捉 m 模态内 token 之间的关系。这使得我们能够构建一个不仅信息丰富，而且保持数据内在结构的特征表示。

作为后续产品，归一化的格拉姆矩阵充当跨模态的 token 转换函数，能够高效地将其他模态 ¯m 的 token 转换为模态 m，作为核化映射函数 f : R→ R。对齐的 token 计算如下：

其中 K 表示来自其他模态 ¯m 的值表示。映射的 token 进一步与原始 token 融合，以增强所有模态 token 之间的相似性。由于训练完整 MLLM 的计算成本很高，我们采用 token 合并和基于 LoRA 的微调来开发融合器。值得注意的是，对齐阶段的计算保持与 token 数量线性复杂度，因为 token 之间的矩阵求和仅在第一轮进行。

模块化注意力掩码 注意力掩码控制 token 在 transformer 层之间的流动，并为 MLLM 引入位置偏差（Wu 等人，2024 年）。为了更好地适应多模态 token 序列的要求，我们为每种模态分配一个调制过的注意力掩码，其中掩码分别负责自模态和跨模态。

为了缓解坍塌的注意力矩阵并防止其导致标记欠平滑，我们首先引入一种模块化注意力掩码，将不必要的注意力值存储为伪注意力分数（Yin 等人，2024）。对于每一行，代表第 i 个标记的注意力分数，该标记可以关注的序列长度固定为 n。因此，每一行包含 n − i 个伪注意力分数，这些分数被分配给多余值。注意力分数使用具有衰减率β的掩码策略正式表示，如下所示：

除了绝对位置先验信息外，我们进一步引入模态位置来强制模型纠正 token 的流动。我们引入归一化 Gram 矩阵作为指标，以找出应该携带模态位置先验的部分。这种分离允许更精确地控制同一模态的 token 之间如何相互作用，以及它们如何与其他模态的 token 进行交互。自模态注意力，用 O 表示，专注于细化同一模态内 relationships，确保相关信息能够通过各层有效传播。相反，跨模态注意力，用 O 表示，促进不同模态之间的信息交换，使模型能够利用互补特征。

05.Experiment

表1：MODA 与其他领先的 MLLM 框架在十二个感知基准上的比较。MODA 优于其他开源模型，并在多个基准上取得了具有竞争力的性能，与 GPT-4V、Gemini 和 Grok-1.5 等专有模型相比。领先 MLLM 的报告数据来自 (Tong et al., 2024a)。

• 感知基准。为了评估我们提出的模型的有效性，我们将其与当前最先进的跨模态大型语言模型（MLLMs）进行比较，包括 Mini-Gemini-HD 系列、LLaVA-NeXT 系列和 Cambrian-1 系列。我们在两种设置下进行对比，这些 MLLMs 均基于 8B 和 34B 规模的大型基础模型进行微调。我们提出的 MODA 在规模相似的模型中表现更优，包括 LLaVANeXT 和 Cambrian，对基础 Llama-3-Ins-8B 模型平均提升 1.0，对基础 Hermes2-Yi-34B 模型平均提升 0.9。在需要细粒度理解的视觉中心任务和 OCR 任务中，MODA 始终表现更佳，视觉中心任务平均指标达到 66.0，OCR & 图表任务达到 74.7。这突显了模型在细粒度感知任务中的能力，进一步巩固了其优越性。

表2：MODA 与其他领先的 MLLM 和认知任务专用方法在 MMRole 基准上的比较。

表3： MODA 与其他领先的 MLLMs 以及情绪任务专业化方法在四种情绪上的比较

我们在以认知为中心和以情感为中心的基准测试上评估了一系列不同的 MLLMs，这些基准测试旨在评估认知和情感理解的关键维度。在认知基准测试中，MODA 的表现优于 Cambrian-1（0.981）和 LLaVA-NeXT（0.979）的开放式模型，平均得分为 0.996，与 Claude 3 Opus（0.995）等封闭式 SOTA 模型表现相当。通过针对认知任务进行特定微调，MODA 取得了更好的性能，特别是在流畅性（0.999）和人格一致性（0.998）方面表现出色。在情感基准测试中，MODA 的表现优于 Cambrian-1（0.628）和 LLaVA-NeXT（0.624）等开放式模型，平均得分为 0.657，与 SPFVTE（0.738）和 MULSER（0.739）等任务专用 SOTA 模型表现相当。值得注意的是，MODA 在 TumEmo（0.747）和 HFM（0.753）基准测试中表现优异，这得益于其捕捉细粒度情感特征和细粒度细节的能力，从而在情感识别任务中展现出强大性能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】