论文链接： https://arxiv.org/pdf/2312.14233
code: https://github.com/SHI-Labs/VCoder

一、简介

人类拥有非凡的视觉感知能力，能够看到并理解所看到的事物，帮助他们理解视觉世界，进而理解理性。多模态大语言模型（MLLM）最近在视觉语言任务上取得了令人印象深刻的性能，从视觉问答和图像字幕到视觉推理和图像生成。然而，当提示识别或计数（感知）给定图像中的实体时，现有的 MLLM 系统会失败。为了开发用于感知和推理的精确 MLLM 系统，文中使用多功能视觉编码器 (VCoder) 作为多模态 LLM 的感知眼睛。向 VCoder 提供感知模式，例如分割或深度图，从而提高 MLLM 的感知能力。其次，利用 COCO 的图像和现成的视觉感知模型的输出来创建 COCO 分割文本 (COST) 数据集，用于在对象感知任务上训练和评估 MLLM。第三，引入了评估 MLLM 在 COST 数据集上的物体感知能力的指标。最后，提供了大量的实验证据，证明 VCoder 相对于现有的多模态 LLM（包括 GPT-4V）改进了对象级感知技能。

二、莫拉维克悖论

假设你被邀请参加一个万圣节派对，并想给派对上的每个人带上糖果，如图1所示。你让你的朋友给你发一张派对房间的照片，这样你就可以估算出人数和需要购买的糖果数量。匆忙之中，你问 GPT-4V：“你能数出图片中有多少人吗？”，它回答说：“是的，图片中可以看到十个人。”你兴奋地带着十颗糖果来到派对上，但等一下，你看到十四个人！你感到很困惑，你看着朋友发给你的图片，你可以在图片中数出十四个人，意识到 GPT-4V 无法完成数图片中有多少人这个简单的任务。同时，它可以准确地描述图片中万圣节派对的发生。多模态 LLM 在简单的视觉感知任务中失败而在复杂的视觉推理任务中取得成功的现象被称为感知中的莫拉维克悖论（Moravec’s Paradox in Perception）。

图 1.GPT-4V 在被提示描述复杂的视觉场景时返回的响应。然而，它无法完成在同一场景中进行计数的简单任务。 文中提出的VCoder 返回正确的人数。

三、论文贡献

• 使用额外的（感知）控制输入并将其馈送到多功能编码器（VCoder）以提高对象感知性能。

• 引入了COCO 分割文本(COST) 数据集，用于在对象识别、计数和顺序预测等基本对象级感知任务上训练和评估多模态LLM 系统。

• 为了量化MLLM 中的物体感知能力，计算计数分数(CS)、幻觉分数(HS) 和深度分数(DS)。

• 在 COST 数据集上进行验证时，经过 VCoder 改造的 LLaVA1.5 在所有指标上都优于基线 MLLM。

四、Cost

为了克服用于训练 MLLM 的基础感知重点图像文本数据稀缺的问题，文中利用 COCO 数据集中的图像并使用现成的视觉感知模型的预测来准备 COCO 分割文本 ( COST ) 数据集。

图像分割方法可以准确识别给定场景中的显着对象（前景对象，如人、汽车等）和背景对象（如天空、墙壁等）。在这一发现的指导下，文中使用 COCO 数据集中的图像，并从 OneFormer （一种最先进的图像分割模型）获得相应的分割输出。接下来，从分割输出中提取对象（类）名称和计数，并将它们转换为真实答案的句子形式：“图像中存在的对象是：[CNT1] [OBJ1]，[CNT2] [ OBJ2]，. 。 ., [CNTN] [OBJN].”，其中 [OBJi] 代表对象名称，[CN Ti] 代表图像中第 i 个对象的计数（如果大于 1）。文中提示 GPT-4 [51] 为三种不同的对象识别任务收集一系列问题：语义、实例和全景，对应于三种不同的图像分割任务。最后，如图 3 所示，将 COCO 中的图像、OneFormer 中的分割图、GPT-4 中的问题以及包含对象信息的句子组织成问答格式，以构建用于训练的 COCO 分割文本（COST）数据集并评估 MLLM 在物体识别任务上的表现。

图 3. COST 数据集

五、视觉编码器

文中通过额外的视觉编码器将辅助感知模态作为控制输入，我们将其称为多功能视觉编码器 ( VCoder )，如图4所示。在这项工作中，专注于物体感知任务，并利用分割图、深度图或两者作为控制输入；但是，相同的设计可以扩展到其他模态。VCoder 将控制输入的信息投射到 LLM 的空间中。这种增加的控制有助于 MLLM 提高其物体感知能力。

图 4. VCoder 调整多模态 LLM 以实现准确的物体感知。 (a) VCoder 作为适配器添加到 LLaVA-1.5 中，并提供感知模式作为额外的控制输入，以提高对象感知性能。在训练过程中，冻结了 LLaVA-1.5 中的组件（ImCoder、MLP 和 LLM）以保留原始推理性能。 (b) 使用深度图和分割图作为 VCoder 的控制输入来执行对象顺序感知任务。

量化MLLM 中的物体感知能力的计数分数(CS)、幻觉分数(HS) 和深度分数(DS)计算如下：

六、实验结果

本文转自 https://mp.weixin.qq.com/s/l0pgyg10fsWMbPSmWB2oew

---

七、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】