大家好今天和大家分享一个关于多模态思维链（Multimodal Chain-of-Thought，简称 MCoT）推理的全面综述

项目：https://github.com/yaotingwangofficial/Awesome-MCoT

项目背景

多模态链式思维推理在多模态上下文中增强逐步推理的能力，尤其在多模态大型语言模型（Multimodal Large Language Models，MLLMs）中受到关注。它在处理图像、视频、语音、音频、3D 数据和结构化数据等多模态数据时，面临诸多挑战，但也已在机器人技术、医疗保健和自动驾驶等领域取得成功。不过，该领域此前缺乏对众多剩余挑战进行全面回顾的研究。

项目内容

• 系统性综述：这是首个系统性 MCoT 推理综述，阐述了该领域的基础概念和定义，包括详细的分类法和对不同应用中现有方法的分析，还提供了对当前挑战和未来研究方向的见解，以促进多模态推理的发展。

• 数据集与基准：

• • Tab-1：提供用于 MCoT 训练且带有理由的数据集。

  • Tab-2：提供用于 MCoT 评估但不带理由的基准。

  • Tab-3：提供用于 MCoT 评估且带有理由的基准。

项目成果

• 学术论文：项目团队撰写了一篇题为《Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey》的学术论文，作者包括 Yaoting Wang、Shengqiong Wu、Yuecheng Zhang、William Wang、Ziwei Liu、Jiebo Luo 和 Hao Fei，发表于 2025 年。

• 图表资源：项目中还包含了多模态任务的示意图，帮助理解 MCoT 推理在不同任务中的应用。

项目意义

该项目通过全面梳理 MCoT 推理领域的研究进展，为研究人员提供了一个系统的框架来理解和探索该领域，有助于推动多模态推理技术的发展，进一步拓展其在各个领域的应用。