多模态大语言模型（MLLMs）是当前AI领域的重要研究方向，它通过整合文本、图像、音频等多种模态数据，显著提升了人机交互的自然性和应用广度。

例如，在智能客服场景中，模型可同时解析用户的语音和文字信息以更精准地理解需求；在内容创作领域，则能基于图片自动生成匹配的文案。

然而，该技术的发展仍面临若干关键挑战：**高质量多模态数据稀缺且标注成本高昂，导致训练样本不足；模型存在生成内容与事实不符的"幻觉"问题；多模态信息融合效率有待提升。**这些因素共同制约着模型的性能和实际应用效果。针对这些问题，研究界正从模型架构优化和数据生成方法创新等角度寻求突破。

【论文1】ClearSight: Visual Signal Enhancement for Object Hallucination Mitigation in Multimodal Large language Models

Illustration of Visual Contrastive Decoding.

1.研究方法

Illustration of the Visual Amplification Fusion Method

该论文提出 Visual Amplification Fusion (VAF) 方法，通过分析发现多模态大语言模型在中间层进行模态融合时对视觉信息关注不足，导致依赖语言先验产生幻觉。VAF 在模型中间层增强视觉信号，调整注意力分配，让模型更聚焦视觉特征，减少对语言模态的偏见，从而抑制物体幻觉，且无需额外训练或处理对比输入，保持推理效率。

2.论文创新点

1. 针对性优化模态融合机制：首次提出在模型中间层（模态融合关键区域）增强视觉信号，而非依赖传统对比解码的抑制语言先验或处理额外输入，从融合过程本质上减少幻觉。
2. 平衡性能与效率：通过注意力重新分配和选择性增强视觉感知头，在提升视觉关注度的同时，避免破坏内容连贯性和增加计算负载，兼顾生成质量与推理速度。
3. 即插即用的通用性：作为无需训练的轻量化技术，可直接集成到现有多模态大语言模型中，有效降低物体幻觉，且对模型原有功能无负面影响。

【论文2】VCR: A “Cone of Experience” Driven Synthetic Data Generation Framework for Mathematical Reasoning

1.研究方法

Overview of VCR. Left: The 3-stages generation process of VCR; Right: Cone of Experience proposed by Edgar Dale (Dale 1947).

研究人员提出基于 “经验之锥” 理论的虚拟教室（VCR）多智能体环境。通过模拟人类学习的三个经验层次，即实践（Doing）、观察（Observation）、抽象（Abstraction）阶段来生成高质量合成数据。在实践阶段识别难题并确定合成数据量；观察阶段由不同角色的智能体开展教学活动，增加数据多样性；抽象阶段学生智能体反思，助教智能体设计新问题，最后由记录员智能体整理数据用于监督微调（SFT），同时通过全局迭代过程提升数据质量和模型性能。

2.论文创新点

• 模拟人类学习过程：基于“经验之锥”理论构建VCR，将人类学习的多层面经验具象化到多模态大语言模型训练中，类比人类学习方式生成数据，而非单纯数据增强，为模型训练提供新的思路和方法。
• 自适应数据规划与多场景覆盖：借助精心设计的指令集和角色扮演系统，VCR完全由基于大语言模型的智能体驱动，不仅能自适应规划数据规模，还涵盖授课、讨论、问题设计与解决等多种教育场景，生成丰富且高质量的合成数据。
• 性能优势显著：大量实验表明，在相同数据规模下，VCR生成的数据能更有效地提升多模态大语言模型的数学推理性能，优于基线方法，展现出VCR在数据质量和模型性能提升方面的优势。
• 发现间接数据价值：定性分析首次发现与思维讨论相关的间接数据有助于提升模型数学推理能力，这为多模态大语言模型SFT数据构建提供了新视角，也进一步证明类比人类学习经验训练模型的可行性。

需要完整版论文PDF的下方领取！！