📖标题：Data Quality Management for Large Vision-Language Models: Issues, Techniques, and Prospects
🌐来源：TechRxiv, 176282213.31303325

🌟摘要

大型视觉-语言模型（LVLM）的快速发展改变了多模态感知、推理和生成。然而，随着架构的成熟，它们的能力和可信度越来越受到底层数据质量的限制，而不是模型设计本身。因此，确保充足、可靠和合乎道德的多模态数据已成为下一代LVLM的核心挑战。这项调查首次系统地、有理论依据地概述了LVLM数据质量。我们引入了arc（可用性可靠性可信度）框架，作为描述核心LVLM数据质量方面的统一分类。在此框架内，我们研究了预训练、微调和推理阶段的11个代表性问题和相应的缓解策略，并引入了一个诊断路线图，将模型行为与根本原因数据缺陷联系起来。通过将零散的研究综合成一个连贯的结构，本调查围绕数据中心和诊断原则重新定位了LVLM研究，概述了多模式智能中可持续数据治理的趋势和未来方向。一个不断更新的在线存储库，位于https://github.com/SuDIS-ZJU/Data-Quality-for-Vision-Language-Models伴随着这项调查，以支持数据感知LVLM研究和实践的持续进展。

🛎️文章简介

🔸研究问题：如何确保大型视觉-语言模型（LVLM）中使用的数据满足高质量标准，以提升其性能和可靠性？
🔸主要贡献：论文提出了一个名为“arc框架”的系统性分类法，帮助识别和解决LVLM数据质量问题，并概述了管理数据质量的多种技术和未来研究方向。

📝重点思路

🔸论文首先定义了LVLM的数据生命周期，包括预训练、微调和推理三个阶段，并强调数据质量在每个阶段的重要性。
🔸提出了“arc框架”，将数据质量问题分为可用性、可靠性和可信度三个层面，清晰地识别每一层面的问题。
🔸通过对比不同模型和实证研究，分析数据质量如何直接影响模型的性能和安全性。
🔸制定了一条诊断路线图，将可观察的LVLM行为与其数据质量根源相连，以便于现实应用中的数据质量管理。

🔎分析总结

🔸实验表明，数据的可用性问题主要出现在预训练阶段，影响模型的基础知识和一般化能力。
🔸可靠性问题通常在预训练和微调阶段暴露，这些问题包括语义一致性和多模态对齐。
🔸可信度问题主要在推理阶段体现，显现为模型在与真实世界数据互动时可能出现的风险，如输出有毒内容和隐私泄露。
🔸论文还强调，任何阶段的失败都可能影响整个LVLM管道的稳定性，因此数据质量管理至关重要。

💡个人观点

论文探讨了LVLM的数据生命周期，从可用、可靠和可信三个维度，帮助理解和解决数据质量问题。

🧩附录