📖标题：ChiMDQA: Towards Comprehensive Chinese Document QA with Fine-grained Evaluation
🌐来源：arXiv, 2511.03656

🌟摘要

随着自然语言处理 (NLP) 技术的快速发展，对高质量中文文档问答数据集的需求稳步增长。为了解决这个问题，我们提出了中文多文档问答数据集（ChiMDQA），专为学术、教育、金融、法律、医疗和新闻等流行领域的下游业务场景而设计。ChiMDQA 包含来自六个不同领域的长格式文档，由 6,068 个严格策划的高质量问答 (QA) 对组成，进一步分类为十个细粒度类别。通过细致的文档筛选和系统的问题设计方法，数据集保证了多样性和高质量，使其适用于各种 NLP 任务，例如文档理解、知识提取和智能 QA 系统。此外，本文全面概述了数据集的设计目标、构建方法和细粒度评估系统，为未来中文 QA 中的研究和实际应用提供了实质性基础。代码和数据可在以下网址获得：https://anonymous.4open.science/r/Foxit-CHiMDQA/。

🛎️文章简介

🔸研究问题：现有中文问答数据集在文档多样性和问题类型的深度上存在显著不足，如何构建一个综合的中文文档问答数据集以满足实际应用需求？
🔸主要贡献：论文提出了ChiMDQA数据集，该数据集综合了多领域文档和细粒度的问题类型，为中文文档问答研究提供了更全面的基准。

📝重点思路

🔸数据集构建：通过多阶段流程（数据收集、问答对生成、人工审核、验证统计）构建了ChiMDQA数据集。
🔸问题分类：采用两级分类系统，分为显性事实（L1）和隐性事实（L2），覆盖多种问题类型。
🔸质量评估：实施严格的手动审核与自动化评估相结合的多层验证流程，以确保问答对的准确性和多样性。
🔸扩展计划：制定了未来扩展的路线图，包括领域扩展和自动化候选生成，保障数据集的持续更新和质量。

🔎分析总结

🔸实验结果表明，ChiMDQA能够有效评估大语言模型在不同问题类型和领域的处理能力。
🔸GPT-4o和GLM-4-Plus在多领域的表现优于其他模型，显示了其在复杂问答任务中的强大能力。
🔸通过实施检索增强生成（RAG）策略，显著提升了模型在事实性问题上的F1分数，并改善了开放性问题的答案一致性。
🔸数据集的构建和评估方法满足了现有中文QA研究的复杂需求，为未来研究提供了重要基础。

💡个人观点

论文提出了综合性的中文文档问答数据集，不仅在文档类型上涵盖多个领域，还在问题设计上实现了细粒度分类。

🧩附录