📖标题：CLEAR-3K: ASSESSING CAUSAL EXPLANATORY CAPABILITIES IN LANGUAGE MODELS
🌐来源：arXiv, 2506.17180

🌟摘要

我们介绍了CLEAR-3K，这是一个包含3000个断言推理问题的数据集，旨在评估语言模型是否可以确定一个语句是否因果地解释了另一个语句。每个问题都提出了一个断言-原因对，并挑战语言模型区分语义相关性和真正的因果解释关系。通过对21种最先进的语言模型（参数范围从0.5B到72B）的综合评估，我们发现了两个基本发现。首先，语言模型经常将语义相似性与因果关系混淆，依赖于词汇和语义重叠，而不是推断实际的因果解释关系。其次，随着参数大小的增加，模型往往会从对因果关系过于怀疑转变为过于宽容地接受它们。尽管发生了这种转变，但即使是性能最好的模型，马修斯相关系数衡量的性能也仅稳定在0.55。因此，CLEAR-3K为开发和评估语言模型中的真正因果推理提供了一个至关重要的基准，这是需要准确评估因果关系的应用程序的基本能力。

🛎️文章简介

🔸研究问题：语言模型如何有效地识别和理解因果解释关系？
🔸主要贡献：论文提出了CLEAR-3K数据集及其评估方法，以系统评估语言模型的因果解释能力。

📝重点思路

🔸引入CLEAR-3K数据集，包括3000个与因果解释相关的论断-理由问题，旨在评估语言模型的因果推理能力。
🔸将传统的论断-理由问题重构为因果解释任务，以独立评估模型区分因果关系与语义相似性的能力。
🔸使用MCC、解释准确率和拒绝准确率等多个评估指标来分析不同规模的语言模型在因果解释任务上的表现。
🔸采用多种开源语言模型（如LLaMA、Qwen等）进行实验，涵盖从0.5B到72B参数的不同规模。

🔎分析总结

🔸结果显示，较小的模型在识别有效因果解释关系时表现出强烈的拒绝偏见，而较大的模型则在解释准确率上有所提高，但拒绝准确率下降，显示出一种相互矛盾的趋势。
🔸模型普遍倾向于将语义相似性作为因果理解的代理，导致在语义相关的句子之间错误地推断出因果关系。
🔸大规模模型在面对事实错误时能有效拒绝因果关系，而在主张和理由都正确的情况下却难以判断真正的因果解释关系，这表明急需改进其因果推理能力。
🔸实验结果强调了当前语言模型在因果推理方面的基本限制，虽然随着模型规模的扩大，其对因果关系的敏感度有所提高，但正确识别因果关系的能力并未显著提高。

💡个人观点

论文的创新点在于系统地引入了一个专门评估因果推理能力的数据集，并通过精细的实验设计揭示了语言模型在因果理解上的核心不足，强调了理解因果关系对于提高模型在高阶推理任务中的表现至关重要。

🧩附录