大模型基准测评 benchmark

1.常用基准测评集：CMMLU、C-Eval、GSM8K、AGIEval

CMMLU：
综合性的中文评估基准，专门用于评估语言在中文语境下的知识和推理能力。CMMLM涵盖了从基础学科到高级专业水平的67个主题，比如：需要计算和推理的自然学科、需要知识的人文科学和社会学科以及需要生活常识的中国驾驶规则等，包括在其他地区或语言中并不适用的中国特定答案。

C-Eval：
全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题，分为4个难度级别。

GSM8K：
由人类问题作者创建的8.5K高质量多样化小学数学单词问题的数据集，通过这套数据集可以评估大模型的数学推理运算能力。

AGIEVAL：
用于评估基础模型在于人类认知和解决问题相关的任务中的能力。该基准源自20项面向普通考生的官方公开高标准的入学和资格考试。

2.大模型基准测试体系包括4个关键要素：测试指标体系、测试数据集、测试方法、测试工具

测试指标体系可以按照场景-能力-任务-指标四层结构进行构建。

测试场景定义了待测试模型的外在环境条件的组合，如通用场景、专业场景、安全场景等。测试能力决定了模型的测试维度，如理解能力、生成能力、推理能力、长文本处理能力等。针对待测试的能力，可以通过多种任务完成测试。如语言大模型的理解能力可以重点考察在文本分类、情感分析、阅读理解、自然语言推理、语义歧义消解等任务中的表现。对于不同的测试任务，需要与不同的指标进行关联。如文本分类可以计算准确率、召回率等指标，而阅读理解可以利用准确率、F1Scores、BLUE、ROUGE 等进行考察

按照大模型可处理的信息模态，可以将大模型分为语言大模型、多模态模型、语音大模型等，语言大模型的输入和输出均为自然语言，多态大模型的输入和输出为不同模态的数据。

大模型的评测流程包括测试需求分析、测试环境准备、测试数据构建、基准测试执行、测试结果评估和测试结果展示等。