从EduVisBench到EduVisAgent:教育可视化的基准和多智能体框架
纪浩年{1},邱士{1},辛思阳{1},韩思薇{1}
陈昭润{2},张大可{3},王宏伟{3},姚华秀{1}
{1}北卡罗来纳大学教堂山分校,{2}芝加哥大学,^{3}罗格斯大学
摘要
尽管基础模型(FMs),如扩散模型和大型视觉语言模型(LVLMs),已在教育领域广泛应用,但它们生成教育上有效的视觉解释的能力仍然有限。大多数现有方法主要集中在文本推理上,忽视了结构化和可解释的可视化在支持概念理解中的关键作用。为了更好地评估FMs在教育环境中的视觉推理能力,我们引入了EduVisBench,一个多领域、多层次的基准。EduVisBench具有多样化的STEM问题集,需要基于视觉的解决方案,并且有一个由教育理论指导的详细评估标准。我们的实证分析显示,现有模型经常难以应对将复杂推理分解并转化为与人类认知过程一致的视觉表示这一固有挑战。为了解决这些限制,我们提出了EduVisAgent,一个多智能体协作框架,协调专门的智能体进行教学规划、推理分解、元认知提示和可视化设计。实验结果表明,EduVisAgent显著优于所有基线模型,实现了40.2%的改进,并提供了更符合教育需求的可视化。EduVisBench和EduVisAgent可在github.com/aiming-lab/EduVisBench和github.com/aiming-lab/EduVisAgent获取。
1 引言
“真正的教学不是告诉答案,而是照亮道路。”
尽管基础模型(FMs),如扩散模型和大型视觉语言模型(LVLMs),已在教育领域得到广泛应用(Chu等人,2025;Wang等人,

图1:GPT-4o无法通过高质量、逻辑性强且具有解释性的可视化展示其问题解决过程。
2024a),包括提供自动化课堂协助的教学智能体和提供问题解决过程文本解释的科学学习智能体(Wu等人,2023),但其应用主要集中于基于文本的交互(Wu等人,2023;Xu等人,2024)。然而,在教育中,特别是在K-12环境中,创建引人入胜的可视化对于认知理解和整体学习效果至关重要(Presmeg,2006)。尽管这一点很重要,但目前对FMs如何有效生成支持问题解决过程教育说明的视觉元素(例如图表、互动教育工具、说明性图形)的理解仍然有限。
目前,为教育推理生成基于视觉的元素面临几个挑战:(1) 将复杂推理分解为与人类认知过程紧密对齐的可表示步骤并非易事(Yang等人,2024;Chen等人,2024d);(2) 精确地为每个子步骤生成最佳支持学习者的视觉辅助工具具有挑战性(Hong等人,2025);(3) 不同的教育领域需要不同的可视化风格和格式,使得一致且充分的视觉辅助工具交付变得困难(Pandey和Ottley,2025)。解决这些障碍首先需要
等量贡献。通信请联系:{haonianj, huaxiu}@cs.unc.edu
对当前FMs的表现有一个清晰的认识,以便未来模型能够有针对性地构建以弥补这些差距。因此,一个全面的评估平台对于系统地评估FMs在视觉教育推理方面的能力至关重要。
为了弥合这一差距,我们引入了EduVisBench,一个多领域、多层次的基准,旨在评估基础模型生成逐步、教育有效的视觉推理的能力。EduVisBench包含来自不同领域的结构化问题集,每个问题都需要以可视化为核心原则的多模态推理和解决方案,如可解释性、认知一致性及教学清晰度,以获得高评估分数。为了便于详细评估,我们进一步开发了一个细致的评分标准,使AI生成的视觉输出能够进行多维度评估,特别关注情境相关性、视觉清晰度、多模态连贯性、推理支持和互动参与等教育标准。
利用这一基准,我们对各种FMs和智能体进行了广泛的评估。我们的研究发现表明,尽管当前模型在逐步文本分析方面表现良好,但在生成有用或忠实的可视化方面常常失败,如图1所示。具体来说,我们的系统分析突出了反复出现的挑战,包括(1) 文本解释和视觉组件之间的语义错位,(2) 渲染图中关键步骤的遗漏,以及(3) 基于代码的视觉输出中的结构不一致,这些问题共同削弱了准确性、清晰度和互动性。
为了解决这些限制,我们引入了一个多智能体协作框架,EduVisAgent,旨在模拟完整的学习旅程——从最初的问题暴露到深入的概念理解。具体而言,一个中央规划智能体协调六个专注于可视化设计、认知支架和元认知调节的专家智能体。然后,合成模块将这些专家输出整合成针对人类学习者量身定制的互动个性化学习网页。实验结果表明,我们提出的EduVisAgent方法比当前最先进的方法平均提高了40.2%40.2 \%40.2%。这强调了我们方法的有效性——通过模块化专业化和协作集成来产生强大且基于视觉的学习解决方案。
图2:EduVisBench的数据分布。每个领域涵盖各种子领域,总共覆盖15个综合教育场景。
2 EduVisBench基准
2.1 概述
在本节中,我们介绍EduVisBench,这是一个新颖且具有挑战性的基准,旨在评估模型生成用于教育目的的逻辑性和解释性可视化的能力。如图2所示,EduVisBench包含从三个学术科目和15个不同领域精心策划的1,154个STEM问题,分为三个难度级别。除了评估逐步解决问题的准确性外,EduVisBench还特别强调模型通过结构化、可解释的可视化帮助学生理解问题的过程的能力,如图3所示。
具体而言,EduVisBench采用多模态设置,其中模型被提供文本和视觉输入,并被要求生成多种输出格式,包括互动网页和视觉图表。除了评估最终答案的正确性外,我们还引入了一个详细的评估框架,该框架从五个关键维度评估可视化质量:(1) 视觉元素的逻辑顺序,(2) 视觉的结构性丰富程度,(3) 与基础学科内容的语义对齐,(4) 为问题解决提供的清晰度和指导,以及(5) 互动性和参与度。在以下小节中,我们将详细描述数据集策划过程和评估标准的设计。
2.2 数据集策划
EduVisBench建立在几个高质量的公共教育资源基础上,这些资源经过仔细策划、翻译和调整,以支持多模态可视化学习任务。具体而言,化学问题是来自C-MHChem-Benchmark(Zhang等人,2024a),原为中文呈现,并经过精心翻译成英文,同时注重科学准确性和术语使用。物理问题则来源于high-school-physics(Rohith,2023)数据集,其中包括适合中学水平学习者的概念性和定量练习。数学部分结合了Illustrative Mathematics课程中的简单问题和从中选择的中等到难级别的问题MATH-500(Lightman等人,2023)。此外,每个领域涵盖各种子领域,总共覆盖15个综合教育场景,如图2所示。所有数据源都被标准化为统一格式并整合在一起,以实现跨学科的一致性和全面评估。
2.3 评估指标
在本小节中,我们将详细介绍EduVisBench中的性能评估标准。
评估维度。 为了全面评估生成的可视化在支持学生理解和学习方面的质量,我们引入了一个基于五个教育动机维度的细致评分指标:(1) 情境可视化:评估可视化如何清晰地将问题置于相关情境中;(2) 图表设计:评估用于表示信息的图表的清晰度、准确性和有效性;(3) 文字-图形整合:衡量文本解释和视觉元素之间的连贯性,确保相互作用;(4) 思维引导:检查可视化在多大程度上支持推理过程并突出关键思维步骤;(5) 互动性:评估可视化是否以及如何邀请学生的参与、反思或主动操作。每个维度捕捉有效多媒体学习的不同方面,附录A.1提供了详细的评分标准以指导评分过程。
评分标准和评估程序。 为了确保系统性和可重复的评估流程,我们手动构建了每个评估维度的详细评分标准,每个等级都有明确的标准,范围为0-5分。然后,通过控制的评估环境使用GPT-4o对每个模型生成的视觉输出进行评估。对于文本到图像模型的静态图像输出,直接进行评估。对于LVLMs,先将其生成的SVG或HTML代码渲染为其最终的视觉形式——无论是静态图像还是互动网页——然后再进行评估。我们的评分程序的详细演示见图4。
图4:EduVisBench基准评估的工作流程。模型接收可视化提示和问题以生成视觉输出。所有生成的可视化都通过GPT-4o在五个维度上进行评估,以计算总性能得分。
3 EduVisAgent
使用所提出的EduVisBench基准,我们系统地评估了现有文本到图像模型和LVLMs的性能(详见第4节表1中的详细结果)。我们发现大多数模型表现不佳,平均得分低于50(满分为100)。这种表现不佳凸显了将复杂推理分解并转化为与人类认知过程一致的视觉表示以有效支持教育这一任务的高度非平凡性。
为了解决这些挑战,我们提出了一种多智能体系统,EduVisAgent,受教育理论启发,旨在模仿专家教学设计中的分工和协作推理。EduVisAgent由五个专业但相互依赖的智能体组成:任务规划智能体,它结构化教学目标;概念映射智能体,它提取和组织关键信息;推理分解智能体,它构建逐步的问题解决逻辑;元认知审查员,它鼓励总结和学习者反思;以及可视化智能体,它生成适当的视觉表示。这种设计通过将不同的教学角色直接嵌入智能体工作流中引入了模块化和教育

图5:EduVisAgent的结构。
可解释性。EduVisAgent的整体运行分为两个阶段:(1) 教学流程构建和 (2) 协作解决方案生成,如下所述。
3.1 教学流程构建
EduVisAgent的第一阶段专注于根据原始问题制定结构化的教学任务。关键挑战在于分析底层推理结构,识别隐含的逻辑依赖,并将每个推理步骤与相关的概念知识关联起来。为此,我们采用了任务规划智能体,它系统地将问题组织成适合多模态可视化的教学格式。其主要功能包括:(1) 将问题分解为连贯的子目标,(2) 澄清每一步预期的推理,(3) 将每一步与特定领域的原则或公式对齐,(4) 预测潜在的学生误解或认知需求。这种结构化的表述提供了一个教育为基础的基础,指导下游智能体生成连贯、针对性强且教育有效的视觉解释。
3.2 协作解决方案生成
在此阶段,EduVisBench通过依次激活一组专门的智能体来执行构建的教学任务,每个智能体负责完成任务的特定方面。如图5所示,这些智能体以协调的方式运作,以增强教学逻辑的一致性,提高视觉表示的清晰度,并确保与教育目标的对齐。具体而言:
概念映射智能体。 此智能体负责提取和组织输入问题的核心组成部分。借鉴
具体的Concrete-Representational-Abstract (CRA)教学模型(Nugroho 和 Jailani,2019),它将信息分类为三类:具体实体、代表元素和抽象构造。该智能体进行细粒度分类和语义总结,以支持下游可视化模块。
推理分解智能体。此智能体将复杂问题分解为可管理的子组件,并提供每步的具体教学指导。它应用面向记忆的FOPS策略(Miller 和 Cohen,2020)——找出问题类型(如方程求解、概念推理、常识应用或图形解释),通过方程或图表组织结构,规划解决方案路径,并解决任务。基于分解的步骤,该智能体还识别需要额外支持的关键教学点,特别是那些受益于视觉支架或互动指导的点。
元认知评审员。基于元认知理论(Schraw 和 Moshman,1995),此智能体支持学习者监控他们的理解力和推理过程。它生成反思提示,促进自我提问和自我纠正,鼓励学习者评估他们问题解决方法的合理性。
可视化智能体。此智能体负责构建教学输出的“视觉指导”组件。它不依赖装饰性视觉效果,而是强调使用抽象但教育有效的表示方式——如数轴、条形图、示意图例、图形组织器、草图图表和结构化数据表。该智能体确保每个可视化与正在教授的底层抽象概念紧密对齐。所有视觉效果均使用v0(Vercel,2025)系统进行渲染,以实现基于Web的部署。
4 实验
本节概述了在EduVisBench上对各种基础模型进行基准测试的实验设置。我们评估了扩散模型、LVLMs、专用可视化代理(v0)和我们提出的EduVisAgent。我们的研究试图解决以下关键问题:(1) 现有模型在EduVisBench内生成高质量、解释性可视化的能力如何?(2) 提出的EduVisAgent系统能否超越当前模型?(3) 在EduVisBench的不同模型架构、学科领域和评估维度中,出现了哪些不同的表现模式?
4.1 实验设置
基线模型。我们的实验评估涵盖了多种FMs,分为以下几类:(1) 图像生成模型:此类别包括Flux.1-dev(Labs,2024)、Stable Diffusion 3.5 Large(SD3.5)(IT Admin,2024)和Stable Diffusion XL Base 1.0(SDXL)(Podell等人,2023)。这些模型的任务是直接从文本或视觉输入生成静态图像。(2) 大型视觉语言模型(LVLMs):我们评估Deepseek-VL2(Wu等人,2024)、GLM-4V-9B(GLM等人,2024)、MiniCPMV2.6(Yao等人,2024)、Mistral-Small-3.1-24B-Instruct-2503(Mistral AI,2025)、Phi-3.5-VisionInstruct(Abdin等人,2024)、Phi-4-MultimodalInstruct(Abouelenin等人,2025)、Qwen2.5-VL72B(Team,2025)、GPT-4o(Hurst等人,2024)、Claude 3.7 Sonnet(Anthropic,2025)和Gemini 2.0 Flash(Mallick和Kilpatrick,2025)。这些模型被提示生成SVG或HTML代码,然后渲染成视觉输出以供评估。(3) 专用可视化代理:我们还评估了v0(Vercel,2025),一种专门设计用于根据教学内容创建互动网页的人工智能代理。
评估设置。在评估过程中,所有生成的可视化都被标准化为图像格式。对于包含按钮的互动网页,自动脚本会导航到所有可访问的子页面,并捕获每个单独的截图。使用第2.3节中描述的评估指标进行性能评估,其中GPT40根据预定义的评分标准对视觉输出进行评分,为每个维度分配0到5的分数。累积得分(最高25分)随后归一化为0−1000-1000−100的比例,以便标准化报告和比较。
4.2 基线基准测试
所有评估的基线模型的性能详情见表1。在所有评估的模型中,平均得分表明有很大的改进空间。扩散模型通常表现出最低的性能,平均得分范围从13.8%13.8 \%13.8%(Flux.1-dev)到21.8%21.8 \%21.8%(SDXL)。这表明直接静态图像生成虽然能够生成视觉元素,但在我们基准测试中对解释性和引导性可视化的要求上有很大困难。
表1:扩散模型、大型视觉语言模型和v0在EduVisBench上的性能。
| 方法 | 可视类型 | 数学 | 物理 | 化学 | 平均 | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 简单 | 中等 | 困难 | 简单 | 中等 | 困难 | 简单 | 中等 | 困难 | |||
| 扩散模型 | |||||||||||
| Flux.1-dev | 图像 | 13.8 | 13.4 | 13.2 | 11.7 | 8.5 | 10.0 | 20.0 | 16.6 | 16.0 | 13.8 |
| SD3.5 | 图像 | 17.3 | 20.3 | 18.8 | 16.8 | 13.0 | 12.0 | 22.8 | 21.7 | 34.0 | 18.4 |
| SDXL | 图像 | 17.3 | 23.3 | 25.5 | 18.9 | 15.4 | 24.0 | 33.6 | 30.2 | 24.0 | 21.8 |
| 大型视觉语言模型 | |||||||||||
| Deepseek VL2 | 网页 | 20.3 | 17.1 | 15.7 | 17.9 | 17.0 | 20.0 | 16.4 | 13.8 | 14.0 | 17.5 |
| GLM-4V-9B | 网页 | 22.3 | 21.1 | 19.4 | 24.5 | 21.5 | 24.0 | 22.3 | 21.5 | 16.0 | 21.9 |
| MiniCPM-V-2.6 | 网页 | 24.1 | 17.3 | 15.5 | 19.1 | 17.4 | 20.0 | 14.5 | 15.2 | 12.0 | 19.3 |
| Mistral-Small-3.1 | 网页 | 29.1 | 31.6 | 32.2 | 32.3 | 33.5 | 20.0 | 30.6 | 27.5 | 24.0 | 30.2 |
| Phi-3.5 | 网页 | 25.3 | 20.7 | 19.1 | 21.2 | 19.5 | 12.0 | 20.0 | 18.6 | 20.0 | 21.8 |
| Phi-4 | 网页 | 26.1 | 25.1 | 22.9 | 27.8 | 25.5 | 24.0 | 31.2 | 27.5 | 12.0 | 26.4 |
| Qwen2.5-VL-72B | 网页 | 24.3 | 18.1 | 15.8 | 19.7 | 17.1 | 24.0 | 18.2 | 16.4 | 12.0 | 20.0 |
| Claude 3.7 Sonnet | SVG | 61.2 | 26.7 | 23.6 | 18.5 | 16.9 | 14.0 | 47.5 | 47.2 | 18.0 | 42.0 |
| Claude 3.7 Sonnet | 网页 | 56.2 | 57.5 | 55.6 | 44.8 | 42.6 | 24.0 | 61.1 | 60.6 | 64.0 | 54.6 |
| GPT-4o | 网页 | 47.6 | 39.3 | 37.9 | 25.7 | 24.2 | 24.0 | 34.3 | 32.6 | 36.0 | 38.1 |
| GPT-4o | SVG | 36.1 | 19.7 | 19.5 | 13.0 | 12.8 | 4.0 | 30.0 | 27.5 | 22.0 | 26.3 |
| Gemini 2.0 Flash | 网页 | 46.9 | 9.5 | 15.7 | 31.7 | 26.5 | 24.0 | 32.0 | 25.8 | 30.0 | 43.6 |
| 可视化代理 | |||||||||||
| v0 | 网页 | 63.0 | 37.6 | 47.2 | 53.3 | 58.5 | 52.0 | 74.7 | 52.8 | 68.0 | 58.2 |
解释性和引导性可视化在我们基准测试中对复杂逻辑问题的要求上有很大困难。
LVLMs通常得分在17.5%(Deepseek VL2)到30.2%(Mistral-Small-3.1)之间。值得注意的例外包括Gemini 2.0 Flash(43.6%)和Claude 3.7 Sonnet;后者在Webpages上的表现明显优于SVG(分别为54.6%和42.0%)。GPT-4o也显示出对Webpage生成的偏好(38.1%)超过SVG(26.3%),这表明提示高级LVLMs生成结构化的互动网页可以带来更有效的视觉解释。然而,即使这些顶级LVLMs也面临着在持续满足所有评估标准方面的重大挑战。专门设计用于网页生成的可视化代理v0取得了所有基线模型中最高的平均得分58.2%58.2 \%58.2%。这一结果突显了专门代理在此任务中的优势,超过了更通用的FMs。
4.3 EduVisBench的性能分析
在从基线评估中获得见解的基础上,我们评估了我们提出的多智能体系统EduVisAgent。表2中的结果显示,生成解释性和逻辑有价值的STEM问题可视化方面有了显著提升。EduVisAgent取得了令人印象深刻的总体平均得分81.6%。具体而言,EduVisAgent以显著的23.4个百分点超越了表现最好的基线v0(58.2%)。这构成了大约40.2%40.2 \%40.2%的相对提升,强调了我们多智能体架构和教育方法集成的有效性。与表现最好的LVLM(Claude 3.7 Sonnet Webpage为54.6%)和顶级扩散模型(SDXL为21.8%)相比,EduVisAgent带来的进步更为显著。这些结果清楚地表明,EduVisAgent的设计原则,即结合多智能体结构和教育策略,有效地解决了现有生成模型中观察到的许多局限性。
4.4 案例分析
为进一步说明现有基线的局限性以及我们的方法如何解决这些挑战,我们在图6中展示了两个案例研究。在左侧,对于一个化学问题,GPT-4o生成的解决方案缺乏直观的化学过程可视化,导致信息碎片化且没有视觉引导——得分为仅28%28 \%28%。相比之下,EduVisAgent首先展示相关化学元素的背景图像,激活学生先前的知识。然后通过现实世界的情景来上下文化每一个答案选项,从而增强学生对底层化学转化的理解。
相反,对于右侧的卡诺循环效率物理问题,Gem-
| 方法 | 可视类型 | 简单 | 中等 | 困难 | 平均 |
|---|---|---|---|---|---|
| EduVisAgent | 网页 | 数学 | 81.6 | ||
| 90.2 | 64.5 | 65.0 | |||
| 物理 | |||||
| 85.3 | 81.7 | 84.0 | |||
| 化学 | |||||
| 69.0 | 76.3 | 76.0 |
(a) 我们的EduVisAgent在EduVisBench上的表现。
(b) 各模型平均得分对比。
表2:各模型的整体对比:左边是我们的EduVisAgent表现,右边是柱状图。EduVisAgent在所有模型中取得了最高的平均得分。
图6:基线模型与我们的EduVisAgent对比。这些例子清楚地展示了基线模型往往较差的输出质量,与EduVisAgent生成的高质量、有效的可视化形成鲜明对比。
ini 解决方案呈现了一个单一且有缺陷的图表。其对300 K和400 K温度用相同高度表示的做法引入了视觉误导信息,未能准确表示数据差异,从而降低了其教育价值。相比之下,EduVisAgent采用多智能体协作方法:首先生成一个具体的工厂场景以激活学生对“热机”概念的工作记忆。随后,它构建了准确的卡诺循环图并提供逐步的问题分解,促进清晰的概念理解。重要的是,EduVisAgent提供了互动可视化组件,允许用户通过滑块动态调整温度并实时观察热机效率的变化。这种互动参与显著促进了高层次思维技能的发展。
总体而言,通过协调多智能体优化图像设计、教学结构
和学习路径,EduVisAgent在准确性、指导性和互动性方面显著超越传统单一模型方法。
4.5 五个评估维度的细致分析
图7揭示了八个表现良好的评估模型的不同性能特征。在情境可视化和图表设计方面,大多数基线,包括SDXL、Claude 3.7和v ,表现出中等到低的得分,常常难以提供丰富的场景线索或教育上合理的视觉结构,特别是对于复杂问题。v8和Claude在文字-图形整合和思维引导方面相较于其他FMs表现出相对较佳的能力,这些领域通常提供的支持较少。然而,所有基线模型,包括v ,在互动性维度上显著受限,主要是由于其
图7:我们五个关键评估维度的细致性能对比。
输出格式(静态图像/SVG或较少动态的网页)。相比之下,我们的EduVisAgent在所有五个维度上表现出一贯的强劲性能。它尤其擅长创建丰富的上下文可视化、结构良好的图表设计,并确保无缝的文字-图形整合。此外,EduVisAgent在思维引导方面表现出色,在互动性方面取得了显著高分,而这些正是基线模型显著落后的领域。这种全面的优势突显了EduVisAgent生成不仅仅是可视化,而是真正有效和互动的教育工具的先进能力。
5 相关工作
用于教学辅助的LLM。 基础模型(FMs),包括扩散模型和大型视觉语言模型(LVLMs),越来越多地应用于教育情境(Chu等人,2025;Wang等人,2024a),以支持教学和课堂互动。EduAgent(Xu等人,2024)和Teachtune(Jin等人,2025)通过自动模拟师生对话、协作学习和任务导向推理来增强问题解决过程。诸如SEFL(Zhang等人,2025)和PROF(Nair等人,2024)之类的智能体合成即时、按需反馈以支持大规模教学场景。此外,领域特定的智能体如MathChat(Wu等人,2023)、NEWTON(Wang等人,2023b)和MEDCO(Wei等人,2024)进一步提供针对科学和医学教育定制的文本解释。尽管这些系统满足了多样化的教学需求,但其重点仍主要集中在基于文本的互动(Wu等人,2023;Xu等人,2024;Cui等人,2024),忽视了可视化在促进概念理解和改善学习成果中的关键作用(Presmeg,2006)。尽管其教学重要性,FMs和智能体生成逻辑性、解释性视觉插图的能力仍未得到充分探索。EduVisBench是第一个全面基准,旨在系统评估FMs生成教育有效、逐步视觉推理的能力,涵盖15个多样化的视觉教学场景,具有多层次问题集和以多模态为核心的解决方案,提供了一个严格的视觉教学评估平台。
用于科学可视化的LLM。 虽然一些现有工作初步探索了FMs在支持视觉支架方面的潜力(Podo等人,2024;Chen等人,2024c;Pandey和Ottley,2025;Hong等人,2025),但它们通常是零散的,缺乏教育基础,并且无法在多样化教育任务中推广(Wang等人,2023a;Ku等人,2025)。例如,Visual Sketchpad(Hu等人,2024)尝试用从代码生成的草图来说明问题解决过程。然而,这些视觉效果往往质量低下,缺乏逻辑连贯性,并且在解释深度上不足(Wang等人,2025)。其他方法如MatplotAgent(Yang等人,2024)、PlotGen(Goswami等人,2025)和OmniSVG(Yang等人,2025)利用绘图和SVG工具生成更准确、基于数据的可视化。然而,这些方法在范围上受到限制,通常只处理孤立的步骤,而不是提供系统的、端到端的多步骤问题解决任务的视觉解释(Vázquez,2024;Chen等人,2024a,2025b)。为克服这些限制,我们提出了一个多智能体协作框架EduVisAgent,该框架通过协调专门的智能体生成贯穿推理过程的连贯、教育对齐的可视化,模拟整个学习旅程——从最初的问题暴露到深入的概念理解。
6 结论
本文解决了生成具有教育意义的视觉解释的AI系统面临的挑战。我们引入了EduVisBench,这个基准揭示了现有模型经常产生不足的视觉输出。为了解决这个问题,我们提出了EduVisAgent,一个多智能体协作框架。实验表明EduVisAgent显著优于所有基线模型,展示了基于智能体的系统在推进教育可视化方面的潜力。
参考文献
Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, Jyoti Aneja, Ahmed Awadallah, Hany Hassan Awadalla, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Harkirat Singh Behl, Alon Benhaim, Misha Bilenko, Johan Bjorck, Sébastien Bubeck, Martin Cai, Caio C’esar Teodoro Mendes, Weizhu Chen, Vishrav Chaudhary, Parul Chopra, and 其他69人. 2024. Phi-3技术报告:一款功能强大的语言模型本地运行于您的手机上。ArXiv, abs/2404.14219.
Abdelrahman Abouelenin, Atabak Ashfaq, Adam Atkinson, Hany Hassan Awadalla, Nguyen Bach, Jianmin Bao, Alon Benhaim, Martin Cai, Vishrav Chaudhary, Congcong Chen, Dongdong Chen, Dongdong Chen, Junkun Chen, Weizhu Chen, Yen-Chun Chen, Yi ling Chen, Qi Dai, Xiyang Dai, Ruchao Fan, 以及其他54人. 2025. Phi-4-mini技术报告:通过LoRA混合实现紧凑而强大的多模态语言模型。ArXiv, abs/2503.01743.
Cognition AI. 2024. Devin AI:世界上首个AI软件工程师。
Anthropic. 2025. Claude 3.7 Sonnet 和 Claude Code. https://www.anthropic.com/news/claude-3-7-sonnet. 访问日期: 2025-05-16.
Jun Shern Chan, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, 以及其他1人. 2024. MLE-Bench: 评估机器学习智能体在机器学习工程中的表现。arXiv预印本 arXiv:2410.07095.
Jiawen Chen, Jianghao Zhang, Huaxiu Yao, 和 Yun Li. 2025a. Celltypeagent: 使用大型语言模型进行可信的细胞类型注释。arXiv预印本 arXiv:2505.08844.
Zhaorun Chen, Yichao Du, Zichen Wen, Yiyang Zhou, Chenhang Cui, Zhenzhen Weng, Haoqin Tu, Chaoqi Wang, Zhengwei Tong, Qinglan Huang, 和其他1人. 2024a. MJ-Bench: 您的多模态奖励模型真的能很好地判断文本到图像生成吗?arXiv预印本 arXiv:2407.04842.
Zhaorun Chen, Mintong Kang, 和 Bo Li. 2025b. Shieldagent: 通过可验证的安全政策推理屏蔽智能体。arXiv预印本 arXiv:2503.22738.
Zhaorun Chen, Zhen Xiang, Chaowei Xiao, Dawn Song, 和 Bo Li. 2024b. AgentPoison: 通过污染内存或知识库对LLM智能体进行红队攻击。Advances in Neural Information Processing Systems, 37:130185-130213.
Zhaorun Chen, Zhuokai Zhao, Hongyin Luo, Huaxiu Yao, Bo Li, 和 Jiawei Zhou. 2024c. Halc: 通过自适应焦点-对比解码减少对象幻觉。arXiv预印本 arXiv:2403.00425.
Zhaorun Chen, Zhuokai Zhao, Zhihong Zhu, Ruiqi Zhang, Xiang Li, Bhiksha Raj, 和 Huaxiu Yao.
2024d. AutoPRM: 通过可控问题分解自动化多步骤推理的程序监督。arXiv预印本 arXiv:2402.11452.
Zhendong Chu, Shen Wang, Jian Xie, Tinghui Zhu, Yibo Yan, JinhengYe, Aoxiao Zhong, Xuming Hu, Jing Liang, Philip S Yu, 和其他1人. 2025. LLM智能体在教育中的进展与应用。arXiv预印本 arXiv:2503.11733.
Chenhang Cui, An Zhang, Yiyang Zhou, Zhaorun Chen, Gelei Deng, Huaxiu Yao, 和 Tat-Seng Chua. 2024. 细粒度验证者:将偏好建模作为视觉语言对齐中的下一个标记预测。arXiv预印本 arXiv:2410.14148.
GLM团队, Aohan Zeng, Bin Xu, Bowen Wang, Chenhui Zhang, Da Yin, Diego Rojas, Guanyu Feng, Hanlin Zhao, Hanyu Lai, Hao Yu, Hongning Wang, Jiadai Sun, Jiajie Zhang, Jiale Cheng, Jiayi Gui, Jie Tang, Jing Zhang, Juanzi Li, 和其他37人. 2024. ChatGLM:从GLM-130B到GLM-4的所有工具的大型语言模型家族。预印本,arXiv:2406.12793.
Kanika Goswami, Puneet Mathur, Ryan Rossi, 和 Franck Dernoncourt. 2025. PlotGen:通过多模态反馈实现基于多智能体LLM的科学数据可视化。arXiv预印本 arXiv:2502.00988.
Siwei Han, Peng Xia, Ruiyi Zhang, Tong Sun, Yun Li, Hongtu Zhu, 和 Huaxiu Yao. 2025. MDocAgent:一种用于文档理解的多模态多智能体框架。arXiv预印本 arXiv:2503.13964.
Jiayi Hong, Christian Seto, Arlen Fan, 和 Ross Maciejewski. 2025. 大型语言模型是否具备可视化素养?修改后的可视化评估通用性测试。IEEE 可视化与计算机图形学汇刊。
Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, 和 Ranjay Krishna. 2024. Visual Sketchpad:作为多模态语言模型的视觉思维链的草图绘制。arXiv预印本 arXiv:2406.09403.
Aaron Hurst, Adam Lerer, Adam P Goucher, Adam Perelman, Aditya Ramesh, Aidan Clark, AJ Ostrow, Akila Welihinda, Alan Hayes, Alec Radford, 和其他1人. 2024. GPT-4O系统卡。arXiv预印本 arXiv:2410.21276.
IT Admin. 2024. 引入Stable Diffusion 3.5. ht tps://stability.ai/news/introducing-sta ble-diffusion-3-5. 更新日期:2024年10月29日;访问日期:2025年5月20日。
Carlos E Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ohr Press, 和 Karthik Narasimhan. 2023. SWE-Bench:语言模型能否解决现实世界的GitHub问题?arXiv预印本 arXiv:2310.06770.
Hyoungwook Jin, Minju Yoo, Jeongeon Park, Yokyung Lee, Xu Wang, 和 Juho Kim. 2025. TeachTune:通过模拟学生审查教学智能体以应对不同学生档案。在2025 CHI计算系统中的人为因素会议论文集,第1-28页。
Max Ku, Thomas Chong, Jonathan Leung, Krish Shah, Alvin Yu, 和 Wenhu Chen. 2025. TheoremExplainAgent:迈向多模态解释的LLM定理理解。arXiv预印本 arXiv:2502.19400.
Black Forest Labs. 2024. Flux. https://github.com /black-forest-labs/flux.
Hunter Lightman, Vineet Kosaraju, Yura Burda, Harri Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman, Ilya Sutskever, 和 Karl Cobbe. 2023. 让我们逐步验证。arXiv预印本 arXiv:2305.20050.
Shrestha Basu Mallick 和 Logan Kilpatrick. 2025. Gemini 2.0:Flash、Flash-Lite和Pro. https: //developers.googleblog.com/en/gemini-2 -family-expands/. 访问日期:2025年5月20日。
Jiageng Mao, Junjie Ye, Yuxi Qian, Marco Pavone, 和 Yue Wang. 2023. 自动驾驶的语言代理。arXiv预印本 arXiv:2311.10813.
Chad M. Miller 和 Jonathan D. Cohen. 2020. 多媒体学习中的元认知提示:元分析。教育心理学评论,32(3):979-1003.
Mistral AI. 2025. Mistral Small 3.1:SOTA.多模态.多语言.Apache 2.0. https://mistral.ai/n ews/mistral-small-3-1. 访问日期:2025年5月20日。
Inderjeet Nair, Jiaye Tan, Xiaotian Su, Anne Gere, Xu Wang, 和 Lu Wang. 2024. 闭环学习:通过语言模型模拟的学生修订生成写作反馈。arXiv预印本 arXiv:2410.08058.
Fan Nie, Lan Feng, Haotian Ye, Weixin Liang, Pan Lu, Huaxiu Yao, Alexandre Alahi, 和 James Zou. 2025. 弱转强:训练弱元智能体以利用强执行器。arXiv预印本 arXiv:2504.04785.
Satria Nugroho 和 Jailani Jailani. 2019. 混凝土表征抽象(CRA)方法和解决问题方法对学生数学表达能力的有效性研究。KnE社会科学。
Saugat Pandey 和 Alvitta Ottley. 2025. 在标准化可视化素养测试中基准化视觉语言模型。arXiv预印本 arXiv:2503.16632.
Dustin Podell, Zion English, Kyle Lacey, A. Blattmann, Tim Dockhorn, Jonas Muller, Joe Penna, 和 Robin Rombach. 2023. SDXL:改进潜在扩散模型用于高分辨率图像合成。ArXiv, abs/2307.01952.
Luca Podo, Muhammad Ishmal, 和 Marco Angelini. 2024. Vi (e) va LLM!一个评估和解释生成式AI可视化的概念堆栈。arXiv预印本 arXiv:2402.02167.
Norma Presmeg. 2006. 学习与教学数学中的可视化研究。数学教育心理学研究手册,第205-235页。
Jianing Qiu, Kyle Lam, Guohao Li, Amish Acharya, Tien Yin Wong, Ara Darzi, Wu Yuan, 和 Eric J Topol. 2024. 医疗保健中的基于LLM的代理系统。自然机器智能,6(12):1418-1420.
M. Rohith. 2023. 高中物理。https://huggingface.co/datasets/mrohith29/high-schoo l-physics. 访问日期:2025年5月15日。
Gregory Schraw 和 David Moshman. 1995. 元认知理论。教育心理学评论,7(4):351-371.
Mohit Shridhar, Xingdi Yuan, Marc-Alexandre Côté, Yonatan Bisk, Adam Trischler, 和 Matthew Hausknecht. 2020. ALFWorld:结合文本和实体环境以进行互动学习。arXiv预印本 arXiv:2010.03768.
Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M Sadler, Wei-Lun Chao, 和 Yu Su. 2023. LLM-Planner:使用大型语言模型进行实体代理的少样本接地规划。在IEEE/CVF国际计算机视觉会议论文集,第2998-3009页。
Giulio Starace, Oliver Jaffe, Dane Sherburn, James Aung, Jun Shern Chan, Leon Maksin, Rachel Dias, Evan Mays, Benjamin Kinsella, Wyatt Thompson, 和其他1人. 2025. PaperBench:评估AI复制AI研究的能力。arXiv预印本 arXiv:2504.01848.
Qwen Team. 2025. Qwen2.5-VL.
Pere-Pau Vázquez. 2024. LLMs是否准备好进行可视化?在2024 IEEE第17届太平洋可视化会议(PacificVis),第343-352页。IEEE.
Vercel. 2025. v0:Web自动化的AI聊天界面。https://v0.dev. 访问日期:2025年5月20日。
Lei Wang, Songheng Zhang, Yun Wang, Ee-Peng Lim, 和 Yong Wang. 2023a. LLM4Vis:使用ChatGPT进行可解释的可视化推荐。arXiv预印本 arXiv:2310.07652.
Shen Wang, Tianlong Xu, Hang Li, Chaoli Zhang, Joleen Liang, Jiliang Tang, Philip S Yu, 和 Qingsong Wen. 2024a. 教育领域的大型语言模型:综述与展望。arXiv预印本 arXiv:2403.18105.
Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, Shuicheng Yan, Ziwei Liu, Jiebo Luo, 和 Hao Fei. 2025. 多模态推理链:全面调查。arXiv预印本 arXiv:2503.12605。
Yi Ru Wang, Jiafei Duan, Dieter Fox, 和 Siddhartha Srinivasa. 2023b. Newton:大型语言模型是否具备物理推理能力?arXiv预印本 arXiv:2310.07018。
Zora Zhiruo Wang, Jiayuan Mao, Daniel Fried, 和 Graham Neubig. 2024b. Agent Workflow Memory. arXiv预印本 arXiv:2409.07429。
Hao Wei, Jianing Qiu, Haibao Yu, 和 Wu Yuan. 2024. MedCo:基于多智能体框架的医学教育辅助。arXiv预印本 arXiv:2408.12496。
Yiran Wu, Feiran Jia, Shaokun Zhang, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Qingyun Wu, 和 Chi Wang. 2023. MathChat:使用LLM代理解决复杂数学问题的对话系统。arXiv预印本 arXiv:2306.01337。
Zhiyu Wu, Xiaokang Chen, Zizheng Pan, Xingchao Liu, Wen Liu, Damai Dai, Huazuo Gao, Yiyang Ma, Chengyue Wu, Bingxuan Wang, Zhenda Xie, Yu Wu, Kai Hu, Jiawei Wang, Yaofeng Sun, Yukun Li, Yishi Piao, Kang Guan, Aixin Liu, 和其他8人. 2024. DeepSeek-VL2:高级多模态理解的专家混合视觉语言模型。预印本,arXiv:2412.10302。
Songlin Xu, Xinyu Zhang, 和 Lianhui Qin. 2024. EduAgent:生成性学生代理在学习中的应用。arXiv预印本 arXiv:2404.07963。
Yiying Yang, Wei Cheng, Sijin Chen, Xianfang Zeng, Jiaxu Zhang, Liao Wang, Gang Yu, Xingjun Ma, 和 Yu-Gang Jiang. 2025. OmniSVG:统一的可扩展矢量图形生成模型。arXiv预印本 arXiv:2504.06263。
Zhiyu Yang, Zihan Zhou, Shuo Wang, Xin Cong, Xu Han, Yukun Yan, Zhenghao Liu, Zhixing Tan, Pengyuan Liu, Dong Yu, 和其他1人. 2024. MatplotAgent:基于LLM的智能科学数据可视化方法与评估。arXiv预印本 arXiv:2402.11453。
Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, 和 Yuan Cao. 2023. REACT:在语言模型中协同推理和行动。在国际学习表示会议(ICLR)。
Yuan Yao, Tianyu Yu, Ao Zhang, Chongyi Wang, Junbo Cui, Hongji Zhu, Tianchi Cai, Haoyu Li, Weilin Zhao, Zhihui He, 和其他1人. 2024. MiniCPM-V:手机上的GPT-4V水平多模态语言模型。arXiv预印本 arXiv:2408.01800。
Yangyang Yu, Haohang Li, Zhi Chen, Yuechen Jiang, Yang Li, Denghui Zhang, Rong Liu, Jordan W Suchow, 和 Khaldoun Khashanah. 2024. FinMem:具有分层记忆和角色设计的性能增强型LLM交易代理。在AAAI研讨会系列论文集,卷3,第595-597页。
Puzhen Yuan, Angyuan Ma, Yunchao Yao, Huaxiu Yao, Masayoshi Tomizuka, 和 Mingyu Ding. 2025. Remac:自我反思和自我演化的长时域机器人操作多智能体协作。arXiv预印本 arXiv:2503.22122。
Di Zhang, Wei Liu, Qian Tan, Jingdan Chen, Hang Yan, Yuliang Yan, Jiatong Li, Weiran Huang, Xiangyu Yue, Dongzhan Zhou, Shufei Zhang, Mao Su, Hansen Zhong, Yuqiang Li, 和 Wanli Ouyang. 2024a. ChemLLM:化学大语言模型。预印本,arXiv:2402.06852。
Kechi Zhang, Jia Li, Ge Li, Xianjie Shi, 和 Zhi Jin. 2024b. CodeAgent:通过集成工具的智能体系统增强代码生成以应对真实世界仓库级编码挑战。arXiv预印本 arXiv:2401.07339。
Mike Zhang, Amalie Pernille Dilling, Léon Gondelman, Niels Erik Ruan Lyngdorf, Euan D Lindsay, 和 Johannes Bjerva. 2025. SEFL:利用大型语言模型智能体改善教育反馈系统。arXiv预印本 arXiv:2502.12927。
Shuyan Zhou, Frank F Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Tianyue Ou, Yonatan Bisk, Daniel Fried, 和其他1人. 2023. WebArena:构建自主智能体的现实网络环境。arXiv预印本 arXiv:2307.13854。
Yiyang Zhou, Zhaoyang Wang, Tianle Wang, Shangyu Xing, Peng Xia, Bo Li, Kaiyuan Zheng, Zijian Zhang, Zhaorun Chen, Wenhao Zheng, 和其他1人. 2025. AnyPrefer:一种用于偏好数据合成的智能体框架。arXiv预印本 arXiv:2504.19276。
A 附录
A. 1 可视化学科
表3展示了我们EduVisBench中的学科和类型。
| 学科 | 常见可视化类型 |
|---|---|
| 数学 | 数轴、函数图和其他形式化的视觉工具。 |
| 物理 | 杠杆、刚体运动、力和场等涉及的图表。 |
| 化学 | 分子结构和标准实验室设备的示意图例。 |
表3:各学科代表性可视化类型
A. 2 评估指标
视觉场景设计指导 "视觉场景设计指导"类别概述了数学概念可视化的不同层次,从基本的纯文本表示发展到高度集成的视觉-文本格式。通过五个定义的层次,该框架展示了视觉元素如何提高学生对抽象概念的理解和参与度,引导教学设计师逐步丰富场景、添加注释并加强情境连接——最终实现视觉呈现内容的完整流程和概念结构的目标。视觉场景设计指导的五个层次如下:
| 层次 | 描述 |
|---|---|
| 第1层次 | 图像不包含任何场景或插图,仅呈现文本和公式。它缺乏情境视觉提示,无法激发兴趣或将概念与现实生活联系起来。 |
| 第2层次 | 图像包含单个静态插图或低保真原型,标注极少,未能突出变量或关键对象,提供有限的情境和较差的沉浸感。 |
| 第3层次 | 图像中出现多个静态示意图或草图风格插图,标注核心对象、变量和简单步骤,提供基本的视觉指导,但缺乏层次连贯性。 |
| 第4层次 | 图像整合场景插图、故事板面板和信息图表,以多视角和步骤展示过程,注释和标题引导学生将抽象概念映射到情境中。 |
| 第5层次 | 故事板风格插图和信息图表融合成单一图像,包括概览、详细特写和带全面注释的关键路径图,使学生一目了然地掌握整个流程和概念网络。 |
表4:视觉场景设计指导的五个层次
视觉插图设计 "视觉插图设计"类别描述了用于支持学生系统理解数量和关系的视觉元素的进步层次。范围从无视觉辅助到复杂的集成仪表盘,深度连接数据和模型结构。通过五个层次,该框架指导设计师提高视觉插图的清晰度、连贯性和情境丰富性,增强学生的分析和比较能力。
| 层次 | 描述 |
|---|---|
| 第1层次 | 图像不含图表、坐标轴或流程图——只有文本。没有嵌入的视觉工具,学生无法系统地组织或分析数量和关系。 |
| 第2层次 | 图像呈现带有完整刻度和图例的静态数轴和彩色条形图,帮助学生获得对数值变化的基本理解。然而,它缺乏比较和情境分层。 |
| 第3层次 | 图像呈现带有完整刻度和图例的静态数轴和彩色条形图,帮助学生直观地掌握基本的数值变化,尽管缺少比较和情境分层。 |
| 第4层次 | 图像结合数轴、流程图、信息图表和箭头注释;多个视觉元素并列或叠加,显示过程和变量变化,提供连贯的建模视图。 |
| 第5层次 | 图像呈现仪表盘风格的可视化,整合坐标轴、条形图、流程图、热图等,链接元素深入可视化数据关系和模型结构。 |
表5:视觉插图设计的五个层次
文本-插图协调 "文本-插图协调"类别描述了图像中文本内容和视觉元素之间的对齐和整合水平。这种进展从完全断开到无缝融合,使学生能够有效地图和综合文本、公式和图形。该框架指导设计师加强文字和视觉信息之间的链接,以提高理解和结构理解。
| 层次 | 描述 |
|---|---|
| 第1层次 | 图像中的文本和插图完全断开,没有标签、图例或连接器——学生无法使用视觉来理解文本或公式。 |
| 第2层次 | 文本偶尔提示“参见图表”或“参考插图”,但图像缺乏图例或清晰的标签,因此文本和图形之间的映射仍然模糊。 |
| 第3层次 | 文本描述和图像元素共享一致的编号、色块或箭头,链接到简单的图例,解释核心符号和变量以支持初始映射。 |
| 第4层次 | 文本段落与同一图像中的相应视觉元素布局在一起,详细的图例和颜色编码注释使同时阅读和映射成为可能。 |
| 第5层次 | 文本、公式和图例完全整合在一个图像中,使用一致的颜色、编号和分层布局,实现无缝的文本-图形融合以达到完整的结构理解。 |
表6:文本-插图协调的五个层次
学习思维引导 "学习思维引导"类别描述了图像中可视化问题解决策略和反思提示的渐进纳入。从仅呈现问题陈述到复杂的集成仪表盘,这一框架指导设计师通过视觉工具搭建学生战略思维和元认知反思的脚手架,促进更深层次的推理和学习迁移。
互动性和个性化支持 "互动性和个性化支持"类别概述了将反馈、提示和定制协助纳入图像的层次,从静态演示发展到动态、响应学生的视觉支持。该框架鼓励设计师
| 层次 | 描述 |
|---|---|
| 第1层次 | 图像不提供任何可视化的问题解决指导,仅显示问题陈述和公式,未给学生提供策略线索或反思提示。 |
| 第2层次 | 图像嵌入简单的流程图或两个标题式的提示(例如,“识别问题类型”,“检查结果”),但流程图过于简单,提示缺乏层次细节。 |
| 第3层次 | 图像显示带有关键思维节点和自我检查检查点的逐步流程图模板,留出注释空间供学生记录他们的推理过程。 |
| 第4层次 | 图像结合近迁移练习和对比思维图,视觉上突出策略差异,让学生可以将现有推理应用于新情境。 |
| 第5层次 | 图像将近迁移和远迁移练习、概念思维导图和反思面板融入仪表盘式布局,允许学生视觉上回顾并扩展其问题解决网络。 |
表7:学习思维引导的五个层次
将适应学习者需求的互动元素嵌入其中,促进参与和个性化的解决问题。
| 层次 | 描述 |
|---|---|
| 第1层次 | 图像不包含任何反馈或支持组件——只有静态问题陈述和答案字段——不提供提示、示例或错误提示,导致非响应性的视觉效果。 |
| 第2层次 | 图像显示固定提示框(例如,“提示:画一条数轴”,“提示:检查四舍五入”),但提示未根据学生反应定制,限制了个性化指导。 |
| 第3层次 | 图像整合多个静态校正提示和示例解决方案模块(常见错误和标准方法),学生可以视觉参考,但没有智能推荐。 |
| 第4层次 | 图像呈现示例解决方案工作流、文本提示和用色块和箭头突出的常见错误分析部分,提供多样化的视觉支持在一个布局中。 |
| 第5层次 | 图像显示一个全面的视觉支持面板,包括难度建议、个性化提示、已解决示例和扩展资源链接,使学生可以直接从视觉布局中选择定制指导。 |
表8:互动性和个性化支持的五个层次
A. 3 GPT与人类评估的相似性
| 指标 | 化学 | 数学 | 物理 | 平均 |
|---|---|---|---|---|
| 余弦相似度 ↑\uparrow↑ | 0.9742 | 0.9557 | 0.9666 | 0.9655\mathbf{0 . 9 6 5 5}0.9655 |
| 均方误差 ↓\downarrow↓ | 0.3895 | 0.7093 | 0.6118 | 0.5702\mathbf{0 . 5 7 0 2}0.5702 |
表9:各学科的余弦相似度和均方误差。数学是Math500和IllustrativeMath的平均值,每种取50个样本。
我们评估了基于GPT的评估与人类评估之间的相似性,以评估GPT评分能力的可靠性。具体来说,我们从每个学科类别(化学、数学和物理)中选择了50个样本,并让GPT和人类评估者独立对这些样本进行评分。我们的人类评估者来自顶尖大学的本科生,确保高质量和知情的评估。我们使用两个标准指标来衡量一致性:余弦相似度和均方误差(MSE)。如表9所示,所有学科的高余弦相似度得分(平均0.9655)和低MSE值(平均0.5702)表明GPT的评分与人类判断高度一致。这些结果表明,基于GPT的评估是高度可靠且足够稳健,适用于实际使用,接近人类评估标准。
A. 4 评估提示
教学网页评估提示的结构如下:
评估提示
作为一名专业的教学网页评估员,您的任务是确定生成的网页在五个特定类别中是否符合期望。
指令:
- 为五个类别(1-5)中的每一个分配一个从0到5的整数分数。
-
- 0=\mathbf{0}=0= 完全缺失或极其差
- 5=\mathbf{5}=5= 完全符合最高标准
-
- 评估应仅基于指定的方面:{类别}。 {类别}的定义是:{描述}。
-
- 不包括任何解释、理由或额外评论。拒绝提供分数是不允许的。
评估输出格式
{{RATING: {“1”:score, “2”:score, “3”:score, “4”:score, “5”:score}}}
A. 5 其他相关工作
基于LLM的AI代理。最近基于LLM的代理的发展已经导致了专门架构的开发,这些架构能够在各种现实世界领域进行长期规划、工具使用和记忆管理(Yao等人,2023;Chan等人,2024;Chen等人,2024b,2025a;Nie等人,2025;Han等人,2025;Zhou等人,2025)。在软件工程领域,像Devin(AI,2024)、CodeAgent(Zhang等人,2024b)和SWE-agent(Jimenez等人,2023)这样的代理管理完整的开发管道并执行迭代代码调试。在网络自动化领域,代理已被部署用于复杂的网络导航和交互任务(Wang等人,2024b;Chen等人,2025b;Zhou等人,2023)。基于LLM的代理在实体设置中也表现出有效性,例如机器人操控、自动驾驶和实体导航(Song等人,2023;Shridhar等人,2020;Mao等人,2023;Yuan等人,2025)。除此之外,在包括医疗保健(Qiu等人,2024)、金融(Yu等人,2024)和学术研究(Starace等人,2025)等领域中也出现了专门的代理。
在教育领域,像EduAgent(Xu等人,2024)和Teachtune(Jin等人,2025)这样的AI代理模拟师生对话、协作学习活动和任务导向推理,以增强问题解决教学。像SEFL(Zhang等人,2025)和PROF(Nair等人,2024)这样的代理为大规模教育环境生成即时反馈,而领域特定工具如MathChat(Wu等人,2023)、NEWTON(Wang等人,2023b)和MEDCO(Wei等人,2024)则为科学和医学学习提供文本解释。
尽管有这些进步,很少有作品探索专为教育推理和可视化设计的协作多智能体。EduVisAgent是第一个系统的多智能体框架,它协调专门的智能体进行教学规划、推理分解、元认知提示和可视化设计,提供了一个全面的方法来支持逐步的教育问题解决。
参考论文:https://arxiv.org/pdf/2505.16832
更多推荐




所有评论(0)