论文链接： https://openreview.net/pdf?id=frvkE8rCfX

1 Introdction

论文1的Introduction部分（对应文档1-8至1-20段落）围绕“科学论文评审的痛点与MAMORX框架的提出”展开，核心可总结为三部分：研究背景与问题、现有方案局限、MAMORX的创新与贡献，具体内容如下：

1. 研究背景：科学论文评审的现实挑战与AI的潜力

• 人工评审压力：科学论文数量呈爆炸式增长（年增长率约8%），研究者难以全面评估论文的创新性与改进点，传统人工评审效率低、负担重，且难以维持知识时效性（尤其在快速发展领域）。
• AI在科研中的价值：AI有望加速知识生产，可辅助研究的探索阶段（如想法生成）或全流程，但在“论文评审”这一关键环节，现有自动化系统虽被证明可行，却需解决质量、真实性与潜在偏见等问题。
• LLM的新机遇：大语言模型（LLM）的最新进展（大上下文窗口、多模态能力、工具调用功能），为提升自动化评审质量提供了可能，成为设计新评审框架的技术基础。

2. 现有AI评审方案的核心局限

• 基础缺陷：此前的AI评审系统普遍存在事实不准确、信息过时、引用伪造、抄袭风险高（相似度指数高）等问题，且难以生成有建设性的深度反馈。
• 代表性方案的不足：
  • GPT-4单模型方法（Liang等人，2023）：与人类评审的反馈重叠度接近两人评审，但对论文方法的深度批判不足，反馈通用性强（如仅建议增加数据集），且长论文需截断文本。
  • MARG多智能体系统（D’Arcy等人，2024）：通过多智能体分工分析论文片段提升反馈针对性，但智能体数量多、通信成本高，且仅依赖GPT-4内置知识，无法处理图表或调用外部知识评估创新性。
  • “AI Scientist”框架（Lu等人，2024）：虽覆盖科研全流程（含论文生成），但评审分析的深度与结果质量显著不足。

3. MAMORX框架的提出与核心贡献

• 框架定位：提出MAMORX（多智能体、多模态、结合外部知识的科学评审生成系统），旨在利用LLM最新进展解决现有方案局限，复现人类评审的关键环节（文本分析、图表解读、引用评估、外部知识整合）。
• 五大核心贡献：
  1. 构建多智能体+多模态+外部知识整合的科学评审生成框架；
  2. 设计竞技场式评估系统，通过人类偏好计算Elo评分量化评审质量；
  3. 实现能分析、批判科学论文图表的多模态方法；
  4. 开发基于图分析与相似度 metrics 的创新性评估系统（调用外部学术数据库）；
  5. 通过实验验证MAMORX优于现有基线（含人类评审），证明其应用潜力。

2 Related work

该部分核心是梳理“人工评审逻辑”与“自动化评审技术演进”两条脉络，明确现有研究的进展与不足，为MAMORX框架的设计提供依据，具体总结如下：

1. 人类科学评审的核心逻辑与现实挑战

• 人类评审的完整维度：人类评审员会综合多要素完成评估，包括文本分析（识别论文核心观点）、视觉解读（通过图表验证/质疑论点）、引用评估（锚定论点与现有研究的关联）、外部知识应用（结合领域认知判断创新性与相关性），以此生成高质量、信息丰富的评审结果。
• 人类评审的固有局限：随着科学文献呈指数级增长（年增长率约8%，部分领域增速更高），人类难以持续更新知识储备，且评审效率难以匹配论文产出速度，亟需自动化方案作为补充。

2. 自动化科学评审的技术演进与进展

• 早期探索阶段：早期研究聚焦自动化评审的可行性，但存在明显局限，例如评审意见孤立、与论文关联性弱；后续出现综述生成的内容模型，为更复杂的评审系统奠定了基础。
• LLM驱动的突破：大语言模型（LLM）的出现推动领域变革，研究表明GPT-4等模型能生成比早期方法更具体、有用的评审反馈；同时，多模态模型（如GPT-4V）的发展拓展了处理能力，可支持文本、图像、表格等多模态输入，且部分模型展现出图像叙事、无OCR数学推理等新兴能力。
• 学术写作中的AI应用：AI在学术写作反馈中已体现出全面性，但相比人类反馈，仍缺乏个性化、上下文感知能力与细腻批判，且在同行评审中存在潜在偏见、领域专业知识不足等风险。

3. 现有自动化方案的未解决问题

• 多模态处理缺陷：尽管多模态模型已发展，但面对科学论文中高维度、异质的多模态数据（如图表与文本的关联），仍存在分析能力不足的问题，且数据中的噪声与冗余会进一步影响模型性能。
• 上下文与知识局限：部分模型因上下文窗口限制，需依赖智能体系统拆分任务，但现有多智能体方案（如MARG）未充分整合外部知识；同时，模型对领域特定知识的覆盖不足，难以满足细分研究方向的评审需求。
• 工具与知识调用不足：早期自动化系统多依赖模型内置训练数据，缺乏对外部工具（如学术数据库）的调用能力，无法动态获取最新研究成果，导致评审的时效性与创新性评估准确性受限。

3 Method

该部分（对应文档1-29至1-44段落），核心是详细拆解 MAMORX 框架的设计逻辑与核心组件，包括多智能体架构、多模态处理流程、外部知识整合机制，明确各模块如何协同实现科学论文的自动化评审，具体总结如下：

1. MAMORX 框架整体定位

MAMORX（多智能体、多模态、结合外部知识的科学评审生成系统）以“复现人类评审关键环节”为目标，通过整合专业化智能体、多模态输入（文本/图表/引用） 与外部知识源，生成接近人类质量的评审结果，同时利用大模型的大上下文窗口减少智能体数量与处理时间，解决此前多智能体系统（如MARG）的效率问题。

2. 核心智能体设计与功能

框架包含6类专业化智能体，各角色分工明确且协同工作，核心功能如下：

• 领域主席（Leader Agent，领导智能体）：继承自MARG系统的协调逻辑，但无需拆分论文片段（因大上下文窗口支持全文档访问），主要负责与其他专家智能体沟通、整合评审信息，确保评审流程有序推进，同时保留MARG系统对论文细节的关注优势。
• 创新性评估智能体（Novelty Assessment Agent）：解决“仅依赖模型内置知识评估创新性”的痛点，通过3步流程调用外部学术数据库（Semantic Scholar）：① 基于论文标题/摘要生成3个梯度化查询（从精准到宽泛），获取最多30篇相关文献；② 过滤掉论文已引用的文献（避免误判“基于已有工作”为“非创新”）与无关文献；③ 逐篇对比目标论文与相关文献的核心思想、方法、结论，判断目标论文是否“足够创新”，生成评估报告后传入主框架（若判定“非创新”则终止评审并说明原因）。
• 图表批判智能体（Figure Critic Agent）：针对现有AI评审“忽视图表信息”的缺陷，通过多模态流程处理论文图表：① 用PaperMage工具从PDF中提取图表与标题（解决图表-标题对齐问题，需保留所有标题用于提示）；② 结合论文标题/摘要，评估图表与文本的一致性、图表自身的清晰度，并生成每幅图的描述性总结；③ 将评估结果与总结整合，供后续评审智能体调用，确保评审覆盖图表维度。
• 影响评估智能体（Impact Agent）：类似MARG的影响评估模块，但新增“调用创新性评估工具”的能力，辅助领导智能体判断论文的学术价值与领域影响，提供针对性反馈。
• 实验评估智能体（Experiments Agent）：聚焦论文方法论的严谨性，批判数据集质量、实验设计合理性、模型架构逻辑，确保评审覆盖技术层面的核心要素，与MARG的实验评估模块功能一致但依托大上下文窗口提升分析完整性。
• 清晰度评估智能体（Clarity Agent）：兼顾文本与图表维度，评估论文结构、表述清晰度、方法/实验的可复现性（如是否提供足够的超参数、设备细节），弥补现有系统“仅关注文本语法”的局限。

3. 知识整合机制：通用知识与领域知识的分层设计

• 通用知识（General Knowledge）：改编自MARG系统的评审提示词，针对机器学习（ML）领域设计专业化评审指令（如“清晰描述实验、分析与消融实验”），确保评审符合领域通用标准，但明确其并非“通用评审知识”，而是聚焦ML领域的广谱评审能力。
• 领域知识（Domain Knowledge）：通过预处理步骤构建“引用文献图谱”，提取目标论文的所有参考文献并整理成结构化知识，供需要细分领域知识的智能体调用（弥补模型预训练数据中领域知识的不足），提升评审的深度与专业性。

4. 关键技术细节与工具依赖

• 多模态处理工具：用PaperMage提取PDF中的图表与标题，解决科学论文可视化信息的获取问题（需处理“图表与标题数量不匹配”的小缺陷，通过保留所有标题规避对齐问题）。
• 外部知识接口：对接Semantic Scholar API实现文献查询，动态获取领域最新研究，确保创新性评估的时效性与准确性，区别于依赖模型内置知识的传统方案。
• 上下文窗口利用：依托大模型的大上下文窗口，让每个智能体可访问论文全量文本与图表信息，无需拆分任务，减少智能体间通信成本，提升评审效率。

4 Baseline methods

该部分（对应文档1-45至1-53段落），核心是明确4类用于与MAMORX对比的基准方案，详细说明各方案的设计逻辑、实现方式及局限性，为后续评估MAMORX的优势提供参照，具体总结如下：

1. 基线方法的整体定位与统一实验条件

所有基线方法与MAMORX均采用Anthropic Claude 3.5 Sonnet模型进行实验（注：MARG原实现用GPT-4，此处为公平对比，重新用Claude 3.5 Sonnet复现并命名为“D’Arcy et al.”），确保模型能力一致，仅通过方案设计差异体现性能差距；同时以“模拟真实学术评审场景”为目标，覆盖“简单提示”“结构化提示”“多智能体”等不同技术路径，全面对比自动化评审方案的优劣。

2. 四类基线方法的具体设计与局限

（1）基础提示词方法（Prompt-based Method）

• 设计逻辑：最简化的自动化评审方案，仅将论文全文本（含章节标题）与“生成学术论文评审”的两行简短任务描述作为输入，让模型直接生成评审，无额外引导或结构约束。
• 核心局限：反馈缺乏深度与针对性，多为泛泛而谈（如仅提及“方法看似合理但需更多细节”），无法覆盖创新性、图表批判等关键评审维度，仅作为“最基础对比基准”。

（2）进阶提示方法（Liang et al., 2023）

• 设计逻辑：基于结构化提示的改进方案，通过详细提示引导模型生成包含“研究意义、创新性、接收/拒稿理由”等模块的评审框架，比基础提示更具规范性，原方案为GPT-4实现，本研究调整后不截断长论文（规避原方案因token限制丢失信息的问题）。
• 核心局限：仍依赖模型内置知识，无多模态处理能力（无法分析图表）、无外部知识调用（无法动态评估创新性），且评审深度受限于提示框架，对论文方法的批判仍不够具体。

（3）多智能体系统（D’Arcy et al., 2024）

• 设计逻辑：复现MARG系统的多智能体 workflow，基于CrewAI框架实现，包含4类核心智能体（领导智能体、影响评估智能体、实验评估智能体、清晰度评估智能体），通过分工分析论文不同维度提升反馈针对性。
• 核心局限：关键能力缺失——无图表信息处理模块（无法解读论文图表）、无创新性评估工具（仅依赖模型内置知识）、无领域知识图谱（难以覆盖细分领域专业内容），且智能体间通信仍需较多成本（未利用大上下文窗口优化）。

（4）人类评审（Human Reviewer）

• 设计逻辑：以真实学术评审为基准，从PeerRead数据集（ACL 2017）和NeurIPS 2019公开评审中，为20篇评估论文各随机选取1份人类评审，作为“人工标准”与AI方案对比。
• 核心局限：受人类知识局限（难以覆盖所有最新文献）、效率低（无法匹配论文增长速度），且评审结果存在主观性差异（不同人类评审的关注点与严格度不同），但作为“真实场景基准”，用于验证AI方案是否达到实用价值。

3. 基线方法与MAMORX的核心差异

通过对比明确MAMORX的独特优势：相比基础提示/进阶提示方法，MAMORX有“多智能体分工+多模态+外部知识”的三重增强；相比D’Arcy et al.的多智能体系统，MAMORX补充了图表批判、创新性评估、领域知识图谱三大关键模块；相比人类评审，MAMORX能动态调用外部文献库、覆盖多模态信息，且效率更高，为后续实验验证MAMORX的性能优势奠定对比基础。

5 Evaluation

该部分，核心是通过人类评估、Elo评分系统、成本与效率分析三大维度，量化验证MAMORX框架的评审质量与实用性，同时设计“Reviewer Arena（评审竞技场）”提供可视化评估工具，具体总结如下：

1. 评估数据与基准设置

• 数据集构建：选取30篇学术论文作为评估对象，其中20篇匹配真实人类评审（10篇来自ACL 2017的PeerRead数据集，10篇来自NeurIPS 2019公开评审），为每篇论文随机抽取1份人类评审作为“人工基准”；剩余10篇用于成本与效率分析。
• 对比对象：评估对象覆盖4类基线方法（基础提示词方法、Liang et al.进阶提示方法、D’Arcy et al.多智能体系统、人类评审）与MAMORX，所有AI方案统一使用Anthropic Claude 3.5 Sonnet模型，确保对比公平性。

2. 核心评估方法：人类偏好与Elo评分系统

（1）人类评估流程

由13名硕士、博士研究生作为评估者，对随机配对的两份评审（如MAMORX vs 人类评审、D’Arcy et al. vs 基础提示方法）进行打分，从技术质量、建设性、清晰度、整体质量4个维度判断“哪份评审更优”，共产生140条有效判断；同时允许评估者标注“平局”或“两份均差”，确保结果客观。

（2）Elo评分系统（含风格调整）

• 基础Elo评分：借鉴零和游戏的评分逻辑，初始为所有评审方案（含人类）分配1500分，每轮配对对比后按公式更新分数（(R_{i}'=R_{i}+K \times\left(S_{i}-P(i \succ j)\right))，其中(K=32)，(S_i)为实际胜负结果，(P(i \succ j))为预期胜率），量化各方案的相对优势。
• 风格调整评分：考虑评审“格式风格”（行数、标题数、列表数）可能影响人类偏好（如长评审可能被误判更优），用带协方差调整的Bradley-Terry模型消除风格偏差，确保评分聚焦“评审内容质量”而非形式。

3. 辅助评估工具：Reviewer Arena

设计可视化交互界面（如图3所示），界面分为三部分：

• 顶部指令面板：展示评估规则（如4个评分维度的定义）；
• 中部展示面板：并列呈现待评估论文的PDF与两份评审（如AI评审vs人类评审），方便评估者对照；
• 底部操作面板：通过单选按钮收集评估者对“技术质量、建设性、清晰度、整体质量”的偏好，支持前后切换论文与提交结果，模拟真实评审对比场景，确保人类评估流程标准化。

4. 成本与效率分析

• token与成本：对10篇论文的评估显示，MAMORX平均使用122.79万输入token、10.15万输出token；按Anthropic API当时定价（输入$3/百万token、输出$15/百万token），单篇论文评审成本约$5.20（±0.96），处于可接受的科研工具成本范围。
• 时间效率：单篇评审平均耗时12.03分钟（±0.64），回归分析显示token量对时间影响不显著（10万token仅增加约9.7秒），效率远高于人类评审（通常需数小时至数天），验证了其实用价值。

5. 评估设计的核心目标

通过“人类偏好判断+量化评分模型+可视化工具+成本效率验证”，从“质量、公平性、实用性”三个层面全面检验MAMORX：既确认其评审内容是否优于基线与人类，也排除风格偏差对评估结果的干扰，同时验证其在科研场景中的成本与效率可行性，为后续“Results（结果）”部分呈现性能优势提供严谨的评估依据。

6 Results

该部分核心是通过Elo评分量化对比、胜率分析，呈现MAMORX与基线方法（含人类评审）的性能差异，明确MAMORX在评审质量上的显著优势，具体总结如下：

1. 核心结果：各方案的Elo评分对比（覆盖多维度质量）

通过13名硕博评估者的140条判断，从“技术质量、建设性、清晰度、整体质量”及“风格调整后质量”5个维度，计算各方案的Elo评分（初始分均为1500，分数越高代表评审质量越优），结果显示MAMORX全面领先：

• MAMORX（本文方案）：所有维度评分最高，其中技术质量1870分、建设性1869分、清晰度1874分、整体质量1889分，风格调整后分数进一步提升至1914分（消除格式风格干扰后，内容优势更突出）。
• D’Arcy et al.（多智能体基线）：次之，各维度评分在1731-1776分之间，虽优于单模型方案，但因缺乏图表批判、外部知识调用，与MAMORX存在明显差距。
• 基础提示词方法：评分约1387-1396分，优于人类评审与Liang et al.方案，反映“无结构引导的自由生成”在部分场景下比僵化的结构化提示更灵活，但深度不足。
• Liang et al.（进阶提示基线）：评分约1217-1251分，低于基础提示词方法，因结构化提示限制了反馈多样性，且无多模态与外部知识支持。
• 人类评审：所有维度评分最低（1229-1257分），风格调整后降至1188分，超出预期，主要因人类难以覆盖最新文献、评审深度受知识局限，且反馈简洁性可能被误判为“质量低”。

2. 关键发现：MAMORX的胜率优势与性能边界

通过Elo评分计算各方案的“ pairwise 胜率”（即A方案比B方案更受评估者偏好的概率），核心结果如下：

• 对人类评审的压倒性优势：MAMORX在与人类评审的对比中，实际胜率达88%，Elo模型估算胜率更是高达98%（两者无显著差异），证明其评审内容在技术深度、建设性上远超人类。
• 对多智能体基线的领先：MAMORX对D’Arcy et al.的估算胜率为67%，仅12%的场景中输给该方案，优势主要源于图表批判、创新性评估（外部知识调用）、领域知识图谱三大模块的补充。
• 对单模型方案的碾压：MAMORX对基础提示词方法、Liang et al.的估算胜率分别达94%、98%，凸显“多智能体+多模态+外部知识”整合的价值——单模型方案因缺乏分工与外部信息，难以生成深度评审。
• 风格调整的影响：MAMORX与D’Arcy et al.的风格调整后评分高于原始评分，而Liang et al.与人类评审的调整后评分变化小，说明前两者的高评分并非依赖“格式风格”（如长评审、多列表），而是源于内容质量，进一步验证结果的可靠性。

3. 结果的核心启示

• 技术路径有效性：MAMORX的优势证明“多智能体分工+多模态处理+外部知识调用”是解决自动化评审缺陷的关键路径，能同时弥补单模型的知识局限、多智能体的能力空白。
• 人类评审的不足：人类评审的低评分揭示传统人工评审的痛点——知识更新滞后、覆盖维度有限，为AI辅助评审的必要性提供了实证支持。
• 方案边界清晰：MAMORX对多智能体基线的胜率未达100%，说明未来可进一步优化智能体协作效率、图表分析精度，以缩小剩余性能差距。

这些结果直接支撑了MAMORX的学术价值，为其作为“科研评审辅助工具”的实际应用提供了量化依据。