链接: https://arxiv.org/pdf/2406.12708v1

1 Introduction

该部分主要围绕学术同行评审的现状、挑战及研究动机展开：

1. 背景与问题：同行评审是学术出版的基石，但存在偏见、评审质量不稳定、动机模糊等问题；且随着学术投稿量激增，这些问题愈发突出，亟需更有效的分析工具。
2. 现有分析方法的三大核心挑战：
   • 多变量复杂性：评审结果受“评审者（reviewer）专业度、领域主席（AC）参与度、评审机制设计”等多因素交织影响，难以单独隔离某一变量的作用；
   • 潜变量难测量：评审者的偏见、意图等“隐性因素”对结果影响显著，却缺乏量化手段（如“恶意评审”的判断无客观标准）；
   • 数据隐私敏感：真实评审数据涉及评审者身份等敏感信息，伦理风险高且难以公开共享，限制了对评审机制的深入研究。
3. 研究动机与解决方案：为突破上述挑战，提出AGENTREVIEW框架——首个基于大型语言模型（LLM）与智能体建模的同行评审模拟平台，通过“可控实验解耦多变量、LLM量化潜变量、模拟生成隐私保护数据”，实现对同行评审全流程的复现与分析。
4. 研究贡献与范围：该框架可灵活定制“评审者（按承诺度/意图/知识度分类）、作者、领域主席（按决策风格分类）”等角色，复现ICLR等顶会的5阶段评审流程，生成含5万+份文档的大规模数据集，为揭示评审中的社会现象（如偏见、从众效应）、改进评审机制提供支撑。

2 The AGENTREVIEW Framework

该部分聚焦于AGENTREVIEW框架的核心设计与实现，从目标、智能体角色、评审流程、数据选择、基线设置五方面展开，解释如何通过该框架模拟同行评审以解决传统分析的痛点：

1. 框架目标

为解决传统同行评审分析的“多变量复杂性、潜变量难测量、数据隐私敏感”三大挑战，提出基于大型语言模型（LLM）与智能体建模的模拟框架，通过可控实验解耦评审中的多变量影响，同时规避真实数据的隐私风险。

2. 智能体角色设计（三类LLM智能体，还原评审核心角色）

框架构建了与真实评审一致的三类角色，每类角色可通过Prompt定义明确特征（解决“潜变量难测量”问题）：

• Reviewer（评审人）：
  按「承诺度（Commitment）、意图（Intention）、知识度（Knowledgeability）」三维分类，例如：

  • 承诺度：“负责型”评审人会细致分析论文技术缺陷，“不负责型”则敷衍评审；
  • 意图：“良性型”提供建设性反馈，“恶意型”侧重放大缺点、倾向拒稿；
  • 知识度：“专业型”能精准识别研究价值与技术问题，“非专业型”易遗漏核心缺陷。

• Author（作者）：
  负责提交论文，并针对Reviewer的初始评审撰写“反驳（Rebuttal）”；支持“作者身份公开/匿名”两种场景，用于研究“身份偏见”对评审的影响。

• Area Chair（AC，领域主席）：
  按“决策风格”分为三类：

  • 权威型：主导决策、忽视Reviewer意见；
  • 从众型：依赖Reviewer意见、缺乏独立判断；
  • 包容型：整合多方意见（Reviewer反馈、作者反驳）并平衡专业度。

3. 五阶段评审流程（复现真实会议评审场景）

模拟ICLR等顶会的评审流程，确保实验真实性，流程分为5步：

1. Reviewer评估：3名Reviewer独立评审，生成含“研究意义、录取/拒稿理由、改进建议”的报告，并给出「1-10分」评分；
2. Author-Reviewer讨论：作者针对Reviewer意见撰写反驳，回应误解、辩护研究方法；
3. Reviewer-AC讨论：AC组织Reviewer讨论，结合作者反驳更新评审意见；
4. 元评审整合：AC汇总前3阶段反馈，撰写“元评审（Meta-review）”（综合论文优缺点）；
5. 最终决策：AC按「32%录取率」（匹配ICLR 2020-2023平均录取水平）决定论文是否录用。

4. 数据选择（保障模拟的真实性）

选取2020-2023年ICLR公开论文（含“拒稿、海报、亮点、口头报告”等不同质量类型），通过分层抽样选取503篇论文作为模拟输入，确保覆盖真实评审中“论文质量分布”的多样性。

5. 基线设置（实验对比的基准）

为隔离变量影响，设置“无特定智能体特征”的基线场景：

• 生成「10,460份评审/反驳文档」「23,535次Reviewer-AC讨论」「9,414份元评审及决策」；
• 所有智能体（Reviewer、Author、AC）均无“偏见、恶意、不负责”等定向特征，作为后续“变量干预实验”的对比基准。

综上，该部分详细阐述了AGENTREVIEW框架“如何通过LLM智能体+可控流程，模拟真实同行评审并支持多变量分析”的核心逻辑。

3 Results

该部分围绕AGENTREVIEW框架的模拟实验，从评审人（Reviewer）角色、领域主席（AC）参与、作者匿名性、评审机制四个核心维度，量化分析了各因素对同行评审结果的影响，关键发现如下：

3.1 评审人（Reviewer）的核心影响：社会现象与特征关联

该部分聚焦评审人“承诺度、意图、知识度”及社会行为对评审结果的作用，验证了多项社会学理论：

1. 社会影响与从众效应（呼应社会影响理论）：评审人在与AC讨论后，评分会趋向群体共识，导致评分标准差显著下降27.2%（如基线场景中，标准差从0.224降至0.163），尤其当专业/负责的评审人主导讨论时，趋同更明显🔶1-15、🔶1-59、🔶1-61。
2. 利他疲劳与同伴效应：仅1名“不负责评审人”即可引发连锁反应——评审讨论后，整体评审平均字数从195.5字降至159字（降幅18.7%），且其他评审人会模仿其敷衍态度，导致评审深度下降；若替换2名不负责评审人，论文平均分从5.256降至5.005（基线中平均分反而提升0.06），体现群体思维的负面影响🔶1-16、🔶1-65、🔶1-66、🔶1-68、🔶1-81。
3. 恶意评审与回声室效应：恶意评审人会放大彼此负面意见，3名恶意评审人参与时，论文平均分从基线的5.11降至3.35；同时，恶意评审会“污染”正常评审人判断，导致其评分下降0.14-0.25。内容分析显示，恶意评审提及“缺乏新颖性”的比例（10.4%）比良性评审（3.69%）高182.9%，且更关注表面问题（如表述问题）而非核心技术缺陷🔶1-17、🔶1-75、🔶1-76、🔶1-78、🔶1-79、🔶1-202、🔶1-203。
4. 知识度差异的影响：非专业评审人更易忽视核心缺陷，提及“研究局限讨论不足”的概率比专业评审人高24%；而专业评审人会多6.8%的“实验验证批判”，提供更具体的改进建议，助力论文质量提升🔶1-82、🔶1-83。

3.2 领域主席（AC）的参与风格：决策一致性与评审完整性

通过BERTScore（语义相似度）和Cohen’s Kappa（决策一致性）量化AC风格的影响，发现：

• 包容型AC最优：整合评审意见、作者反驳与自身专业度，与基线决策一致性最高（Cohen’s Kappa=0.578，同意率82.41%），能最大程度保障评审公平，避免单一视角偏差🔶1-85、🔶1-93、🔶1-70、🔶1-71。
• 从众型AC有风险：虽与评审意见语义重叠度高（BERTScore接近包容型），且决策同意率达82.03%，但过度依赖评审意见，可能延续初始偏见（如恶意评审的负面判断）🔶1-85、🔶1-70、🔶1-71。
• 权威型AC最不可靠：凭个人偏好主导决策，忽视评审反馈，与基线一致性最低（Cohen’s Kappa=0.266，同意率69.41%），易误判论文质量（如录用低质论文、拒稿高质论文），破坏评审完整性🔶1-85、🔶1-70、🔶1-71。

3.3 作者匿名性的影响：权威偏见与结果偏差

针对“作者身份是否公开”的实验显示，权威偏见（对知名学者的偏好）和光环效应显著扭曲评审结果：

• 低质量论文受影响最大：若1/2/3名评审人知晓作者为“领域知名学者”，其与基线的决策重叠度（Jaccard指数）从0.364降至0.154，甚至低至0.008（3名评审人知晓时），极端情况Cohen’s Kappa为负（决策完全偏离基线）🔶1-18、🔶1-89、🔶1-91、🔶1-100、🔶1-212。
• 高质量论文影响微小：即使作者身份公开，高质量论文的决策结果与基线差异不大，说明权威偏见对“明显优质的研究”干扰有限🔶1-91。
• 关键结论：“知晓作者身份的评审人数”比“已知身份的论文比例”（10%-30%）对决策影响更大，即评审人个体的身份认知是偏差核心来源🔶1-91。

3.4 评审机制的效果：反驳与评分的作用边界

通过对比“无反驳”“无评分”两种机制变体，揭示评审流程的关键作用：

1. 反驳阶段影响极小：取消“作者反驳+评审人-AC讨论”后，与基线决策同意率仍达86.14%。原因一是“锚定偏见”——评审人受初始印象主导，难以被反驳改变判断；二是“相对质量不变”——所有论文通过反驳共同提升，彼此排名无显著变化🔶1-19、🔶1-96、🔶1-97、🔶1-101、🔶1-70、🔶1-71。
2. 数值评分是决策关键：若取消评审人的1-10分评分，AC仅依赖评审内容决策，与基线的决策重叠度骤降至Jaccard=0.20，说明数值评分是AC快速判断的重要参考，无评分时决策易发散🔶1-102、🔶1-70、🔶1-71。

综上，该部分通过量化实验，明确了“评审人特征是偏差核心、包容型AC保障公平、作者匿名性需严格执行、反驳作用有限”等关键结论，为改进同行评审机制提供了数据支撑。

4 Related Work

该部分围绕同行评审系统分析与LLM智能体研究两大领域，梳理现有研究成果，并明确本文（AGENTREVIEW）与现有工作的关联及差异，核心内容如下：

4.1 同行评审系统分析（现有研究焦点与局限）

该部分总结了传统同行评审研究的核心方向，同时指出其难以突破的瓶颈：
现有研究普遍将同行评审视为学术出版的“基石”，重点围绕评审流程中的关键问题展开，具体包括三类核心议题：

1. 评审缺陷与公平性：聚焦同行评审中的偏见（如对重投稿的偏见、性别差异偏见）、利益冲突（如评审人因竞争关系压低对手论文评分）、评审质量不稳定（如新手评审与资深评审的意见差异）等问题，试图通过分析真实评审数据提出改进方向（如提升公平性、校准评审评分）🔶1-104。
2. 评审运营优化：研究评审流程的实操环节，例如如何优化“评审人分配”（确保评审人专业度与论文主题匹配）、如何提升“作者反驳”的有效性（分析反驳内容与评审意见调整的关联），以及如何通过机制设计增强评审透明度与问责制🔶1-104。
3. 现有研究的核心局限：尽管上述研究提供了对同行评审的基础认知，但均依赖“真实世界评审数据”开展分析——由于同行评审过程的多变量复杂性（如评审人专业度、AC参与度等因素交织），难以单独隔离某一变量的作用；同时，真实评审数据的敏感性（涉及评审人身份隐私）不仅限制数据共享，还可能引发伦理争议，导致研究难以深入🔶1-104。

4.2 LLM作为智能体的研究（技术基础与应用场景）

该部分梳理了LLM与智能体建模结合的现有成果，为AGENTREVIEW的技术路线提供理论支撑：

1. LLM的核心能力：近年来，GPT-4、Claude 3、Gemini等LLM已展现出复杂的语言理解（如解析学术文献逻辑）、推理（如分析研究方法合理性）、生成（如撰写学术文本）能力，同时具备规划、协作与竞争等类智能体行为，可模拟人类在特定场景下的互动模式🔶1-105。
2. LLM智能体的应用：现有研究已将LLM与“智能体建模（ABM）”结合，用于模拟真实社会环境（如模拟群体决策、学术讨论）——例如部分工作通过多LLM智能体协作完成任务，或模拟特定领域的互动场景（如科研合作、市场竞争），验证了LLM智能体在“可控模拟”中的有效性🔶1-105。
3. 与本文的关联：AGENTREVIEW的技术框架（用LLM智能体模拟同行评审）与上述研究一脉相承，但聚焦“学术同行评审”这一特定场景，首次将LLM智能体与同行评审的全流程（评审人评估、作者反驳、AC决策）结合，填补了“用LLM智能体解决同行评审研究瓶颈”的空白🔶1-105。

综上，该部分通过梳理两大领域的现有研究，既明确了AGENTREVIEW对“同行评审系统分析”的突破（无需真实数据、可解耦变量），也阐明了其技术路线（LLM智能体建模）的合理性，为本文的创新价值提供了上下文支撑。

5 Conclusion

该”部分是对全文核心工作的总结与未来研究方向的展望，核心内容围绕AGENTREVIEW框架的定位、解决的关键问题及后续探索方向展开，具体如下：

该部分首先明确AGENTREVIEW的核心价值——它是首个基于大型语言模型（LLM）的同行评审模拟框架，填补了传统同行评审研究的技术空白：通过LLM智能体建模与可控实验，该框架有效解决了传统分析中“多变量难以解耦”“潜变量难以测量”“真实评审数据隐私敏感”三大关键挑战，在无需依赖真实评审数据的前提下，实现了对同行评审流程的精准模拟与变量影响的量化分析🔶1-106、🔶1-107。

其次，该部分强调AGENTREVIEW的实践意义——其研究成果为学术出版领域“更公平、更透明的同行评审机制设计”奠定了基础，例如通过揭示评审人偏见、AC决策风格等因素的影响，可为会议或期刊优化评审规则（如评审人筛选、AC角色定位）提供数据支撑与理论依据🔶1-107。

最后，该部分提出未来研究方向：当前研究主要聚焦于“单一变量对评审结果的独立影响”（如单独分析评审人承诺度、AC风格的作用），后续可进一步探索“不同变量间的复杂交互作用”（如“不负责评审人+权威型AC”的组合影响），以更贴近真实同行评审中多因素交织的实际场景🔶1-107。