arXiv cs.AI· Xuanyou Liu, Ziyang Guo, Jason Hartline, Jessica Hullman·· 12 小时前AI 评分31
用学习到的检查清单降低科学同行评审中的“审稿人抽签效应”
Learning Checklists to Reduce Lottery Effects in Scientific Peer Review
AI 导读
研究提出从历史评审语料中学习批评检查清单，以降低“审稿人抽签误差”。方法生成原子评审主张空间的粗化检查清单树，并选出审稿人相关一致性最高的粗化版本，用 LLM 辅助流程在 NeurIPS 2021 和 ICLR 2022 数据上验证。
正文 · AI 翻译
摘要：审稿人抽签误差是指，由于一小部分同行评审只关注论文的部分问题，而更大范围的合格审稿人群体则会提出更多问题，从而产生的误差。我们表明，通过呈现一份从历史评审语料库中学习到的批评清单，可以减少这种误差。我们的方法生成一棵清单树，表示原子评审主张空间的粗化，然后选择使审稿人之间相关一致性这一具有理论依据的度量最大化的粗化。我们用 LLM 辅助流程实现该方法，并在 NeurIPS 2021 和 ICLR 2022 评审数据上进行测试。在 LLM 审稿人的模拟评审中，学习到的清单将三人委员会的均方误差（MSE）在 NeurIPS 上降低 58%，在 ICLR 上降低 21%；在两个会议上，具有最高相关一致性的清单对三人及以上委员会均具有最低误差。在一项有 20 名参与者的人类研究中，学习到的 NeurIPS 清单将论文排名的 MSE（以 NeurIPS 2021 排序为基准衡量）从 0.48 降至 0.22。
| 学科： | 数字图书馆（cs.DL）；人工智能（cs.AI）；应用（stat.AP） |
| 引用为： | arXiv:2610.28666 [cs.DL] |
| （或 arXiv:2610.28666v1 [cs.DL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28666 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jessica Hullman [查看邮箱]
[v1]
2026年10月14日星期三 21:22:33 UTC（284 KB）
来源：arXiv cs.AI · arxiv.org