arXiv cs.AI· Feilian Huang·· 9 天前AI 评分24
ICLR 2017-2025 同行评审噪声观测估计器：The Review Lottery
The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)
AI 导读
研究者构建了一个仅凭公开评审数据即可估计会议审稿噪声的观测估计器，并在 NeurIPS 2021 上完成外部校准：k=3 时模拟分歧率 23.3%，与报告的 23.0% 仅差 0.3 个百分点。
正文 · AI 翻译
摘要：如果同一篇论文由另一组审稿人评审，会议的接收/拒稿决定会有多大变化？运行第二个独立的程序委员会是回答这个问题的金标准，但其成本高得令人望而却步：仅做过两次（NeurIPS 2014 和 2021）。我们仅利用公开评审数据构建了这一数量的观测估计器，对其进行了两次校准，并将其应用于 ICLR 的九年数据（2017-2025；36,113 篇论文，134,912 条评审）。该估计器使用贝叶斯有序概率模型将评分分解为论文质量和审稿人噪声，使用逻辑模型将评分映射为决定，并模拟两个独立的委员会（后验抽样 B=1,000；委员会规模 k=2,3,4）。估计的分歧率为 k=2 时 23-30%，k=4 时 18-24%；30-50% 的接收论文会被拒稿。外部校准：在 NeurIPS 2021 审稿人数标准（k=3）下，模拟的 2021 年分歧率为 23.3% [21.7%, 25.0%]，而报告值为 23.0%（偏差 +0.3pp）；接收精确率和委员会相关性在 5pp 和 0.04 以内一致。内部校准：在 18,740 篇有 4 条以上评审的论文上，随机无模型 2+2 审稿人划分在 2018 年和 2021-2025 年与 k=2 模拟在 1pp 以内一致。纵向来看，我们发现 2017-2025 年间审稿人噪声没有稳健的时间趋势。2020 年和 2021 年接收论文的高翻转率具有不同的机制：2020 年的四点量表压缩了评分（23.7% 的论文论文内方差为零），一个反事实表明粗化量表会使分歧率提高约 7pp；2021 年则结合了样本中最低的信噪比和最拥挤于阈值的接收。对于 LLM 时代，2023 年对论文内评分方差的断点检验未发现断点，但该设计几乎没有检验力，且不存在 2022 年之后的评审文本或置信度数据，因此未尝试进行 LLM 归因。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.06591 [cs.AI] |
| （或 arXiv:2610.06591v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06591 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Feilian Huang [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 16:05:17 UTC（765 KB）
[v2]
2026 年 10 月 8 日星期四 05:16:30 UTC（969 KB）
来源：arXiv cs.AI · arxiv.org