arXiv cs.CL· Ilia Kuznetsov, Rohan Nayak, Alla Rozovskaya, Iryna Gurevych·· 9 天前AI 评分24
同行评审真的在衰退吗？跨会议与跨时间的评审质量分析
Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time
AI 导读
研究提出一套基于证据的评审质量比较框架，并应用于 ICLR、NeurIPS 和 *ACL，通过多维度量化标准和 LLM 与轻量级测量方法分析评审质量。跨时间分析显示，各会议和年份的评审质量中位数并未出现一致下降，与"评审质量衰退"的流行说法相矛盾。
正文 · AI 翻译
摘要：同行评审是现代科学的核心。随着投稿数量增加和研究群体扩大，评审质量下降成为一种流行说法和普遍担忧。然而，这是真的吗？评审质量难以衡量，而评审实践的持续演变使得跨会议和跨时间比较评审变得困难。为解决这一问题，我们提出了一套新的框架，用于基于证据的评审质量比较研究，并将其应用于主要的人工智能和机器学习会议：ICLR、NeurIPS 和 *ACL。我们记录了评审格式的多样性，并提出了一种新的评审标准化方法。我们提出了一个多维度的模式，将评审质量量化为对编辑和作者的效用，并结合基于 LLM 的测量和轻量级测量。我们研究了评审质量各项测量之间的关系及其随时间的变化。与流行说法相反，我们的跨时间分析显示，各会议和各年份的评审质量中位数并未出现持续下降。我们提出了替代性解释，并概述了促进未来评审质量实证研究的建议。
| Comments: | To appear in EMNLP-2026 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2601.15172 [cs.CL] |
| （或 arXiv:2601.15172v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.15172 arXiv 颁发的 DOI，通过 DataCite |
Submission history
来自：Rohan Kumar Nayak [查看电子邮件]
[v1]
2026年1月21日星期三 16:48:29 UTC（2,246 KB）
[v2]
2026年10月8日星期四 11:50:57 UTC（2,394 KB）
来源：arXiv cs.CL · arxiv.org