arXiv cs.CL· Fan Huang, Hongyu Zhou·· 10 小时前AI 评分38
基于 LLM 的学术论文质量评估评审范式对比评测
Comparative Evaluation of LLM-Based Review Paradigms for Academic Paper Quality Assessment
AI 导读
研究在 232 篇分层抽样的 ICLR 2025 投稿上对比五种 LLM 评审范式、三种输入表示和三个模型，发现直接绝对评分与比较排序在和人工评分的秩相关上相当，但会把多数预测压在录用阈值之上，几乎不标记审稿人评为不达标的论文。
正文 · AI 翻译
摘要：投稿量的不断增长使人们重新关注使用大语言模型（LLM）来支持同行评审。目前尚不清楚此类评估应如何组织、模型本身有多重要，以及 LLM 评分能否预测研究影响力。我们在 232 篇分层抽样的 ICLR 2025 投稿上，评估了五种范式、三种输入表示和三个 LLM。直接绝对评分在与人类评分的秩相关上可与比较排序相媲美，但它将大多数预测压缩到录用阈值以上，几乎未标记出任何被审稿人评为低于该阈值的论文。一个基率匹配的重校准对照实验定位了原因：比较排序提供的是位置，而非更好的排序，重校准后直接评分的一致度高于 Elo，而 API 调用量仅为其 24%。仅摘要输入优于全文摘要化，模型选择与范式选择同等重要。在全部 11,513 篇已评分投稿上复现，重现了这些模式，表明绝对一致度取决于被评估集合的分数分布，并发现没有任何方法在准确率上超过始终拒稿的基线。人类评分对引用的追踪优于任何范式，但有一个例外：分组评分在控制人类评分后仍保持其引用相关性，并且是唯一在录用池内进行排序的方法。仅凭排序质量无法评估评审质量；校准、阈值、模型和目标结果都很重要。
| 评论： | 投稿至 EACL 2027 |
| 主题： | 计算与语言（cs.CL）；数字图书馆（cs.DL） |
| 引用为： | arXiv:2610.41391 [cs.CL] |
| （或 arXiv:2610.41391v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41391 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fan Huang [查看邮箱]
[v1]
2026年10月30日星期五 08:02:25 UTC（605 KB）
来源：arXiv cs.CL · arxiv.org