arXiv cs.AI· Rachel S. Y. Teo, Yutaro Yamada, Shashank Kotyan, Yuki Imajuku, Tarin Clanuwat·· 9 天前AI 评分29
超越模仿：LLM 辅助同行评审的框架与基准
Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review
AI 导读
研究提出以错误检测为核心的 LLM 辅助同行评审评估视角，并构建可扩展基准，通过向会议论文合成插入错误来检验评审系统识别逻辑矛盾的能力。同时提出 Multi-Layered Review（MLR）框架，先深入理解稿件再生成评审，在人类评审分数对齐、错误检测性能和 token 效率上表现良好，但也证实系统仍易受对抗性操纵。
正文 · AI 翻译
摘要：科学出版的快速增长使同行评审不堪重负，在机器学习领域尤为突出，引发了人们对评审质量下降和审稿人工作量增加的担忧。大型语言模型（LLM）已被提议作为自动化评审助手，但其评估主要集中于模仿人类撰写的评审意见，而非支持同行评审的核心功能。在此，我们引入一种以验证为中心的 LLM 辅助同行评审视角，强调错误检测是一项关键且资源密集的任务。我们提出了一个可扩展的基准，用于评估评审系统识别逻辑矛盾的能力，该基准通过在会议论文中合成插入错误来构建，从而产生明确的评估目标并支持系统性比较。我们进一步提出了一种多层评审（MLR）框架，该框架在生成评审意见之前优先进行详细的手稿理解，从而更贴近人类评审实践，同时提高 token 效率。在各项评估中，我们的方法表现出与人类评审分数的高度一致性，实现了高错误检测性能，并就审稿人关注点提供了互补视角。这些改进可归因于底层 LLM 的选择以及我们系统的设计。与此同时，我们证实了对抗性操纵的持续脆弱性，凸显了自动化评审系统对鲁棒性的需求。我们的发现强调了严格、以错误为中心的评估的重要性，以指导在同行评审和其他关键科学工作流中负责任地部署基于 LLM 的工具。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11087 [cs.AI] |
| （或 arXiv:2610.11087v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11087 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rachel Teo Si Yan [查看电子邮件]
[v1]
2026年10月8日星期四 01:57:31 UTC（3,444 KB）
来源：arXiv cs.AI · arxiv.org