arXiv cs.CL· Dingjie Song, Zhiling Yan, Ziqian Zhang, Yuxuan Zhang, Lichao Sun·· 2 天前AI 评分36
PremiseCheck：高效核查人类与 AI 同行评审中的事实错误
PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews
AI 导读
研究者提出 ReviewFact 基准，在 NLP、机器学习与自然科学领域用统一定义标注评审意见中的事实错误，并同时衡量成本与延迟。PremiseCheck 框架让 LLM 在不读论文的情况下把每条评审意见改写为显式前提，再由决策模型逐条对照论文核查。单条核查时，其在三个领域准确率与 GPT-5.5 相当而成本约为一半，NLP 评审上成本降至四分之一、延迟不到一半。
正文 · AI 翻译
摘要：同行评审正因投稿量增长而承受压力，而由人类或 AI 撰写的评审意见可能会错误陈述论文内容。我们提出 ReviewFact，这是一个基准，在 NLP、机器学习和自然科学领域以统一定义标注评审意见中的此类事实性错误，并在衡量准确率的同时衡量成本与延迟。前沿 LLM 能较好地检查评审意见，但每次检查都必须阅读整篇论文，而廉价的决策模型——用于判断某陈述在文本中是否成立——在面对混合了多个隐含断言的整条评审意见时远远不够。PremiseCheck 是一个将两者结合的框架。LLM 在不阅读论文的情况下将每条评审意见改写为显式前提，再由决策模型针对论文逐一检查每个前提。当每条评审意见单独检查时，PremiseCheck 在全部三个领域达到与 GPT-5.5 相当的准确率，成本约为其一半；在 NLP 评审上，成本为其四分之一，延迟不到其一半。
| 评论： | 29 页，19 幅图，23 张表。代码：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21046 [cs.CL] |
| （或 arXiv:2610.21046v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21046 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiling Yan [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 00:42:49 UTC（725 KB）
来源：arXiv cs.CL · arxiv.org