审计 AI 同行评审：基于真实科学论文的基准

查看 PDF HTML（实验性）

摘要：基于 LLM 的同行评审现已投入生产规模使用，但其评估仍然有限。我们引入一个基准，将四类（一般性问题、数学、数值、引用）客观、可定位的错误以三个严重程度注入真实论文，并按错误类型和严重程度衡量每个评审者的检出率，以及其在干净副本上的误报率。我们还提出 Skepthical，一个多智能体评审者，通过检索被引论文来验证有引用支撑的论断、用计算机代数验证数学内容、用执行代码验证数值论断。我们将该基准应用于两个语料库，各含 15 篇近期 arXiv 预印本，一个在天体物理学，一个在机器学习（ML），共注入 357 个错误，并评估十二个评审系统：六个单 LLM 评审者、两个 Claude Code 配置、三个公开可用的评审者以及 Skepthical。模型的选择对检出率影响最大：在相同提示下，三个前沿 LLM 在两个语料库上的总检出率相差约 50 个百分点。工具和脚手架在能提供模型自身无法提供的内容时才有帮助。特别是在天体物理学上，Claude Code 在数学和数值检出方面优于单次 Claude 调用，而强制引用检索使 Skepthical 以很大优势获得所有系统中最高的引用错误检出率。然而，这一引用优势在 ML 上并未出现，在那里模型似乎更熟悉文献，Skepthical 的引用检出率与最佳单 LLM 在统计上无法区分。大多数系统的误报率低于 10%，但随提示、模型和脚手架而变化，数学标记是误报的主要来源。评估流程、注入的错误和裁定日志作为基准发布。

评论：	已被 NeurIPS 2026 接收
主题：	计算与语言（cs.CL）；天体物理学仪器与方法（astro-ph.IM）；人工智能（cs.AI）；数字图书馆（cs.DL）
引用为：	arXiv:2611.17052 [cs.CL]
	（或 arXiv:2611.17052v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.17052 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Íñigo Zubeldia [查看电子邮件]
[v1] 2026年11月12日星期四 16:33:51 UTC（986 KB）