arXiv cs.AI· Fan Nie, Haotian Ye, Shurui Liu, Zihao Wang, Stefano Ermon, James Zou·· 3 天前AI 评分38
OSVerify：有限专家评审下的单侧验证框架
One-Sided Verification Under Limited Expert Review
AI 导读
针对候选方案生成规模超出人工评审能力的问题，研究者提出 OSVerify 框架，将错误提出与错误验证解耦，在相同低 FNR 约束下把无效方案的人工评审量较投票基线平均减少 46%，经验证器后训练后提升至 57%。该框架还用于发现已发表论文中的错误（获原作者确认），并协助解决三个 Langlands 开放猜想（获专家确认）。
正文 · AI 翻译
摘要：AI 在科学发现中正变得越来越有用，但对于那些缺乏可靠自动评估的问题，人类专家评审仍然必不可少，随着候选生成规模超出可用的评审能力，这构成了一项根本性挑战。本文研究在有限人力下的验证问题，即需要优先考虑罕见的有效解，同时应过滤掉无效候选以减少人工工作量。我们采用单侧验证目标，即在有效解的误拒率（FNR）约束下最大化无效解的拒绝率（TNR），从而将人工评审成本作为显式项来最小化。基于验证特定错误可能比发现错误更容易这一直觉，我们提出了 OSVerify，一个将错误提出与错误验证解耦的算法框架。错误提出器通过分层分解在不同粒度上搜索解中的错误，而验证器则区分实质性错误与轻微或幻觉性错误。在竞赛级和研究级基准上的实验表明，在相同的经验低 FNR 约束下，与投票基线相比，OSVerify 将无效解的人工评审次数平均减少 46%。我们对验证器的后训练进一步将这一减少提升至 57%。作为高影响力的真实世界用例，我们应用 OSVerify 来识别已发表研究论文中的错误，这些错误随后得到原作者确认，并帮助解决了三个 Langlands 开放猜想，且得到专家确认，展示了其在促进人机研究协作方面的实用性。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18089 [cs.AI] |
| （或 arXiv:2610.18089v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18089 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fan Nie [查看邮箱]
[v1]
2026年10月13日星期二 10:10:11 UTC（548 KB）
来源：arXiv cs.AI · arxiv.org