arXiv cs.CL· Miri Liu, Xiayu Zhao, Encheng Xie, ChengXiang Zhai·· 11 小时前AI 评分34
AI 科学家能识别真正的新意吗？ClaimNov 提出 claim 级新颖性检测框架
Do AI Scientists Know What's New?
AI 导读
研究团队构建了含 1060 份提案、覆盖 proposal 与 claim 两级时间基准的新颖性检测评估框架，发现现有检测器在拒绝非新颖工作时误报率同样偏高。为此提出细粒度可解释模块 ClaimNov，以 1.5% 误报率捕获 97% 的伪装论文，并将 LLM 评审误报从 11.8% 降至 1.5%。在含拼接先验贡献的 100 份新颖提案中保留 91 份，优于最强现有方法的 76 份。
正文 · AI 翻译
摘要：AI 科学发现流程面临的一个主要挑战是，如何判断生成的想法是否具有有意义的新颖性。理想情况下，这些流程中的新颖性检查必须能够拒绝不新颖的想法，同时又不拒绝太多新颖的想法，并且还应能够区分提案中哪些部分不新颖，而不是不透明地丢弃整个提案。我们设计了一个分析框架，用于在提案级和主张级评估具有时间基准真相的新颖性检查，使用四个数据集，共 1,060 个提案，这些提案由已发表的论文、审稿人争议以及与该领域后来发表的想法相匹配的生成想法构建而成。用该框架审计现有的新颖性检查，我们发现，对不新颖工作具有高拒绝率的检查，往往也对后来由人类研究人员实现的想法具有高误报率，并且观察到，为整体评估提案而构建的检查只能通过拒绝整个提案来指出主张级的现有技术。因此，我们引入了 ClaimNov，一个细粒度、可解释的主张级新颖性模块。ClaimNov 以 1.5% 的误报率捕获了 97% 的伪装论文，其主张级新颖性画像将 LLM 评判器的误报率从 11.8% 降低到 1.5%。由于其裁决基于主张级证据，ClaimNov 还能保留建立在已有贡献之上的提案，仅拒绝了 3% 的 ICLR 接收且贡献受审稿人争议的提案，并在 100 个包含一个拼接的现有贡献的新颖提案中保留了 91 个，而最强的现有检查仅保留 76 个。代码和数据可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36511 [cs.CL] |
| （或 arXiv:2610.36511v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36511 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Miri Liu [查看电子邮件]
[v1]
2026年10月27日星期二 02:16:41 UTC（894 KB）
来源：arXiv cs.CL · arxiv.org