arXiv cs.CL· Noy Sternlicht, Simra Shahid, Peter Jansen, Daniel S. Weld, Pao Siangliulue, Tom Hope·· 3 天前AI 评分40
基于 LLM 的新颖性评估为何不稳定：一项系统受控研究
Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation
AI 导读
一项系统受控研究发现，基于 LLM 的新颖性评估表现不佳：仅告知评审者认为某个想法新颖，就能让同一对想法中超过一半的判定发生翻转，成对准确率波动超过 50 个百分点，有时甚至低于随机水平。检索与更大的推理预算帮助有限，两个专门构建的新颖性评估器还不如最便宜的提示词基线。
正文 · AI 翻译
摘要：基于 AI 的构思系统通常以其想法的新颖性来评估，而这种判断正越来越多地委托给大型语言模型。这类评判器通常是临时搭建的，即便经过验证，也是在人类撰写的论文上验证，而非在其本应评分的生成想法上验证。那么，新颖性评判器的表现如何？并不好。我们对新颖性评估的设计选择进行了系统的对照研究。我们自动构建了一个评估集，从 OpenReview 中挖掘审稿人明确肯定或质疑论文原创性的段落，仅保留在其研究领域极端值上获得一致同意的投稿；我们将这些与来自普通 LLM 生成器的想法配对。在六个评判器上，我们发现看似微小的提示设计选择会产生巨大后果；例如，仅仅告诉评判器审稿人认为其中一个想法新颖而另一个不新颖，就能改变其对所展示的超过一半相同想法对的判定，使成对准确率变化超过 50 个百分点，有时甚至低于随机水平。同样的改动对一个评判器有帮助，却损害另一个。检索和更大的推理预算帮助甚微，而两个专门构建的新颖性评估器表现还不如我们最廉价的提示基线。这些结果对自动化构思系统所报告的新颖性提升提出了质疑，并呼吁建立稳健的新颖性评估方法。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.02022 [cs.CL] |
| （或 arXiv:2610.02022v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02022 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Noy Sternlicht [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 16:43:18 UTC（1,095 KB）
[v2]
2026 年 10 月 14 日星期三 17:45:03 UTC（1,034 KB）
来源：arXiv cs.CL · arxiv.org