arXiv cs.AI· Guoqiang Zhang, Kexin Tan, Ming Zhang, Li Ju, Wenqing Jing, Zhonghan Yue, Jiayi Chen, Shiqiang Wu, Shaofan Liu, Yue Zhang, Yuankai Ying, Yang Shi, Tao Gui, Qi Zhang, Xuanjing Huang·· 13 小时前AI 评分35
NovGauge：细粒度诊断 LLM 论文新颖性评估能力的基准
NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment
AI 导读
研究者提出 NovGauge，一个面向 LLM 新颖性评估诊断的细粒度基准，包含 619 组论文对和 50 个多论文集合，按任务、问题、方法三个维度独立标注。对 18 个 LLM 的评估显示，各维度幻觉率为 0%-39%，在非幻觉的正确正例判断中超过 70% 的引用证据无法在逻辑上支撑所给理由。
正文 · AI 翻译
作者：Guoqiang Zhang、Kexin Tan、Ming Zhang、Li Ju、Wenqing Jing、Zhonghan Yue、Jiayi Chen、Shiqiang Wu、Shaofan Liu、Yue Zhang、Yuankai Ying、Yang Shi、Tao Gui、Qi Zhang、Xuanjing Huang
摘要：大型语言模型（LLM）越来越多地被用于主要 AI 会议的同行评审，但新颖性仍是其持续存在的薄弱环节。现有基准将新颖性作为单一整体分数进行评估，难以诊断模型误判了哪个维度，或其所依据的证据是否忠实。我们提出 NovGauge，一个以人为锚定的基准，用于细粒度新颖性评估诊断。该基准包含 619 对论文和 50 个多论文集合，取自两个专家来源：ICLR 审稿人重叠声明和综述共同引用。实例沿三个维度独立标注：任务、问题和方法，分别对应应用目标、技术挑战和解决方案。我们提出一种级联诊断流程，用于验证各维度的正确性、证据依据和逻辑支撑。对 18 个 LLM 的评估显示，各维度的幻觉率在 0% 到 39% 之间；在非幻觉的正确正例判断中，超过 70% 的引用证据无法在逻辑上支撑所述理由。表现最佳的模型 GPT-5.5 在各维度上达到 43-72% 的 Verified F1，而大多数模型在忠实性验证后仅保留其原始 F1 的不到一半。这些结果表明，当前 LLM 距离可靠的科学新颖性评估仍相去甚远，尤其是当正确性以忠实证据依据为条件时。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.11234 [cs.AI] |
| （或 arXiv:2609.11234v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.11234 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guoqiang Zhang [查看邮箱]
[v1]
2026年9月10日星期四 08:34:56 UTC（701 KB）
[v2]
2026年10月29日星期四 03:51:41 UTC（701 KB）
来源：arXiv cs.AI · arxiv.org