arXiv cs.CL· Sarina Xi, Vishisht Rao, Justin Payan, Nihar B. Shah·· 12 小时前AI 评分32
FLAWS：评估 LLM 识别与定位科学论文错误的新基准
FLAWS: A Benchmark for Error Identification and Localization in Scientific Papers
AI 导读
研究者推出 FLAWS 基准，包含 713 个论文-错误对，用于评估 LLM 能否识别并定位论文中足以推翻核心结论的错误。在 Claude Sonnet 4.5、DeepSeek Reasoner v3.1、Gemini 2.5 Pro、GPT 5 和 Grok 4 五个前沿模型中，GPT 5 表现最佳，在 k=10 时识别准确率为 39.1%。
正文 · AI 翻译
摘要：错误的识别与定位是同行评审中的核心任务，然而科学产出的指数级增长使得人类审稿人在专家数量有限的情况下越来越难以可靠地发现错误。大语言模型（LLM）的最新进展激发了人们对其支持此类评估任务潜力的兴趣，从学术同行评审到自动化科学评估。然而，尽管 LLM 在评审系统中的使用日益增多，其精确定位错误的能力仍未被充分探索。在本工作中，我们提出了 Fault Localization Across Writing in Science（FLAWS），这是一个由 713 个论文-错误对组成的自动化基准，旨在评估 LLM 检测那些损害研究论文关键论断的错误的效果。我们通过使用 LLM 系统性地将导致论断失效的错误插入经过同行评审的论文中来构建该基准，并配以自动化评估指标，衡量模型能否识别并定位这些错误。构建此类基准面临我们已克服的独特挑战：确保插入的错误定义明确、具有挑战性且与论文内容相关，避免使识别变得轻而易举的痕迹，以及设计可扩展的自动化评估指标。在所得基准上，我们评估了五个前沿 LLM：Claude Sonnet 4.5、DeepSeek Reasoner v3.1、Gemini 2.5 Pro、GPT 5 和 Grok 4。其中，GPT 5 是表现最佳的模型，在 k=10 时达到 39.1% 的识别准确率，其中 k 是 LLM 生成的排名最高的错误文本候选数量。
| 评论： | 36 页，21 张表，3 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；数字图书馆（cs.DL）；机器学习（cs.LG） |
| 引用为： | arXiv:2511.21843 [cs.CL] |
| （或 arXiv:2511.21843v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.21843 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yang Xi [查看邮箱]
[v1]
2025 年 11 月 26 日星期三 19:19:44 UTC（1,265 KB）
[v2]
2026 年 10 月 22 日星期四 01:44:11 UTC（1,288 KB）
来源：arXiv cs.CL · arxiv.org