arXiv cs.CL· Unnati Shah, Samruddhi Kakade, Aum Patel·· 10 小时前AI 评分39
LLM 评审到底核实了什么？文档时效性核查中的匹配对照与记录缺失
What Do LLM Judges Actually Verify? Matched Controls and Record Gaps for Document Currency
AI 导读
研究用 IETF RFC 索引中 48 处替换构造匹配答案，测试 LLM 评审能否依据修订记录判断引用文档是否仍有效。
正文 · AI 翻译
摘要：LLM 评审员通常会对照修订记录，检查答案所引用的文档是否仍然有效。此类记录很少完整。基于一张替换表，我们的测试生成成对的答案，分别引用被替换的文档、其继任文档、被替换前的原文档，以及一份被较新文档更新但未被替换的旧文档；它从记录中移除链接，并根据每个发现所陈述的理由进行评分。在 IETF RFC 索引的 48 处替换上，获得正确记录的评审员几乎抓住了所有被替换的引用，如同查表一般。在 24 处我们移除了链接的故障上，每位评审员仅凭文本抓住的比有记录时更多：Gemini 3.1 Pro 为 23/24 对 1/24，GPT-5.5 为 23/24 对 9/24，Claude Opus 4.5 为 17/24 对 9/24，Gemma 4 26B 为 13/24 对 0/24。这一下降在第二次抽取移除链接时再次出现。大多数漏检没有给出任何发现；在一次带有冲突代码的探索性运行中，只有 Gemini 经常使用它。将缺口改写为“未记录替换”没有帮助；将记录呈现为未经核实的备注，或警告其不完整，为 Gemini、GPT-5.5 和 Claude 恢复了大部分丢失的捕获（前两者经校正后显著），但 Gemma 最多只恢复了 13 个中的 5 个；在捕获恢复的地方，对更新的误报也随之恢复。在同时提供两份文本时，评审员大多能区分替换与更新；每个被标记的更新都有一个几乎相同的标题。文末附有关于印度屋顶太阳能规则的描述性案例研究；我们发布了测试框架。
| 评论： | 37 页，6 幅图，包括一份 13 页的补充案例研究。代码、数据及所有评审员回复：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01311 [cs.AI] |
| （或 arXiv:2611.01311v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01311 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Unnati Bhaven Shah [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 22:19:54 UTC（249 KB）
来源：arXiv cs.CL · arxiv.org