arXiv cs.AI· Nitish Kumar, Prateik Pothuneedi, Greg Bandak·· 3 天前AI 评分44
LLM 评审该看什么、看多少：一项关于评审盲点的解剖研究
The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much
AI 导读
一项在 7 个公开基准上的研究发现，LLM 评审被展示什么，比用哪个评审模型更重要——即便三个评审模型价格相差 10 至 17 倍。当评审看不到必须遵守的材料时，系统依据其反馈修改答案后，指令遵循与问答表现反而低于起点，且指令遵循上的损失逐轮扩大。研究还发现约十分之一的原文承担了几乎全部作用，小型蕴含图在定位有据文本错误上可媲美 LLM 评审。
正文 · AI 翻译
摘要：由大语言模型（LLM）生成的文本的评估工作，正越来越多地被委托给充当裁判的 LLM，但这样一位裁判究竟必须看到什么，仍未得到解决。我们把其报告会被据以行动的裁判视为控制论意义上的调节器，并追问它必须看到什么、看到多少、以何种形式看到，以及它的报告必须做对什么。在七个公开基准上，我们只改变裁判被展示的内容。在价格相差 10 至 17 倍的三位裁判之间，裁判被展示的内容比裁判是哪一位更重要。当一个系统根据一位被剥夺了必须遵守的材料的裁判的反馈来修改其答案时，它在指令遵循和问答上的表现最终低于其起点。在指令遵循上，损失随每一轮而增大，并且当裁判看到用户请求但看不到约束条件时，以及在第二个裁判家族中，这种损失依然存在。在新闻摘要任务上，源文本旁附上一份正确的参考摘要，抵消了源文本的大部分贡献，而在单答案问题上，参考摘要则有帮助。源文本中约十分之一的内容完成了其几乎全部的工作，而一个小型蕴含图在发现基于文本中的错误方面，与一位 LLM 裁判表现相当。我们在运行前承诺了 83 条可检验条款；在运行的 81 条中，32 条达到了其标准，50 条朝预测方向发展，而该理论的大多数定量预测都失败了。我们报告每一处不足，并推导出与实测效应相关联的设计规则。
| 评论： | 50 页，19 幅图，7 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.15938 [cs.AI] |
| （或本版本使用 arXiv:2610.15938v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.15938 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Nitish Kumar [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 21:38:08 UTC（6,864 KB）
来源：arXiv cs.AI · arxiv.org