arXiv cs.AI· Jianchang Su, Dawei Xiang, Yifan Zhang, Wei Zhang·· 2 天前AI 评分34
更强的评审模型看得更少：LLM 评测中的部署完整性盲区
Stronger Judges Do Not See More: Deployment-Integrity Blindness in LLM Evaluation
AI 导读
研究提出 DIB-Bench，用 7,560 个评分样本、六类篡改和从正则到 GPT-5-nano 的评审阶梯衡量 LLM 评测的部署完整性盲区：评审模型越强，越容易接受被篡改的输出，平均接受率从规则式的 88.6% 升至 GPT-5-nano 的 94.1%。
正文 · AI 翻译
摘要：LLM-agent 评估报告了行为分数，却未报告所部署运行时栈的身份。一个被篡改但保留了评估输出的部署能通过所有仅基于输出的评估器。我们提出 DIB-Bench，一个衡量这种部署完整性盲区的基准，涵盖 7,560 个评分样本、六种篡改类型，以及从正则评分器到 LLM 评判器再到 GPT-5-nano 的评估器阶梯。更强的评估器接受更多被篡改的输出：平均接受率从 88.6%（基于规则）上升到 94.1%（GPT-5-nano），而一种在评估套件上不可见的触发条件式篡改会产生 48-100% 的有害输出，且随模型能力提升而上升。一个 PAC 式界表明，零输出偏移的篡改在任何样本量下都无法从输出中检测到；而清单哈希身份通道能以零样本检测到它们。行为指纹识别模型组件的准确率高于随机水平（76.7%），但仅覆盖六个栈组件中的一个。我们还为评估报告提出了一种分级部署身份描述符。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21135 [cs.CR] |
| （或 arXiv:2610.21135v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21135 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jianchang Su [查看邮箱]
[v1]
2026年10月15日星期四 02:44:08 UTC（58 KB）
来源：arXiv cs.AI · arxiv.org