arXiv cs.AI· Shihao Weng, Yang Feng, Xiaofei Xie·· 11 小时前AI 评分47
LLM 安全评判器是否策略不变？一项三原则压力测试
Are LLM Safety Judges Policy-Invariant? A Three-Principle Stress-Test
AI 导读
研究提出可信安全评判器应满足"策略不变性"，并将其拆解为三条可测试原则：认证等价改写下的评分标准语义不变、严格到宽松阈值偏移下的阈值不变、以及歧义感知校准。在 ASSEBench 与 R-Judge 轨迹上测试四类智能体评判器发现，保持内容不变的策略改写可使最多 9.1% 的判定翻转超过基线抖动，且 18-43% 的翻转发生在无歧义案例上。
正文 · AI 翻译
摘要：LLM-as-a-Judge 流水线已成为智能体安全评估事实上的评估器，但现有基准将其裁决视为真实标签的代理，而未检查这些裁决究竟取决于智能体的行为，还是仅仅取决于评估策略恰好如何措辞。我们认为，任何可信的安全评判器都必须满足一个我们称之为策略不变性的基本属性，并将其操作化为三条可检验的原则：在经认证的等价改写下的评分标准语义不变性、在有意从严格到宽松的偏移下的评分标准阈值不变性，以及歧义感知校准，使裁决的不稳定性集中于真正存在歧义的案例。我们将这些原则实例化为一种压力测试协议，在取自 ASSEBench 和 R-Judge 的轨迹上使用四类智能体评判器，揭示出一种此前未被测量的失效模式：当今的评判器对有意义规范偏移和无意义结构改写的响应强度相当，且无法区分二者。保持内容不变的政策改写会使高达 9.1% 的裁决相对基线抖动发生翻转，且在此类改写下，所有观察到的翻转中有 18-43% 发生在无歧义案例上，因此这些评判器产生的安全分数部分地将智能体的所作所为与评估器被提示的方式混为一谈。这些发现在前沿规模评判器、第三个基准和第二个基础策略下依然成立。除诊断之外，我们还贡献了策略不变性分数和 Judge Card 报告协议，它们揭示了仅以准确率为导向的排行榜所无法看到的评判器可靠性上达一个数量级的差异。我们发布该协议和代码，以便未来的智能体安全基准能够审计自己的评估器，而不是默认信任它们：this https URL
| 评论： | 已被 NeurIPS 2026 接收（Spotlight） |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2605.06161 [cs.AI] |
| （或 arXiv:2605.06161v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06161 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shihao Weng [查看电子邮件]
[v1]
2026年5月7日星期四 12:49:09 UTC（492 KB）
[v2]
2026年11月5日星期四 02:49:25 UTC（511 KB）
来源：arXiv cs.AI · arxiv.org