智能体安全基准的有效性审计：安全还是能力？

查看 PDF HTML（实验性）

摘要：智能体安全基准测试衡量的是不同行为，而它们的分数却被不加区分地当作智能体的安全性来引用。我们将其中四个基准（R-Judge、InjecAgent、AgentHarm、AgentDojo）视为有待验证的测量工具，在各自的官方实现和作者提供的评分器下运行，覆盖多达 22 个模型，并由我们在同一协议下测量 MMLU 和 GPQA，作为能力综合指标。度量指标是首要问题。在任何由 $F_1$ 评分的二元轨迹判断基准上，“始终判为正”的策略可达到 $F_1 = 2\pi/(1+\pi)$；在 R-Judge 上该值为 $0.690$，高于 21 个真正具备区分能力的模型中的五个。随后，三个广覆盖基准对同样的 18 个模型给出了不同的排名，而这种分歧背后的权衡是小样本面板造成的假象：R-Judge 特异性与 AgentHarm 安全性在 $n{=}7$ 时相关系数为 $-0.64$，在 $n{=}18$ 时为 $+0.02$，且在该接近零的值附近，随机抽取的规模为 7 的子集中有四分之一达到 $|\rho| \geq 0.5$。留出效度取决于你选择哪个结果。能力可预测任务成功（$\rho{=}{+}0.60$），但与失准安全性呈负相关（$\rho{=}{-}0.44$，$n{=}21$）。在配对的 $n{=}20$ 面板上，相应的对比为 $\Delta{=}{-}1.00$（95% CI $[-1.48, -0.49]$，$p<0.001$），且该结果在留一组织法和按组织聚类的自助法分析下依然成立。在扩展的 41 模型面板上，失准相关性减弱至 $-0.16$（95% CI $[-0.54, +0.22]$），越狱相关性增强至 $+0.34$，不过两项变化均不显著。\mbox{AgentHarm} 表现出最强的留出关联，在控制能力后与三模板越狱安全性的相关系数为 $\rho{=}{+}0.72$。但两种工具衡量的都是有害顺从，因此这是收敛效度的证据，而非一般安全性的证据。指明基准、度量指标、目标行为和模型面板，是一项安全声明所需的最低要求。

主题：	人工智能（cs.AI）；信息检索（cs.IR）
引用为：	arXiv:2607.28685 [cs.AI]
	（或 arXiv:2607.28685v2 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2607.28685 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Yuan Tang [查看邮箱]
[v1] 2026年7月30日星期四 03:45:10 UTC（380 KB）
[v2] 2026年11月4日星期三 05:29:26 UTC（378 KB）