arXiv cs.CY· Yen-Shan Chen, Zhi Rui Tam, Cheng-Kuang Wu, Yun-Nung Chen·· 10 小时前AI 评分58
Expected Harm：重新审视对齐与失准 LLM 的安全评测
Expected Harm: Rethinking Safety Evaluation of (Mis)Aligned LLMs
AI 导读
论文提出 Expected Harm 指标，按执行可能性对越狱危害的严重程度加权，指出当前基于严重程度分类的安全评测把模型输出等同于实际危害。对前沿模型的实证分析发现系统性的逆风险校准：模型对低可能性高成本威胁拒绝更强，却对高可能性低成本查询保持脆弱。
正文 · AI 翻译
摘要：当前对 LLM 安全性的评估主要依赖基于严重程度的分级体系，来评估模型对恶意查询的响应所造成的危害。我们认为这一表述需要重新审视，因为它隐含地将模型输出等同于已实现的危害，而忽略了执行可能性——即在给定模型响应的情况下，现实世界中的行为者实际实现某一威胁的条件概率。在本工作中，我们引入了期望危害（Expected Harm）这一指标，它根据执行可能性对越狱的严重程度进行加权，而执行可能性被建模为执行成本的函数。通过对最先进模型的实证分析，我们揭示了一种系统性的逆向风险校准：模型对低可能性（高成本）威胁表现出不成比例的更强拒绝行为，而对高可能性（低成本）查询仍然脆弱。在机制层面，我们首先使用线性探测进行分析，揭示出虽然拒绝机制按严重程度对查询进行线性分离，但它们并未将执行可能性用作拒绝的指标。然后，我们使用 Olmo-3 的开源分阶段检查点，将校准错误的根本原因追溯到监督微调（SFT）训练数据分布（82.8% 的安全示例处于成本水平 0-1），并表明从 SFT 阶段起成本表示就很弱。最后，我们证明这种校准错误造成了一个漏洞：通过利用这一特性，我们将现有越狱的攻击成功率提高了最多 $2\times$。
| 评论： | 被 NeurIPS 2026 Evaluations & Dataset Track 接收（spotlight 论文） |
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.01600 [cs.CR] |
| （或本版本使用 arXiv:2602.01600v2 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2602.01600 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yen-Shan Chen [查看邮箱]
[v1]
2026年2月2日星期一 03:48:04 UTC（440 KB）
[v2]
2026年10月30日星期五 03:20:06 UTC（375 KB）
来源：arXiv cs.CY · arxiv.org