arXiv cs.AI· Yuwei Wang, Xingwang Liang, Yu Xie, Haotian Chi, Haijun Geng·· 11 小时前AI 评分34
RiskCueBench：大语言模型安全行为在意图可恢复后仍会失准
Recoverability-Controlled Safety Miscalibration in Large Language Models
AI 导读
研究者提出 RiskCueBench，一个可恢复性控制基准，用 160 个潜在意图和 640 条抽象非操作性表面提示词，把意图理解与响应层安全行为分开评估。在两种表面形式均可恢复的配对条件下，上下文具体化程度提高会使拒绝率下降 0.175、全局安全得分下降 0.440，不安全配合上升 0.107。结果表明即使意图已被恢复，模型安全行为仍会随表面形式失准。
正文 · AI 翻译
摘要：安全对齐的语言模型应当拒绝有害请求，同时对良性请求保持有用。然而，由于许多评估只对最终回复打分，它们常常将意图理解与回复层面的安全行为混为一谈。为解决这一问题，我们提出了 RiskCueBench，这是一个可恢复性受控的基准，通过先测量模型能否成功恢复高层意图，再在同一提示上评估其安全行为，从而将这两个阶段区分开来。RiskCueBench 包含 8 个风险类别下的 160 个潜在意图和 640 个抽象、非操作性的表层提示。该基准涵盖 25 个已完成的模型组和 32,000 条成功模型输出，并附有最终经评分标准裁定的标签。在以两种表层形式均可恢复的配对为条件时，我们发现，情境化具体性的提高会诱发向更不安全行为的转变。具体而言，配对自助法估计显示，拒绝率和全局安全分数分别下降 0.175 和 0.440。此外，混合效应模型证实不安全合作增加了 0.107。这些结果表明，即使在意图已被恢复之后，安全行为仍可能相对于表层形式出现失准，这促使安全评估应报告以语义可恢复性为条件的回复行为。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22425 [cs.CR] |
| （或 arXiv:2610.22425v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22425 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuwei Wang [查看电子邮件]
[v1]
2026年10月15日 星期四 05:02:39 UTC（908 KB）
来源：arXiv cs.AI · arxiv.org