arXiv cs.AI· Haitong Jiang, Chunlin Liu, Sihan Tang, Chan Wu, Xiaoqing Su, Yuhong Feng·· 9 天前AI 评分30
相同结果，不同证据：LLM 安全评估中的意图恢复
Same Outcome, Different Evidence: Intent Recovery in LLM Safety Evaluation
AI 导读
针对 LLM 安全评估仅用攻击成功率（ASR）概括有害输出行为的问题，研究者提出将 ASR 与操作理解率（UR）配对使用，以区分模型是识别并拒绝了有害任务、未能识别任务，还是答非所问。跨接口实验显示，相近的 ASR 可能对应差异巨大的任务恢复率；在 FormalLogic 上高恢复率仍可能伴随频繁的有害协助。
正文 · AI 翻译
摘要：大语言模型的安全性评估通常用攻击成功率（ASR）来概括有害输出行为。然而，同样的非有害结果可能出于截然不同的原因。模型可能识别出有害任务并拒绝它，可能未能识别出该任务，也可能完全在回应别的内容。在意图模糊的提示下，区分这些情况变得尤为重要，因为低 ASR 并不能揭示被评估的任务是否真正被触及。为明确这一区分，我们将 ASR 与有效理解率（UR）配对使用，后者衡量一个回应是否既识别出被评估的任务，又将其视为需要回答的任务。跨多种接口，这种配对视角揭示了被 ASR 掩盖的显著差异：相似的 ASR 值可能对应截然不同的识别率。受控的英文重构表明，随着压缩提示变得更明确，识别率持续提升，而 ASR 并不遵循同样的模式。一个互补的对比来自 FormalLogic，其中高识别率仍可能伴随频繁的有害协助。总之，这些结果表明，非有害结果对模型安全性的信息量并不相同，因此有必要在 LLM 安全性评估中联合报告意图识别与 ASR。代码和实验输入可在 此 https URL 获取。
| 评论： | 12 页，2 幅图。代码和实验输入：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11766 [cs.CL] |
| （或 arXiv:2610.11766v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11766 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haitong Jiang [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 11:50:32 UTC（302 KB）
来源：arXiv cs.AI · arxiv.org