arXiv cs.AI· Srinivasan Subramanian, Kazi Aminul Islam, Md. Abdullah Al Hafiz Khan·· 3 天前AI 评分26
超越不安全检测：面向多轮 LLM 安全失败的反事实锚定证据归因
Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures
AI 导读
研究提出 MTAG-Bench 多轮护栏归因数据集（含 4,167 段对话）与 MTAG-Probe 分层归因模型，可定位推动对话走向不安全的轮次级与片段级证据。
正文 · AI 翻译
摘要：随着大型语言模型（LLM）从对话助手转向高级智能体系统，护栏失效可能将对抗性意图转化为有害执行。然而，大多数评估框架只关注用户请求是否不安全。这对于多轮失效来说是不够的，因为对抗性意图可能分布在多个轮次中，并且仅从累积的上下文中才显现出来。这促使我们超越检测，去定位将对话推向不安全轨迹的证据。我们提出了 MTAG-Bench，一个具有行为验证和反事实监督的多轮护栏归因数据集，包含 4,167 段对话。我们还提出了 MTAG-Probe，一个用于轮次级和片段级证据定位并具备对话级安全检测的分层归因模型。MTAG-Probe 在轮次级 F1 上分别比生成不安全响应的模型的自归因和 LLM 安全评判归因提高了 28.1 和 24.1 个百分点（相对提升 79.0% 和 61.0%）。在每段对话用户词数 15% 和 20% 的预算内移除 MTAG-Probe 排名最高的证据，分别使 Llama Guard 在 Geometry 上的决策有 50.6% 和 60.8% 从不安全变为安全。在完整轨迹回放中，MTAG-Probe 将 84.3% 符合条件的不安全最终响应转化为安全。这些结果表明，MTAG-Probe 可以提供证据级解释，作为安全检测的实用补充。
| 评论： | 21 页，3 幅图，22 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.27773 [cs.CL] |
| （或 arXiv:2609.27773v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.27773 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Srinivasan Subramanian [查看电子邮件]
[v1]
2026 年 8 月 17 日星期一 00:37:56 UTC（6,510 KB）
[v2]
2026 年 10 月 13 日星期二 01:10:52 UTC（571 KB）
来源：arXiv cs.AI · arxiv.org