跳到正文
arXiv cs.AI· Pingyu Wu, Weiming Zhang, Nenghai Yu·· 4 小时前AI 评分52

论文质疑 LLM 防护评测:拦截成功是否等于系统更安全

The Safeguard Worked. Is the LLM System Safer?

AI 导读

Pingyu Wu 等人在论文中提出一个框架,把已发表的防护评测结果换算成在特定结果与威胁模型下仍可能残留的最小和最大有害协助量。作者分析了 52 篇论文中的 85 项防护评测,其中只有 5 项论证了所有攻击路径都经过检查点,4 项提供了拦截后残留内容的证据。在 NeMo Guardrails 默认流式配置的测试中,检查点拦截了 94% 的密码泄露,但无论是否拦截,客户端都收到了密码。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型服务的防护措施通常通过其在测试集上的攻击拦截率来评估。部署决策还取决于攻击者仍能从系统中获得多少有害协助,而这些比率并未衡量这一点。为了确定已发表的评估对部署安全性究竟能说明什么,我们开发了一个框架,将报告的结果转化为在指定结果和威胁模型下可能残留的最小和最大有害协助。对于通过检查来拦截攻击的防护措施,我们表明攻击者最多能获得多少取决于三个属性:攻击路径是否经过该检查、该检查对威胁模型中每个攻击者的漏检率,以及拦截后仍残留多少协助。我们将该框架应用于来自 52 篇论文的 85 项防护评估。其中,只有五项论证了每条攻击路径都经过该检查,四项提供了关于拦截后残留内容的证据。这些证据缺口具有实际后果:在 NeMo Guardrails 的默认流式配置中,该检查在我们的测试中拦截了 94% 的密码泄露,然而无论是否被拦截,客户端在每次泄露中都收到了密码。我们指出了每一类防护措施的评估遗漏了这三个属性中的哪些,以及针对攻击绕过检查的四种方式各自需要测量什么。要求在发布前进行这些测量的部署,可以选择并配置防护措施,以限制攻击者从已部署系统中获得的内容。
主题: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2609.00519 [cs.CR]
  (或 arXiv:2609.00519v2 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.00519

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Pingyu Wu [查看电子邮件]
[v1] 2026年9月1日星期二 00:38:35 UTC(161 KB)
[v2] 2026年11月17日星期二 14:26:46 UTC(101 KB)

来源:arXiv cs.AI · arxiv.org