arXiv cs.AI· Pingyu Wu, Weiming Zhang, Nenghai Yu·· 4 小时前AI 评分58
论文指出 LLM 滥用防护依赖不可信输入,129 篇论文防御方案均存在该漏洞
LLM Misuse Safeguards Rely on Untrusted Input: A Widespread, High-Risk Vulnerability
AI 导读
arXiv 论文指出,LLM 滥用防护机制依据用户自述的职业身份或用途来判断是否给出回答,而任何人都能编造这类声明,攻击者已借此造成实际危害。作者统计最新一届 12 个顶会共 129 篇论文提出的防御方案,发现全部存在这一漏洞,现有防护基准也无法暴露该问题。论文认为漏洞根源在于用户输入本身,并提出一种补丁方案,使模型在帮助专业人士的同时不向冒充者输出危险能力。
正文 · AI 翻译
摘要:大型语言模型如今为网络安全和生物学等领域的专业人士提供帮助,但同样的回答也会帮助攻击者。部署方依赖滥用防护措施来阻止此类回答落入攻击者之手。我们发现这些防护措施存在一个高风险漏洞:它们根据用户所写的内容(包括其声称的专业身份或目的)来决定是否给出回答,而任何人都可以写出这样的声称。来自模型供应商和安全公司的威胁报告显示,伪造专业身份或目的的攻击者已经在利用这一漏洞造成严重危害。该漏洞在当前最先进的研究中也普遍存在:来自 12 个顶级会议最新版本的 129 篇论文中提出的每一种防御措施都存在该漏洞。防护研究关注的对象有误:它把危害视为请求文本的一种属性,而同样的文本可能来自专业人士,也可能来自攻击者。因此,当前的防护基准无法揭示该漏洞:一项防护措施可以在这些基准上获得高分,却仍然向攻击者给出危险回答。由于漏洞存在于用户所写的内容之中,无论防护措施如何改进对该内容的判断,都无法将其消除。在我们提出的补丁下,大型语言模型可以帮助专业人士,而不会向任何仅仅自称是专业人士的人提供危险能力。
| 评论: | 13 页,4 张表。本工作已提交至 IEEE 以供可能的发表。版权可能在不另行通知的情况下转移,此后本版本可能不再可访问 |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2607.27951 [cs.CR] |
| (或本版本的 arXiv:2607.27951v2 [cs.CR]) | |
| https://doi.org/10.48550/arXiv.2607.27951 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Pingyu Wu [查看邮箱]
[v1]
2026 年 7 月 30 日星期四 09:59:08 UTC(249 KB)
[v2]
2026 年 11 月 17 日星期二 16:34:38 UTC(124 KB)
来源:arXiv cs.AI · arxiv.org