arXiv cs.CL· Yitong Zhang, Shiteng Lu, Jia Li·· 11 小时前AI 评分58
研究发现语法约束解码可越狱 LLM 生成恶意代码
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
AI 导读
论文提出 CodeSpear 攻击，发现仅施加良性的代码语法约束（GCD）就能越狱 LLM 使其生成恶意代码。在 10 个主流 LLM、4 个基准上，CodeSpear 平均将攻击成功率提升 30 个百分点以上，超过代表性越狱基线。作者同时提出安全对齐方法 CodeShield，通过让模型在 GCD 下生成语义无害、结构多样的蜜罐代码来恢复安全性，并保留自然语言拒答与良性效用。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用于代码生成，这引发了人们对其可能被滥用来生成恶意代码的担忧。与此同时，语法约束解码（GCD）已被广泛采用，通过强制语法有效性来提高 LLM 生成代码的可靠性。在本文中，我们揭示了一个反直觉的风险：这种以可靠性为导向的技术本身可能成为攻击面。我们发现了一种新的越狱攻击，称为 CodeSpear，它利用 GCD 诱导 LLM 生成恶意代码。我们的实验表明，仅仅施加一个良性的代码语法约束就能有效地越狱 LLM。
为应对这一漏洞，我们提出了 CodeShield，一种安全对齐方法，即使在攻击者控制的语法约束下也能稳健地保持安全行为。CodeShield 通过在 GCD 下教导模型生成蜜罐代码，使模型在代码模态上实现对齐。此类代码在语义上无害，因此不会实现恶意请求，并且在结构上多样，因此难以通过收紧语法来抑制。同时，当自然语言可用时，CodeShield 仍保留自然语言拒绝。在 4 个基准上对 10 个流行 LLM 进行的实验表明，CodeSpear 优于代表性的越狱基线，平均将攻击成功率提高 30 个百分点以上。CodeShield 还在 CodeSpear 下恢复了安全性，同时保持了良性效用。我们的发现揭示了 GCD 的一个根本性风险，并呼吁对其潜在的安全影响给予更多关注。
| 评论： | 直接被 ICSE 2027 接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2606.11817 [cs.CR] |
| （或此版本的 arXiv:2606.11817v3 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2606.11817 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yitong Zhang [查看电子邮件]
[v1]
2026年6月10日星期三 08:50:59 UTC（458 KB）
[v2]
2026年11月3日星期二 07:43:08 UTC（776 KB）
[v3]
2026年11月4日星期三 07:42:57 UTC（776 KB）
来源：arXiv cs.CL · arxiv.org