arXiv cs.AI· Wenbin Chen, Jiexin Wang, Guanting Wu, Jiaxi Liang, Yi Cai·· 3 天前AI 评分32
SpecCloak：用工程规格模板探测 LLM 有害代码生成
SpecCloak: Probing Harmful Code Generation through Engineering Specifications
AI 导读
研究者提出 PseudoSpec 模板，将功能需求组织为工程规格，发现规格化提示词能大幅降低五个开源权重模型对恶意代码生成的拒绝率，即使保留风险关键词。基于此构建的黑盒红队框架 SpecCloak 在 RedCode-Gen 上对八个目标模型实现平均 28.91% 的执行验证攻击成功率，防御原型 SpecReveal 在提示检测评估中达到 96.88% 的攻击检测率。
正文 · AI 翻译
摘要：大型语言模型（LLM）的代码生成能力同样可能被滥用来实现有害功能，这凸显了理解其在响应编程请求时的安全行为的必要性。虽然已知请求的措辞会影响拒绝行为，但陈述编码任务需求的形式是否会影响恶意代码生成的拒绝过程，目前仍不清楚。我们引入 PseudoSpec，一种将功能需求组织为工程规范的模板，并通过受控比较、表征分析和激活干预来研究其效果。在五个开放权重模型上，仅移除显式风险关键词只能部分减少拒绝，而规范式提示即使保留这些关键词也能大幅降低拒绝。这种降低伴随着向代码输出相关表征的一致转变，而沿条件差异方向的干预会改变拒绝行为。输出分析进一步将代码相关响应与生成退化区分开来。基于这些发现，我们提出 SpecCloak，一个结合 PseudoSpec 与判别器引导优化的黑盒红队测试框架，在 RedCode-Gen 上对八个目标模型实现了平均 28.91\% 的执行验证攻击成功率。我们还引入 SpecReveal，一个结合自然语言意图重建与双视图检测的防御原型，无需对目标模型进行微调。在单独的提示检测评估中，它实现了 96.88\% 的攻击检测率，并在良性编程和规范式输入上评估了误报。这些结果将规范引发的响应差异与实际安全后果联系起来，并确定意图重建是一种互补的检测方法。
| 评论： | 9 页，7 幅图 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17907 [cs.SE] |
| （或 arXiv:2610.17907v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17907 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wenbin Chen [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 07:59:02 UTC（6,850 KB）
来源：arXiv cs.AI · arxiv.org