arXiv cs.AI· Junlong Liu, Haobo Wang, Weiqi Luo, Xiaojun Jia·· 10 小时前AI 评分38
绕过提示词防线：SMT 利用模拟审核轨迹越狱函数调用 LLM
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
AI 导读
研究者提出黑盒攻击框架 SMT，通过构造模拟合法审核流程的多轮轨迹，把安全拒答当作执行失败来迭代优化，从而越狱函数调用类 LLM。在五家厂商的商业 LLM 和两个标准化安全基准上，SMT 以接近最少的查询次数取得最高平均攻击成功率和 HarmScore，显著优于现有基线。该工作指出仅靠提示词层面的清洗无法防御工具调用系统，需要在 schema、参数、工具输出和对话状态上做上下文感知校验。
正文 · AI 翻译
摘要：越狱攻击仍然是大型语言模型（LLM）安全部署面临的关键威胁。以往工作主要在提示词层面研究攻击与防御，而我们表明，这种以提示词为中心的范式忽视了有状态、函数调用环境中的结构性漏洞。在此类应用中，开发者定义的 schema、结构化参数和不可信的工具输出被交织进单一的共享模型上下文。这种架构通过模糊可信控制逻辑与不可信数据之间的边界扩大了攻击面，使对抗意图能够分布在多轮执行路径中。我们通过 SMT——一个基于模拟审核轨迹（Simulated Moderation Traces）的黑盒攻击框架——利用了这一架构缺陷。SMT 不再局限于纯粹基于提示词的交互，而是构建一条模拟合法审核审计工作流的多轮轨迹。在该轨迹中，一个虚构的审核框架以红队测试为借口诱导有害生成。随后的验证反馈将安全拒绝视为执行失败，促使模型进行改进，从而逐步削弱其安全约束并最终触发有害输出。在来自五个不同提供商的知名商用 LLM 上、跨两个标准化安全基准进行的大量实证评估表明，SMT 始终取得最高的平均攻击成功率和 HarmScore，同时所需查询次数接近最少，显著优于现有基线。这些发现表明，仅靠提示词层面的净化从根本上不足以防御支持工具的 LLM 系统，并凸显了跨 schema、参数、工具输出和累积对话状态进行上下文感知验证的迫切需求。代码可在 此 https URL 获取。
| 评论： | 已被 2027 IEEE 安全与隐私研讨会（S&P）接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.00481 [cs.CR] |
| （或此版本的 arXiv:2607.00481v2 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2607.00481 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haobo Wang [查看邮箱]
[v1]
2026年7月1日 星期三 06:08:07 UTC（1,150 KB）
[v2]
2026年11月4日 星期三 05:40:42 UTC（1,639 KB）
来源：arXiv cs.AI · arxiv.org