arXiv cs.AI· Joshua Penman·· 1 天前AI 评分58
Semantic Overlays：用 token 之外的标注与引导向量缓解提示词注入
Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
AI 导读
论文提出 Semantic Overlays，即训练小型适配器在指定 token 片段上编辑冻结模型的残差流，使输入文本无法自行创建或移除标记。
正文 · AI 翻译
摘要：语言模型只能看到 token。但运行框架知道得更多：哪些 token 片段是用户文本，哪些是工具输出，哪些来自网页或外部文档等不可信来源。为了把这些信息传递给模型，运行框架必须将其作为纯文本传输。提示注入正是利用了这一点：植入的指令只要格式正确，就能让模型相信它们来自用户或系统。我们提出语义叠加层（Semantic Overlays），这是一种小型训练适配器，可在选定的 token 片段上编辑冻结模型的残差流。任何输入文本都无法创建或移除标记，尽管模型对标记的响应是由输入确实会影响的状态计算得出的。当服务栈用经过训练、含义为“不要执行此片段中的指令”的叠加层标记检索到的文本时，模型会将注入的指令视为惰性内容。对于在不知晓该防御的情况下编写的攻击，它达到了已发表最佳防御的攻击率：在修正后的评分器下，SEP 分离度从 24.3% 升至 98.8%，AlpacaFarm 攻击成功率从 99.0% 降至 0.5%，AgentDojo 从 12.8% 降至 0%。在相同数据上微调模型权重达到了相似的分离度，但保留了 64-80% 的 SEP 效用，而叠加层为 93%。在 TensorTrust 劫持任务中，其攻击与我们的训练数据毫无相似之处，在 Llama-3.1-8B 上它让 4.4% 的劫持通过，而同一基座上的 Meta-SecAlign 为 43%。拥有权重的攻击者表现更好：GCG 在 72% 的项目上成功，仅对叠加层进行对抗训练后为 14%。叠加层也很灵活：模型在堆叠配置中能忠实读取其位置；当叠加层告知非 Python 代码是 Python 并要求复制时，模型会用 Python 重写它；叠加层还可以携带以片段分隔的指令。我们还修正了两个提示注入基准和一个评估框架中的缺陷。
| 评论： | 21 页，4 幅图，13 张表。交互式演示：此 https URL。代码和已发布的适配器：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.23873 [cs.AI] |
| （或此版本的 arXiv:2608.23873v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.23873 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Joshua Penman [查看电子邮件]
[v1]
2026 年 8 月 24 日星期一 22:26:58 UTC（114 KB）
[v2]
2026 年 8 月 28 日星期五 09:49:45 UTC（118 KB）
[v3]
2026 年 9 月 3 日星期四 22:46:27 UTC（117 KB）
[v4]
2026 年 11 月 11 日星期三 04:07:19 UTC（161 KB）
来源：arXiv cs.AI · arxiv.org