arXiv cs.AI· Luman Zhao, Minghui Xu, Yue Zhang, Yijun Yang·· 9 天前AI 评分27
LTBD：用于提示词注入防御的可学习信任边界分隔符
LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense
AI 导读
研究者提出可学习信任边界分隔符（LTBD），通过少量可学习分隔符在输入中显式编码信任边界，区分可信用户指令与不可信外部数据，且不改变 LLM 参数。在 AlpacaFarm 上 ASR 为 0.00%，在 TaskTracker 上仅 0.11-0.19%，并在攻击者完全了解防御的自适应攻击下仍然有效，推理开销可忽略。
正文 · AI 翻译
摘要：大型语言模型（LLM）在复杂任务上表现极为出色，却仍然极易受到提示注入攻击的影响，即嵌入在外部数据中的恶意指令可以覆盖用户意图。现有防御手段仍受限于模型微调需求、对自适应攻击的脆弱性，或对脆弱的手工提示的依赖。我们认为，这一脆弱性的一个根本原因是缺乏对信任来源的显式表示。为解决这一问题，我们提出了可学习信任边界分隔符（LTBD），这是一种轻量级防御方法，在输入中显式编码信任边界，同时保持 LLM 参数不变。LTBD 使用少量可学习的分隔符来区分可信的用户指令与不可信的外部数据，使模型能够更好地遵循预期的信任层级。实验结果表明，LTBD 大幅优于推理时防御，并与基于训练的方法表现相当，同时保持良性任务效用，且引入的推理开销可忽略不计。具体而言，LTBD 在 AlpacaFarm 上实现了 0.00% 的 ASR，在 TaskTracker 上仅为 0.11-0.19% 的 ASR。在自适应攻击下，即攻击者完全了解该防御并明确试图绕过它时，LTBD 仍然有效。
| 评论： | 5 页，3 个表格，1 张图 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11634 [cs.CR] |
| （或 arXiv:2610.11634v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11634 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Luman Zhao [查看电子邮件]
[v1]
2026年10月8日星期四 10:13:24 UTC（210 KB）
来源：arXiv cs.AI · arxiv.org