arXiv cs.AI· Basel Shbita, Michael Hind, Chad DeLuca, Nathan Fulton, Shubhi Asthana, Farhan Ahmed, Anisa Halimi, Yada Zhu, Mauro Martino, David Cox, Dan Gutfreund·· 13 天前AI 评分58
用 LLMON 结构化后训练大语言模型，间接提示注入攻击成功率降至 0.02%-5.6%
Post-Training Large Language Models with LLMON
AI 导读
研究团队提出基于 LLMON（LLM Object Notation）的后训练方法，将可执行指令与被动数据分离，并要求基于显式标识符执行。
正文 · AI 翻译
作者：Basel Shbita、Michael Hind、Chad DeLuca、Nathan Fulton、Shubhi Asthana、Farhan Ahmed、Anisa Halimi、Yada Zhu、Mauro Martino、David Cox、Dan Gutfreund
摘要：大型语言模型（LLM）对所有上下文 token 一视同仁，缺乏可执行指令与被动数据之间的明确区分。这导致提示注入漏洞、指令绑定歧义以及执行控制不可靠。我们提出一种基于 LLMON（LLM Object Notation）的后训练方法，该框架能够将指令与数据分离，并要求基于标识符的显式执行。我们构建了一个大规模结构化训练语料库，包含 46 亿 token，涵盖通用、RAG（检索增强生成）和工具调用数据，并加入了混入干扰项的变体，其中竞争性指令和无关数据段存在于上下文中但未被引用。通过对两个 Granite-4.1 基础模型（3B 和 8B）进行监督微调后再进行强化学习的后训练，我们表明 LLMON 结构化监督将间接提示注入基准上的攻击成功率从 53-100% 降至 0.02-5.6%，同时保持通用能力。我们进一步引入基于注意力的可解释性指标，用于诊断结构化输入在单个 transformer 层上的失效模式，揭示我们的方法如何重塑内部注意力模式。我们的结果表明，无需修改架构，即可通过标准后训练教会模型显式执行语义。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.38120 [cs.AI] |
| （或 arXiv:2610.38120v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38120 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Basel Shbita [查看邮箱]
[v1]
2026年10月28日 星期三 00:56:01 UTC（353 KB）
来源：arXiv cs.AI · arxiv.org