arXiv cs.CL· Mohamed Dhouib, Clement Elliker, Alexi Canesse, Ma\"el Jenny, Lucas-Andrei Thil, Mahammed El Sharkawy, Sonia Vanier, Elie Bursztein·· 10 天前AI 评分33
RAISED：用自蒸馏提升 LLM 智能体对提示注入的鲁棒性
RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents
AI 导读
RAISED 是一个结合自生成与自蒸馏的训练框架，让模型自行生成工具使用场景，并通过自蒸馏使学生模型在干净与注入轨迹上都对齐教师模型的干净上下文行为。该方法大幅降低工具响应中提示注入的攻击成功率，且不同于以往基于训练的防御，在智能体与通用基准上均保持原有能力。研究还指出这类防御会导致输出分布漂移，并在良性工具任务中出现模型拒绝执行工具输出所指示步骤的失效模式。
正文 · AI 翻译
摘要：使用工具的语言模型智能体容易受到间接提示注入攻击，因为它们必须对不受信任的外部内容采取行动。现有的训练时防御可以降低攻击成功率，但往往以牺牲通用能力为代价。我们表明，基于训练的防御会导致模型输出分布发生显著漂移，即使在良性环境中也会改变其行为，并提供了一种潜在的效用退化机制。我们进一步识别出这些防御的一种失效模式：在良性工具使用任务中，模型会避免执行完成授权任务所需的某个步骤，尤其是当该步骤由工具输出指示时。为解决这些局限，我们提出了 RAISED（通过自蒸馏实现鲁棒攻击不变性），这是一个结合自生成与自蒸馏的训练框架。模型首先生成自己的工具使用场景，重点强调任务完成需要依据工具输出中的合法指导采取行动的情况。然后，通过自蒸馏，学生模型被训练为在同一条轨迹的干净变体和注入变体上都匹配教师模型的干净上下文行为。RAISED 大幅降低了工具响应中提示注入的攻击成功率，同时与先前基于训练的防御不同，在智能体基准和通用基准上都保持了效用。
| 学科： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.06401 [cs.CR] |
| （或 arXiv:2610.06401v2 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.06401 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Alexi Canesse [查看电子邮件]
[v1]
2026年10月5日星期一 14:21:30 UTC（132 KB）
[v2]
2026年10月7日星期三 12:59:03 UTC（132 KB）
来源：arXiv cs.CL · arxiv.org