arXiv cs.AI· Ezra Edelman, Benjamin Edelman, Surbhi Goel, Eran Malach·· 13 小时前AI 评分39
如何理解并缓解 LLM 中的角色伪造攻击
Understanding and Mitigating Role Spoofing in LLMs
AI 导读
研究揭示 LLM 会依据内容风格而非标注角色判断文本来源，攻击者可利用工具输出中的恶意文本冒充用户，即“角色伪造”。模型对同时伪造结构与内容的攻击高度脆弱；对抗训练能缓解基于内容的注入，却仍留下基于结构攻击的缺口。作者提出用线性探针预测对话角色来检测角色伪造，在多种设置下有效。
正文 · AI 翻译
摘要：尽管能力不断增强，LLM 仍然容易受到提示注入的影响：恶意输入可以操纵或劫持模型。特别是，最近观察到 LLM 可能表现出角色混淆（Ye et al., 2026），即模型根据文本的风格而非其标注的角色来推断文本的来源。工具输出中的恶意文本（例如，智能体访问的恶意网页）可以利用角色混淆来冒充用户，我们将这种攻击称为角色欺骗。在这项工作中，我们试图理解并缓解角色欺骗。我们研究了模型如何在对话中追踪“谁说了什么”，表明它们同时利用内容线索（例如语义和写作风格）和结构线索（例如控制标记和格式）。我们表明，LLM 极易受到同时结合虚假结构和内容的角色欺骗攻击。此外，在一个玩具设置中，我们表明，教导模型忽略基于内容的注入的对抗训练确实能缓解基于内容的攻击，但会使模型仍然容易受到基于结构的攻击。这可以解释为什么前沿模型虽然对许多注入攻击的抵抗力增强，却仍然容易受到角色欺骗的影响。最后，我们提出了一种使用线性探针来检测角色欺骗的新方法，该探针经过训练以预测对话中的角色，并表明它在不同设置下都有效。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40396 [cs.CR] |
| （或 arXiv:2610.40396v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40396 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ezra Edelman [查看电子邮件]
[v1]
2026年10月29日星期四 16:33:08 UTC（2,924 KB）
来源：arXiv cs.AI · arxiv.org