arXiv cs.AI· Kashyap R Manjusha, Murali Emani·· 13 小时前AI 评分41
Poisoned Skills:越狱攻击可通过 Agent 的 Markdown 技能文件传播
Poisoned Skills: Propagating Jailbreaks Through Agent Markdown Files
AI 导读
研究者构建基于 LangChain 的问答 Agent,将融合人设操纵与 GPTFUZZER 攻击的越狱指令嵌入用户提供的 Markdown 技能文件,在 7 个开源权重模型和 9 类危害的 270 个违禁问题上测试,平均攻击成功率从良性系统提示下的 0.5% 升至 45%,单个模型最高达 68.9%。
正文 · AI 翻译
摘要:现代智能体框架允许用户提供包含系统提示、工具描述和技能定义的 Markdown 文件(例如 此 http URL),这些内容会在初始化时被纳入智能体的上下文。在本工作中,我们研究这种配置机制是否也能充当注入通道:嵌入在 Markdown 技能文件中的越狱内容能否通过智能体传播并诱发被禁止的行为?为回答这一问题,我们构建了一个基于 LangChain 的问答智能体,其系统提示由用户提供的 Markdown 文件组装而成。我们嵌入了一种结合人格操纵与基于 GPTFUZZER 攻击的越狱,并使用涵盖九个危害类别的 270 个禁止问题,在七个当代开放权重模型上评估其有效性。在良性系统提示下,模型表现出近乎完全的拒绝行为,平均攻击成功率(ASR)仅为 0.5%。相比之下,注入的技能文件将平均 ASR 提升至 45%,个别模型达到 68.9%。我们进一步评估了两种载荷混淆策略:基于不可见零宽字符的隐蔽载荷,以及基于字素到音素转换的语音载荷。两者均未优于纯文本注入;值得注意的是,语音变体将平均 ASR 降至 30%。这些发现表明 Markdown 技能文件是 AI 智能体一个尚未被充分探索的攻击面,并表明对基于配置的越狱的脆弱性更多取决于底层模型,而非具体的载荷混淆技术。
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2610.37738 [cs.CR] |
| (或 arXiv:2610.37738v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.37738 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Murali Emani [查看电子邮件]
[v1]
2026年10月27日星期二 15:29:41 UTC(32 KB)
来源:arXiv cs.AI · arxiv.org