arXiv cs.AI· Haoyang Liu, Yinong Xu, Zhe Lang, Zhenyu Guan, Qianyun Zhang·· 10 小时前AI 评分41
从文本到像素的转换能挡住什么?图像渲染文档中针对提示词注入的条件性防护
What Survives the Shift from Text to Pixels? Conditional Protection against Prompt Injection in Image-Rendered Documents
AI 导读
将不可信内容渲染为页面图像可降低间接提示词注入攻击成功率,但 Qwen3-VL-8B 对图像承载的答案替换操作执行率仍达 77.96%。研究对比 191 个英文问答源的文本与图像版本、覆盖六个模型,发现防护效果取决于目标操作类型、渲染设置、措辞与重复次数,且模型常能转录并识别图像中的指令却不执行。
正文 · AI 翻译
摘要:多模态语言模型越来越多地基于外部文档回答问题,这使它们暴露于间接提示注入:植入不可信内容中的命令会劫持回答。将不可信内容渲染为页面图像平均可降低攻击成功率,但仍未明确哪些注入操作能在渲染后存活、代价是多少,以及失败的图像攻击究竟是因为命令未被读取,还是命令被读取但未被遵循。我们将 191 个英文问答来源的文本版本与页面图像版本配对,在六个模型上测量标记追加、答案格式化和答案替换,同时测量干净问答的效用。渲染降低了所有模型的追加和格式化执行率,但 Qwen3-VL-8B 对图像承载的替换操作执行率仍达 77.96\%。防护效果还取决于目标类型、渲染设置、措辞和重复次数;在八个固定攻击候选上进行搜索,基本弥合了 Qwen 和 Gemini 在追加与格式化上的图像差距,但 GPT-5-nano 除外。原始问题上的效用比在 93.31\% 到 101.61\% 之间,但当答案需要结合两个证据片段时,Qwen 降至 61.99\%。不可读性无法解释所有失败攻击:模型常常转录并识别出图像承载的命令却不执行,而受信任的用户授权会提高在未改动页面上的执行率。在 Qwen 内部,对早期攻击区域状态进行修补可诱发全部三种操作,在图像中效果较弱。注意力阻断解释了原因:文本命令通过其自身位置起作用,而视觉编码会将图像命令及其目标分散到指令页面上。因此,渲染提供的是有条件的防护,这促使评估在报告效用之外,还应按模型、操作和攻击预算报告安全性。
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24231 [cs.CR] |
| (或 arXiv:2611.24231v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24231 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Haoyang Liu [查看邮箱]
[v1]
2026年11月18日星期三 11:08:07 UTC(790 KB)
来源:arXiv cs.AI · arxiv.org