arXiv cs.AI· Haoyu Liu, Dingcheng Li, Lukas Rutishauser, Zeyu Zheng·· 10 天前AI 评分24
DMAST：双模态多阶段对抗安全训练让多模态 Web Agent 抵御跨模态攻击
Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks
AI 导读
针对多模态 Web Agent 双流架构易被 DOM 注入同时污染截图与无障碍树的问题，研究者提出双模态多阶段对抗安全训练框架 DMAST，将 Agent 与攻击者建模为双人一般和马尔可夫博弈并三阶段协同训练。
正文 · AI 翻译
摘要：同时处理截图和无障碍树的多模态网络智能体正越来越多地被部署用于与网页界面交互，然而其双流架构暴露了一个尚未被充分探索的攻击面：向网页 DOM 注入内容的对手会同时以一致的欺骗性叙事污染两个观察通道。我们在 MiniWob++ 上的漏洞分析表明，包含视觉成分的攻击效果远超纯文本注入，暴露出以文本为中心的 VLM 安全训练中的关键缺口。受此发现启发，我们提出了双模态多阶段对抗安全训练（DMAST），该框架将智能体-攻击者交互形式化为双人一般和马尔可夫博弈，并通过三阶段流水线共同训练双方：（1）从强教师模型进行模仿学习，（2）使用新颖的零确认策略的 oracle 引导监督微调，以在对抗噪声下灌输任务聚焦推理，（3）通过组相对策略优化（GRPO）自博弈进行对抗强化学习。在分布外任务上，DMAST 将攻击成功率几乎减半（41.2\%$\rightarrow$21.4\%），同时将任务完成率相对提升超过 60\%（6.2\%$\rightarrow$10.2\%）。我们的方法优于既有的基于训练的防御，并与基于提示的防御互补，展示了真正的共同进化进展以及对复杂、未见环境的稳健泛化。代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.04364 [cs.LG] |
| （或 arXiv:2603.04364v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.04364 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoyu Liu [查看电子邮件]
[v1]
2026年3月4日星期三 18:29:54 UTC（954 KB）
[v2]
2026年10月5日星期一 23:01:49 UTC（914 KB）
来源：arXiv cs.AI · arxiv.org