arXiv cs.AI· Xuanyu Lu, Fengqing Jiang, Kaiyuan Zheng, Yichen Feng, Yaorui Ding, Yuetai Li, Zhen Xiang, Bhaskar Ramasubramanian, Basel Alomair, Luyao Niu, Radha Poovendran·· 10 天前AI 评分29
TAPDreamer：面向世界动作模型的可迁移对抗补丁
TAPDreamer: Transferable Adversarial Patches for World Action Models
AI 导读
TAPDreamer 是一种针对世界动作模型的可迁移对抗补丁攻击，仅用公开编码器构造固定局部扰动，无需查询目标策略即可跨任务和动作架构迁移。
正文 · AI 翻译
作者：Xuanyu Lu、Fengqing Jiang、Kaiyuan Zheng、Yichen Feng、Yaorui Ding、Yuetai Li、Zhen Xiang、Bhaskar Ramasubramanian、Basel Alomair、Luyao Niu、Radha Poovendran
摘要：世界模型学习预测其环境将如何演变，使其成为通用机器人控制的重要基础。然而，世界动作模型依赖摄像头输入，对这些输入的操作可能破坏跨任务和动作策略中使用的视觉表示。现有的针对这些模型的攻击针对受害者的动作或预测的未来进行优化，因此需要访问目标模型的输出。在本文中，我们提出了一种针对世界动作模型的攻击 TAPDreamer，它仅使用一个公开编码器来构造一个固定的局部扰动，该扰动可跨任务和动作架构迁移。TAPDreamer 不需要查询目标策略。我们的关键洞见是，块引起的注意力权重变化与值向量之间的交互会在远超块覆盖范围的地方广播出几乎相同的表示偏移，并且这种偏移在任务观测中保持稳定。在此洞见的指导下，TAPDreamer 使用来自一个源任务的六帧来最大化干净编码器表示与打块编码器表示之间的全局 L1 距离。在闭环评估中，每个基准测试使用一个冻结的块，覆盖约 6.5% 的输入，将 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%，在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%；匹配的随机块则保持 81.5% 和 79.2% 的成功率。相同的块将两个 DreamWAM 配置的成功率降至 1.45% 和 1.00%，并将 Motus 降至 10.60%。这些结果表明，仅保护下游动作生成是不够的：世界动作模型的防御还必须保护共享视觉编码器免受持续局部扰动的影响。
| Comments: | 项目页面：this https URL |
| Subjects: | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器人学 (cs.RO) |
| 引用为： | arXiv:2610.06814 [cs.CV] |
| （或 arXiv:2610.06814v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06814 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Fengqing Jiang [查看电子邮件]
[v1]
2026年10月5日星期一 17:55:21 UTC（1,520 KB）
[v2]
2026年10月6日星期二 17:50:08 UTC（1,520 KB）
来源：arXiv cs.AI · arxiv.org