arXiv cs.AI· Tobias Braun, Jonas Henry Grebe, Hossein Shakibania, Anna Rohrbach, Marcus Rohrbach·· 9 天前AI 评分37
统一自回归模型的后门漏洞：ToBAC 攻击可跨模态传播恶意效果
Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models
AI 导读
研究者提出 ToBAC，首个针对统一自回归模型（UAMs）的多模态后门攻击，可通过数据投毒或模型访问两种方式植入触发器。在有模型访问时，ToBAC 能让 Liquid 模型在 55% 的生成中对"cool"等普通词触发品牌推广或意识形态影响；无模型访问时通过数据投毒对 JanusPro 的平均攻击成功率达 63.1%。
正文 · AI 翻译
摘要：统一自回归模型（UAMs）是一种在单次自回归过程中同时生成文本和图像 token 的 transformer 模型。共享参数和多模态词表简化了训练流程，并促进了灵活的多模态生成，但也可能引入新的漏洞。特别是，我们首次表明这种统一架构能够实现多模态后门攻击，其中触发器可以将恶意影响传播到多个输出模态。具体而言，我们提出了逐 Token 后门攻击（ToBAC），这是首个针对 UAMs 的后门攻击，探索了基于数据和基于模型的投毒策略。我们证明，不显眼的字符甚至常见词语都可以被转化为触发器，在自回归图像生成中引发有害行为。ToBAC 能够联合操纵视觉输出和伴随文本，提高伪造内容的感知真实性。在可访问模型的情况下，ToBAC 能够攻击 Liquid 模型，其中一个微妙的词（例如“cool”）在 55% 的生成中引发模态对齐的品牌推广或意识形态影响。在无法访问模型的情况下，ToBAC 可以通过数据投毒诱导，对 JanusPro 的平均成功率达到 63.1%。我们的代码可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收。代码：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.19227 [cs.CR] |
| （或 arXiv:2605.19227v2 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.19227 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Tobias Braun [查看电子邮件]
[v1]
2026年5月19日星期二 00:55:18 UTC（34,495 KB）
[v2]
2026年10月8日星期四 11:27:24 UTC（34,412 KB）
来源：arXiv cs.AI · arxiv.org