跳到正文
arXiv cs.AI· Kaichao Jiang, Changtao Miao, Baiqi Wu, Zhiyuan Lu, Kang Yang, Peiwei Zhao, Junchi Chen, Yunfeng Diao, He Liu, Qi Chu, Tao Gong·· 9 天前AI 评分30

Multi2AV-Safety:多模态到音视频生成的安全基准测试

Multi2AV-Safety: Benchmarking Safety in Multimodal-to-Audio-Video Generation

AI 导读

研究者提出 Multi2AV-Safety,首个覆盖多模态到音视频生成全组合的红队基准,包含 11,024 个攻击实例,覆盖全部 11 种非单一 T/I/A/V 条件配置、4 类攻击意图和 5 类危害。

正文 · AI 翻译

作者:Kaichao Jiang、Changtao Miao、Baiqi Wu、Zhiyuan Lu、Kang Yang、Peiwei Zhao、Junchi Chen、Yunfeng Diao、He Liu、Qi Chu、Tao Gong

查看 PDF HTML(实验性)

摘要:近期的音视频生成器越来越多地支持对文本、图像、音频和视频的联合条件控制。这些能力也使得攻击者能够利用跨模态交互或模糊有害意图来绕过防护措施,并诱导生成有害的音视频输出。然而,现有的生成安全基准未能跟上这些进展,对多模态输入组合和模糊攻击意图的覆盖有限。为弥补这些空白,我们提出了 Multi2AV-Safety,这是首个面向多模态到音视频生成的全覆盖红队基准,包含 11,024 个攻击实例,覆盖全部 11 种非单一 T/I/A/V 条件配置、4 种攻击意图类别和 5 种危害类别。我们对近期最先进模型的评估——包括四个多模态条件音视频生成器和八个安全防护器——揭示了生成与防护两方面都存在重大漏洞,其中多模态组合风险和模糊攻击意图风险成为两个互补的挑战。基于这些发现,我们提出了 PerceptGuard,一个全模态防护器,通过结构化风险感知学习整合组合风险和攻击意图监督。通过联合训练理由生成和安全分类,它学习共享的风险表示,使安全头能够在推理时无需解码理由即可高效预测,同时保留按需生成解释的能力。在 34 个安全基准上,PerceptGuard 将 SOTA 多模态安全检测与极具竞争力的单模态性能相结合,加强了对全模态模型多模态攻击的输入侧防护。特别是,它提升了对上述风险的防护,在 Multi2AV-Safety 上实现了 86.06\% 的总体召回率,比 GuardReasoner-Omni 高出 14.56\%。
主题: 人工智能(cs.AI)
引用为: arXiv:2608.26535 [cs.AI]
  (或 arXiv:2608.26535v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.26535

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Kaichao Jiang [查看邮箱]
[v1] 2026年8月27日星期四 02:12:25 UTC(6,421 KB)
[v2] 2026年10月8日星期四 10:54:46 UTC(4,157 KB)

来源:arXiv cs.AI · arxiv.org