arXiv cs.AI· Xiaojun Jia, Simeng Qin, Yiming Li, Jie Liao, Sensen Gao, Ke Ma, Yang Liu, Xiaochun Cao·· 10 天前AI 评分22
IAU-FOA：面向闭源 MLLM 的视觉不变性增强特征最优对齐迁移对抗攻击
Visual-Invariance-Augmented Feature Optimal Alignment for Transferable Adversarial Attacks against Closed-Source MLLMs
AI 导读
研究者提出 IAU-FOA，一种视觉不变性增强的特征最优对齐攻击方法，通过全局余弦目标与 patch token 聚类后的最优传输匹配，在全局和局部两个层面提升对闭源 MLLM 的定向迁移性。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）仍然容易受到可迁移对抗样本的攻击，尤其是在只能访问开源替代模型的黑盒场景中。现有的目标迁移攻击主要利用全局图像级特征（如编码器 [CLS] 嵌入）来对齐对抗样本和目标样本。然而，这种粗粒度对齐未能充分利用块级视觉结构，限制了跨异构闭源 MLLMs 的迁移性。我们提出 IAU-FOA，一种具有自适应非平衡传输的视觉不变性增强特征最优对齐攻击，以提高针对闭源 MLLMs 的目标迁移性。IAU-FOA 在全局和局部两个层面将对抗样本与目标样本对齐：基于余弦的目标缩小它们的全局语义差距，而块 token 被聚类为紧凑的局部模式，并通过最优传输进行匹配以实现细粒度特征对齐。平衡最优传输即使对没有可靠对应项的局部簇也强制固定边际质量，可能引入误导性的对齐梯度。因此，我们引入置信度自适应非平衡传输，对弱匹配簇放宽这些约束，旨在减少不可靠的局部对齐并提高对抗迁移性。我们进一步研究了输入变换的影响，并提出视觉不变性增强，应用双向像素强度重缩放和逐通道白平衡调整来模拟曝光、对比度、光照和色温变化。该策略促使对抗扰动在不同视觉编码器之间泛化。在开源和闭源 MLLMs 上的大量实验表明，IAU-FOA 始终优于最先进的可迁移攻击方法。代码可在 此 https URL 获取。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.06977 [cs.CV] |
| （或 arXiv:2610.06977v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06977 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xiaojun Jia [查看电子邮件]
[v1]
2026年10月4日 星期日 00:16:22 UTC（5,040 KB）
来源：arXiv cs.AI · arxiv.org