arXiv cs.AI· Zhengyang Luo, Xiaoyu Qiu, Zhiheng Tan, Yuchen Liang, Yingbin Liang, Liyue Shen·· 3 天前AI 评分22
统一 VLM 内部机制解析：从注意力探测到 HeadTuned-CFG 引导调优
Understanding Unified VLMs: From Attention Probing to Guidance Tuning for Multimodal Generation
AI 导读
研究通过探测注意力头发现，统一 VLM 在 T2I 与 I2T 生成中均存在对条件变化敏感与不敏感的两类注意力头，该功能分化模式跨样本稳定。基于此提出免训练推理干预方法 HeadTuned-CFG，在注意力头级别选择并调优条件引导，在两种生成方向上均取得一致收益，T2I 生成较强基线提升显著。
正文 · AI 翻译
摘要：统一视觉语言模型（VLM）使用一个共享的 Transformer 主干同时执行文本到图像（T2I）和图像到文本（I2T）生成，然而该主干在任一方向上如何处理条件仍鲜为人知。我们从条件引导的角度研究这一问题：我们探查每个注意力头，以展示具有不同条件引导的无分类器引导（CFG）两个分支之间的激活差异。在自回归和掩码扩散范式的两个统一 VLM 上，探查揭示了一部分头对条件变化更敏感，而其他头则对其不敏感。这种特征模式在 T2I 和 I2T 生成中均成立，并且在数据样本间基本稳定，展示了统一 VLM 的内部机制。受此启发，我们提出了一种用于统一多模态生成的新推理时干预方法，名为 \textit{HeadTuned-CFG}，它利用探查到的条件变化感知能力，在注意力头级别选择并调整条件引导。实验表明，在无需额外训练的情况下，统一 VLM 的两个多模态生成方向均获得一致收益，尤其是在 T2I 生成中相较强基线有显著提升。这些结果进一步支持了我们探查分析的关键发现：所观察到的功能特化模式是统一 VLM 的内在属性。
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.15227 [cs.AI] |
| （或 arXiv:2610.15227v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15227 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhengyang Luo [查看电子邮件]
[v1]
2026年10月10日星期六 23:40:27 UTC（1,432 KB）
来源：arXiv cs.AI · arxiv.org