arXiv cs.CL· Donghao Zeng (Mila, McGill University), Nishant Subramani (Carnegie Mellon University), Tamar Rott Shaham (MIT CSAIL), Benno Krojer (Mila, McGill University, Northeastern University)·· 12 小时前AI 评分31
研究：跨模态引导向量同时存在于图像与文本生成中
Cross-modal Steering Vectors Exist Across Both Image and Text Generation
AI 导读
研究在多个统一多模态模型中发现，引导向量可零样本双向迁移：在文本 token 上找到的向量加到图像 token 上同样能引导生成，反之亦然。即便对某一模态高度独有的概念（如正式与口语化语言），向量也能在另一模态引发一致且可解释的效果，如正式服装与设计。这种迁移还有几何特征：尽管文本与图像表示间存在明显的模态鸿沟，跨模态迁移性强的引导向量在同一概念上倾向指向相似方向。
正文 · AI 翻译
摘要：在当前 AI 模型中，概念和机制在不同模态间是统一的，还是为每个模态单独实现的？我们通过研究跨模态引导来具体化这一关于模态统一的宽泛问题：1）找到能够成功引导某一模态 token 生成的向量，然后 2）将这些向量零样本迁移，用于在添加到另一模态的 token 时引导生成。我们的研究超越了简单的相关性对齐（例如表征相似性），因为引导本质上是因果性的。我们在若干统一多模态模型（UMM）中研究跨模态引导，因为这些模型在语言和图像生成上共享参数，我们重点关注这两种模态。在情绪、物体大小等多样化的被引导概念上，我们表明引导向量可以在两个方向（文本到图像 & 图像到文本）上零样本迁移。即使对于某一模态高度独有的概念（例如正式语言与口语化语言），引导向量也常常在另一模态中引发一致且可解释的效果，例如正式服装和设计。这种迁移还具有几何特征：尽管文本和图像表征之间存在明显的模态鸿沟，但具有强跨模态迁移性的引导向量在同一概念上往往指向相似的方向。我们的发现揭示了视觉和语言在统一多模态模型内部如何交互，并指向更通用、与模态无关的控制其行为的方法。
| 评论： | 预印本。代码：此 https URL 数据：此 https URL 演示：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36269 [cs.CV] |
| （或 arXiv:2610.36269v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36269 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Benno Krojer [查看电子邮件]
[v1]
2026年10月26日星期一 20:42:35 UTC（26,672 KB）
来源：arXiv cs.CL · arxiv.org