arXiv cs.CL· Seonghyeon Cho, Chanjun Park·· 23 小时前AI 评分31
通过表征子空间理解 Omni 模型中的跨模态不一致性
Understanding Cross-Modal Inconsistency through Representation Subspaces in Omni Models
AI 导读
研究从答案位置表征中估计低维 Answer Subspace,在三个 Omni 模型和两个多模态推理任务上分离答案相关成分与其余表征。预测跨模态不一致的信息主要位于 Answer Subspace 之外,集中在一个可复现的二维表征中,且无法用固定模态偏移解释。仅对单一模态扰动 Answer Subspace 即可诱发跨模态分歧,对两个模态施加相同扰动则基本保持一致,说明可线性解码不等于行为有效。
正文 · AI 翻译
摘要:Omni 模型在统一的语言主干中处理音频、视觉和文本,但常常对跨模态语义等价的输入给出不同答案。现有的表示层面分析并未区分两类信息:一类能预测分歧是否会发生,另一类是扰动后会影响模型答案的表示。本文从答案位置表示中估计出一个低维的答案子空间,并用它将与答案相关的成分从其余表示中分离出来。在三个 Omni 模型和两个多模态推理任务上,可预测跨模态不一致的信息主要位于答案子空间之外,集中在一个可复现的二维表示中,且该表示无法用固定的模态偏移来解释。匹配干预揭示了不同的行为作用:扰动答案子空间会显著改变模型的预测,而扰动分歧表示(如同扰动同维度的随机子空间)则几乎不改变预测。我们的关键发现是,跨模态分歧可以通过使模态特定的答案表示失配来诱发:仅对单一模态的答案子空间施加扰动即可诱发分歧,而对两个模态施加相同扰动则基本保持一致性。因此,预测分歧的表示与可诱发分歧的答案层面表示是不同的,这表明线性可解码性并不意味着行为有效性。
| 评论: | 被 EACL 2027 Main 接收 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22619 [cs.CL] |
| (或 arXiv:2611.22619v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22619 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Seonghyeon Cho [查看邮箱]
[v1]
2026年11月17日星期二 11:35:06 UTC(1,496 KB)
来源:arXiv cs.CL · arxiv.org