arXiv cs.AI· Na Min An, Taekyung Kim, Jaemyung Yu, Hyunjung Shim, Dongyoon Han·· 3 天前AI 评分27
Omni-Modal LLM 为何"知道却说不出来"：TMA 与 OmniCatalyst 研究
Omni-Modal LLMs Know More Than They Say
AI 导读
研究发现 Omni-modal LLM 常无法表达其已正确感知的非文本模态信息，作者称之为"knows-but-cannot-say"，并提出 Token-level Modality Alignment（TMA）度量模态表示与回复表示的对齐程度。
正文 · AI 翻译
摘要：全模态大语言模型（Omni-LLMs）将 LLM 扩展至在语言之外处理异构模态（例如视觉、音频和 IMU 信号），从而支持更广泛的多模态任务。然而我们发现，这些模型即使正确感知了非文本模态的信息，也常常无法将其表达出来。我们将这种脱节称为“知道却说不出来”。为研究这一现象，我们提出了 Token 级模态对齐（Token-level Modality Alignment，TMA），用于衡量单个模态表示与响应表示之间的对齐程度。我们的分析表明，非文本表示与响应 token 的对齐程度较低，且获得的注意力少于文本表示，这可能是模态偏好不均衡的一个潜在解释。受这些发现启发，我们提出了 OmniCatalyst，一种简单的“感知 $\rightarrow$ 推理”策略，用自生成的文本补充原始模态输入，使非文本知识更易于获取。在七个 Omni-LLM 上，OmniCatalyst 持续提升性能（+7.29%），并带来更均衡的模态偏好，且通过多样化的训练策略还能获得进一步提升。进一步分析表明，知识提取阶段提高了 TMA，说明对齐的改善使非文本信息在响应生成过程中更易于获取。总之，我们的发现揭示了 Omni-LLM 如何通过语言更好地表达模态知识。我们的代码可在 此 https URL 获取。
| 评论： | 36 页，25 幅图，14 个表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.16135 [cs.CL] |
| （或 arXiv:2610.16135v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16135 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Na Min An [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 03:52:46 UTC（21,915 KB）
来源：arXiv cs.AI · arxiv.org