arXiv cs.AI· Yingcheng Liu, Tianyi Jiang, Yujuan Ding, jiangbo Ai, Xun Jiang, Guoqing Wang, Wei Ye, Yi Bin·· 3 天前AI 评分25
MoLE：用潜在专家混合实现互补视觉推理
MoLE: Mixture of Latent Experts for Complementary Visual Reasoning
AI 导读
针对现有潜在视觉推理中多个 latent token 共享同一视觉证据、易产生冗余表征的问题，研究者提出 MoLE（Mixture of Latent Experts）框架，让不同潜在视觉专家在证据提取阶段相互隔离，并由专门的潜在摘要专家聚合其互补表征。
正文 · AI 翻译
摘要：潜在视觉推理为视觉语言模型配备了连续中间状态，使其无需显式文本推理轨迹或重复图像操作即可处理视觉证据。然而，现有方法往往通过共享值投影让多个潜在 token 访问相同的视觉证据，缺乏让它们提取互补视觉信息的机制；因此，单纯增加潜在预算可能产生冗余的潜在表示。我们认为，有效的潜在推理应鼓励不同的潜在 token 提取互补的视觉信息，从而充当专门的视觉专家。基于这一见解，我们提出 MoLE，一种潜在专家混合框架，同时控制每个潜在视觉专家观察哪些视觉证据以及如何转换这些证据。MoLE 在证据提取阶段隔离潜在视觉专家，并使用专门的潜在摘要专家来聚合潜在视觉专家的互补表示。两阶段训练流程首先强制视觉证据通过该潜在通路，然后恢复直接视觉访问，既不需要预定义的专家角色，也不需要中间视觉目标。在五个视觉推理基准上，MoLE 取得平均 78.6 分，比数据匹配的监督微调高 4.9 分，在相同潜在预算下比评估的最强潜在视觉推理基线高 3.6 分。表示分析显示潜在状态相似度更低、视觉注意力更多样，而屏蔽潜在通路会使平均性能下降 9.2。这些结果表明，专门化潜在计算比单纯增加潜在 token 数量更有效。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.01917 [cs.CV] |
| （或 arXiv:2610.01917v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01917 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yingcheng Liu [查看邮箱]
[v1]
2026年10月1日星期四 15:54:37 UTC（2,054 KB）
[v2]
2026年10月13日星期二 01:20:17 UTC（2,054 KB）
来源：arXiv cs.AI · arxiv.org