arXiv cs.AI· Jeonghwan Kim, Sofia Stoica, Jiwan Chung, Ansel Blume, Hyeonjeong Ha, Zhenhailong Wang, Xin Luna Dong, Heng Ji·· 3 天前AI 评分27
Mixture of Layers：面向视觉推理的动态层路由方法
Mixture of Layers: Dynamic Layer Routing for Visual Reasoning
AI 导读
研究者提出 Mixture of Layers（MoL），一种在视觉 patch 级别、由指令条件驱动的层路由方法，可动态聚合视觉编码器中间层的查询相关隐状态，支持图像级、patch 级或混合路由的 top-k 稀疏聚合。
正文 · AI 翻译
摘要：预训练视觉编码器包含逐层的视觉表示，这些表示在空间粒度、语义抽象程度以及对局部细节的敏感性上各不相同。然而，大多数多模态大语言模型（MLLMs）仅依赖最终或倒数第二层的视觉编码器表示，或采用固定的聚合规则，使得视觉抽象在很大程度上与查询无关，并限制了对细粒度线索（如小物体、空间细节、文本和细微视觉属性）的获取。在这项工作中，我们提出了层混合（Mixture of Layers, MoL），一种在视觉补丁级别上以指令为条件的层路由方法，能够从视觉编码器的中间层动态聚合与查询相关的潜在表示。给定文本查询，MoL 预测视觉编码器各层的路由概率，并在图像级别、补丁级别或通过混合路由机制对选定的隐藏状态执行 top-k 稀疏聚合。通过这种方式，MoL 实现了对特定层视觉特征的查询自适应访问，以支持细粒度视觉推理。我们在 7 项细粒度视觉推理任务上的实验表明，性能有显著提升，尤其是在细粒度视觉定位和理解任务上，与基线 MLLMs 相比，V* 总体准确率提升 +18.9%，HRBench4K 提升 +4.5%，CharXiv 提升 +16.3%，且无需采用多分辨率输入、简单交错多个视觉编码器或增加补丁 token 数量。我们研究了视觉编码器不同层的感受野尺度及其采样行为，以深入分析为何逐层采样有帮助，证明条件视觉表示是 MLLMs 实现更好视觉感知和推理的关键一步。我们的项目页面见 此 https URL。
| 评论： | NeurIPS 2026 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.09440 [cs.CV] |
| （或 arXiv:2610.09440v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09440 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jeonghwan Kim [查看电子邮件]
[v1]
2026年10月7日星期三 04:50:48 UTC（10,653 KB）
[v2]
2026年10月10日星期六 21:23:10 UTC（10,653 KB）
来源：arXiv cs.AI · arxiv.org