跳到正文
arXiv·· 16 天前AI 评分26

MoLE:面向互补视觉推理的潜在专家混合方法

MoLE: Mixture of Latent Experts for Complementary Visual Reasoning

AI 导读

针对潜在视觉推理中多个 latent token 通过共享 value 投影访问同一视觉证据、导致潜在表示冗余的问题,研究者提出 MoLE(Mixture of Latent Experts),让不同 latent token 提取互补的视觉信息。该方法面向 vision-language 模型的连续中间状态推理,无需显式文本推理链或重复图像操作。

来源:arXiv · arxiv.org