arXiv cs.AI· Yuan Feng, Qize Yang, Ruizhe Chen, Sibo Song, Haolin He, Muzhi Zhu, Zihan Liu, Yunfei Chu, Xize Cheng, Yuxuan Wang, Jin Xu, Xike Xie·· 10 天前AI 评分37
VisionWeave：将弹性视觉表征编织为 MLLM 的原生能力
VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
AI 导读
研究团队提出 VisionWeave，通过门控空间池化器与粒度路由器，让 MLLM 端到端学习按内容自适应分配视觉表征粒度。基于 Qwen3.8-27B，该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能，而固定 50% 节省目标的 token 剪枝基线仅保留 88%。
正文 · AI 翻译
作者：Yuan Feng、Qize Yang、Ruizhe Chen、Sibo Song、Haolin He、Muzhi Zhu、Zihan Liu、Yunfei Chu、Xize Cheng、Yuxuan Wang、Jin Xu、Xike Xie
摘要：多模态大语言模型已成为视觉理解的主流范式，但将输入编码为稠密、固定大小的 patch token 会带来高昂成本。然而，视觉信息分布并不均匀：某些区域需要细粒度细节，而其他区域则可采用紧凑表示。下采样会牺牲这些细节，而现有的 token 剪枝与自适应方法在内容自适应粒度、任务泛化性以及与当代 MLLM 和服务基础设施的集成方面仍存在局限。克服这些局限需要能够端到端学习在何处以及以何种粒度分配视觉表示的基础模型，我们将这一原生能力称为弹性视觉表示编织。我们提出 VisionWeave，通过大规模训练在前沿级 MLLM 中建立这一能力。它结合两个组件：门控空间池化器在共享 MRoPE 坐标内构建粗粒度表示与原生细粒度表示，而粒度路由器学习其内容自适应分配。仅通过自蒸馏，我们在 Qwen3.5-4B 上验证了该能力，并扩展到 Qwen3.8-27B，消耗超过 30K A100 GPU 小时。基于 Qwen3.8-27B，VisionWeave 根据视觉内容自适应调整 token 节省量，在八个基准上平均节省 43.0% token，同时保留 98.9% 的原生性能，而固定 50% 节省目标的 token 剪枝基线仅保留 88% 性能。大量评估证实了在多样化任务、分辨率和视频帧上稳健的效率-质量权衡。在 SGLang 服务引擎上部署时，我们的方法实现了 2.3 倍吞吐量提升，同时将平均 TTFT 降低 54.4%，平均 TPOT 降低 60.6%。我们相信，这些结果共同表明弹性视觉编织是下一代多模态模型的一项有前景的能力。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07987 [cs.CV] |
| （或 arXiv:2610.07987v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07987 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Yuan Feng [查看邮箱]
[v1]
2026年10月6日星期二 08:48:50 UTC（34,634 KB）
来源：arXiv cs.AI · arxiv.org