arXiv cs.CL· Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang, Canyu Chen, Jie Hao, Xing Fan, Chenlei Guo, Eric P. Xing, Mohit Bansal, Manling Li·· 9 天前AI 评分40
WOVEN：将视觉世界建模编织进多模态 LLM
WOVEN: Weaving Visual World Modeling into Multimodal LLMs
AI 导读
研究者提出 WOVEN，一个面向视觉转换推理的训练数据源与基准，按场景、动作和推理类型组织监督信号，包含 36,076 个样本、20 种场景类型、5 种动作类型和 8 种推理类型。
正文 · AI 翻译
作者：Zheyu Fan、Yue Zhang、Mingkai Deng、Kangrui Wang、Qineng Wang、Canyu Chen、Jie Hao、Xing Fan、Chenlei Guo、Eric P. Xing、Mohit Bansal、Manling Li
摘要：多模态大语言模型（MLLM）在空间、具身、物理和时间推理方面表现不佳。我们假设这些失败反映了视觉转换推理中的共同缺陷，并检验这一能力能否作为一种共享的训练基元——不同模型可以从不同的监督来源中学习它，并在不同任务间复用它，且配有一套系统化的训练配方。现有基准分别记录了这些缺陷，但不支持跨场景、动作和推理操作的受控比较。因此，我们提出了 WOVEN，一个用于视觉转换推理的训练来源和基准，它按场景、动作和推理类型组织转换监督，使用来自视频预训练生成模型的多样、真实的 rollout：涵盖 20 种场景类型、5 种动作类型和 8 种推理类型的 36,076 个示例。我们首先评估了 38 个前沿 MLLM（例如 GPT-5.4 和 Qwen3-VL-235B-A22B），发现存在显著且系统性的缺陷：即使是最强的模型也远低于人类水平，且这些失败在不同模型家族中反复出现，并随规模扩大而持续存在。随后我们在 WOVEN 上训练了多个规模的 MLLM，发现它们学到了一种可广泛迁移的共享能力：每个仅约 2,000 条的训练子集共同将 26 个外部基准中的 22 个提升了最多 27.3 个百分点，且 WOVEN 数据可以替代某任务自身训练数据的 30-50%，同时保持相当的准确率。受控比较进一步得出了视觉世界建模的训练配方，并在留出基准上进行了前瞻性验证：依据监督所教授的推理操作而非其展示的动作、场景或领域来选择监督，并优先选择视觉状态变化更大的样本以提升鲁棒性。我们的工作确立了视觉转换推理作为 MLLM 中系统化视觉世界模型训练的可复用基础。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12417 [cs.CV] |
| （或 arXiv:2610.12417v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12417 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zheyu Fan [查看邮箱]
[v1]
2026年10月8日星期四 17:52:03 UTC（12,180 KB）
来源：arXiv cs.CL · arxiv.org