arXiv cs.AI· Haoxi Li, Sikai Bai, Jianfei Ma, Qinglin Hou, Xiaocheng Lu, Tao Han, Jie Zhang, Song Guo·· 12 小时前AI 评分38
Dwell：让视觉语言智能体在自己的潜在世界中学习
Vision-Language Agents Can Learn in Their Own Latent Worlds
AI 导读
研究者提出 Dwell，一个基于模型的强化学习框架，将 VLM 重构为循环潜在转移算子，使其能在潜在空间中预测、调整并行动。该框架利用 VLM 自身表征及其作为世界模型与策略的双重角色，从真实交互和潜在想象中持续学习。在五个交互式视觉环境中，Dwell 取得可训练方法中最强整体表现，同时大幅降低想象所需算力。
正文 · AI 翻译
摘要：从经验中学习对于构建下一代能够不断扩展自身能力的智能体至关重要。预训练的视觉语言模型（VLM）已经内化了丰富的世界知识，但这些知识很少被用于通过在线交互来推动策略改进。高效实现这一潜力仍然具有挑战性，因为策略更新会改变智能体的交互分布，要求世界模型相应地进行调整，而持续更新大型预训练模型的计算成本很高。为应对这一挑战，我们提出了 Dwell，一个基于模型的强化学习（RL）框架，它将 VLM 重新表述为循环潜在转移算子，使其具备在潜在空间中进行预测、调整和行动的能力。借助 VLM 自身的表示及其作为世界模型和策略的双重角色，智能体持续从真实交互中学习以预测和评估行动结果，并从潜在想象中学习以改进其行为。在五个交互式视觉环境中，Dwell 在可训练方法中取得了最强的整体性能，同时大幅降低了想象所需的计算量，这表明面向 VLM 智能体的有效世界模型无需重建未来；它们需要预测对行动有用的未来。我们的代码公开于 此 https URL
| 评论： | 17 页，4 张图 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36925 [cs.AI] |
| （或 arXiv:2610.36925v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36925 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sikai Bai [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 09:51:08 UTC（385 KB）
来源：arXiv cs.AI · arxiv.org