游戏中的扩展定律：面向具身智能体的多虚拟世界持续预训练研究

作者：Kuan Zhang、Yukun Chen、Zhihao Yang、Yue Su、Xiangnan Wu、Zirong Chen、Run Luo、Jinkun Hou、Tao Tan、Yinhe Zheng、Yiming Li

摘要：扩展数据、多样性和模型容量提升了物理环境中的具身学习，在这些环境中，多样化的经验仍然以共享的物理规律为基础。这些收益能否延伸到具有不同视觉风格、动态、控制和目标的虚拟世界，仍不清楚。我们通过对持续预训练（CPT）在三个维度上的受控研究来探讨这一问题：数据量、多样性和模型规模。我们的 120 种训练配置涵盖从 0.8B 到 27B 的四种模型规模、从 50 到 1,600 小时的六种数据预算，以及从仅 Minecraft 数据到多样化多世界语料库的五种混合数据。我们使用三级验证损失和从语料内世界到未见世界的游戏基准来评估性能和泛化能力。我们的结果表明：（1）更多数据可提升语料内性能，多样性可提升向相关世界的迁移，但在遥远世界中的收益有限，而模型规模可提升数据效率，但在单世界训练下向遥远世界的泛化更差；（2）我们观察到一个具有广泛跨世界收益的早期接口阶段，以及一个收益收窄至语料内和相关世界的后期世界阶段，并拟合出一个将验证损失与数据量、多样性和模型规模关联的经验缩放定律；（3）我们的模型在 3D 世界中与 Minecraft 专家模型和前沿模型具有竞争力，并在实时设置中表现最佳。然而，模仿的局限性和遥远世界中持续存在的差距表明，构建通用具身智能体需要比持续预训练更丰富的训练阶段。

评论：	项目页面：this https URL ；模型：this https URL
主题：	人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）
引用为：	arXiv:2610.28698 [cs.AI]
	（或 arXiv:2610.28698v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.28698 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Kuan Zhang [查看电子邮件]
[v1] 2026年10月20日星期二 11:09:09 UTC（5,280 KB）