arXiv cs.AI· Pengcheng Pan, Guoqing Ma, Yuhan Zhang, Yang Chen, Yichen Liu, Ziheng Li, Shan Yu·· 3 天前AI 评分23
MHWA：多时间尺度分层世界-动作模型
MHWA: Multi-timescale Hierarchical World-Action Model
AI 导读
MHWA（Multi-timescale Hierarchical World-Action model）通过跨步高层上下文通道降低全局上下文更新频率，并借助上下文感知路由让门控网络动态重构底层 MoE，抑制自回归世界模型开环推演中的漂移累积。
正文 · AI 翻译
摘要：自回归世界模型已成为实现样本高效决策的强大范式，然而其开环推演往往表现出不断增大的漂移，即使在相对较小的规划范围内也会导致误差累积。分层时间抽象是缓解此类漂移的自然候选方案，因为它能缩短有效预测范围；然而，现有的分层设计可能引入额外的结构和概念复杂性，有时使其难以控制，并限制其相对于扁平基线的增益。为此，我们提出了 MHWA（多时间尺度分层世界-动作模型），它采用跨步的高层上下文通道来降低全局上下文更新频率，从而有效抑制复合漂移的传播。关键在于，通过上下文感知路由，门控网络利用全局上下文和当前观测动态地重新配置低层专家混合，从而实现灵活的高低层协调，有助于缓解静态分层中常见的干扰。在实证上，使用 RLiable 的按游戏种子聚合，MHWA（77M 参数）在 14 款 Atari 子集上使用 10% 子采样离线数据、三个训练种子下取得了 0.884 的 IQM 人类归一化分数（HNS），优于匹配的 JOWA-70M 基线（0.529），并在参数数量几乎减半、每序列训练 FLOPs 减少 70.88% 的情况下，达到了与 JOWA-150M 数值相当的性能。
| 评论： | 21 页，4 幅图，15 张表，包括参考文献和附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14727 [cs.AI] |
| （或 arXiv:2610.14727v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14727 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Pengcheng Pan [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 08:47:09 UTC（575 KB）
来源：arXiv cs.AI · arxiv.org