arXiv cs.AI· Wenbo Zhu, Paul Yi-Chia Chen, Yuanhan Li, Zishen Wan, Christopher Torng·· 4 小时前AI 评分24
面向高效世界模型规划的规划器-硬件协同设计:制造差分稀疏性
Manufacturing Differential Sparsity: Planner-Hardware Co-Design for Efficient World Model Planning
AI 导读
研究提出一种规划器与硬件紧耦合的协同设计,让规划器通过 reference forest sampling 将每组采样动作序列耦合到共享根节点,主动制造差分比特级稀疏性并暴露给硬件调度。
正文 · AI 翻译
摘要:JEPA 风格的潜在世界模型让具身智能体能够借助模型预测控制朝新目标进行规划,但它们对于现实生活中的具身控制而言仍然太慢:基于采样的 MPC 每次规划都要重复执行数万次预测器推理,即便在高端 GPU 上,一个规划步骤也可能耗时数十秒。我们观察到,在这种重复推理工作负载中存在显著的潜在局部性:预测器将相近的动作映射到相近的潜在表示,而在量化预测器内部,这种相近性呈现出硬件可以利用的形式,即差分位级稀疏性。与输入流不同(其时间相似性是给定的),规划器自身决定它一起评估哪些候选,因此规划器可以选择自己的参考,并通过参考森林采样制造更多稀疏性:它将每组采样得到的动作序列耦合到一个共享根上,同时保持有竞争力的规划质量。我们基于丰富的位级稀疏加速器研究思路构建了该加速器,并将它与规划器紧密耦合为单一协同设计:规划器提高稀疏性并为硬件调度暴露结构,而位精确的硬件则有效利用规划器创造的稀疏性。在三个 JEPA 世界模型上,我们的协同设计比稠密加速器快 1.28-1.80 倍,能耗低 38-52%;比先前的位稀疏设计快 1.22-1.58 倍,能耗低 16-36%,且面积相同。据我们所知,我们的规划器是首个在其候选中制造差分位级稀疏性并为硬件调度暴露其结构的规划器,而我们的协同设计是首个面向 JEPA 风格世界模型规划的算法-硬件协同设计。
| 评论: | 14 页,11 张图 |
| 主题: | 硬件架构(cs.AR);人工智能(cs.AI);机器学习(cs.LG);机器人学(cs.RO);系统与控制(eess.SY) |
| 引用为: | arXiv:2611.22483 [cs.AR] |
| (或本版本使用 arXiv:2611.22483v1 [cs.AR]) | |
| https://doi.org/10.48550/arXiv.2611.22483 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Wenbo Zhu [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 09:40:21 UTC(1,161 KB)
来源:arXiv cs.AI · arxiv.org