跳到正文
arXiv cs.AI· Zihe Huang, Sirui Zhou, Haozhi Han, Ruge Zhang, Teng Ma, Tao Ma, Zheng Liu, Ce Zhang, Ting Cao, Yunxin Liu, Yunquan Zhang, Yifeng Chen, Kun Li·· 10 小时前AI 评分38

F$^3$:世界动作模型(WAM)中什么样的经验才算好经验?

F$^3$: What Makes Good Experience in World-Action Models?

AI 导读

研究提出 F$^3$ 方法,用 Form、Fit、Fusion 三步决定经验存什么、何时用、注入策略的哪个位置,将成功与失败的 rollout 都压缩为简短可验证的操作记录。

正文 · AI 翻译

作者:Zihe Huang、Sirui Zhou、Haozhi Han、Ruge Zhang、Teng Ma、Tao Ma、Zheng Liu、Ce Zhang、Ting Cao、Yunxin Liu、Yunquan Zhang、Yifeng Chen、Kun Li

查看 PDF HTML(实验性)

摘要:已部署的世界-动作模型(WAM)只有善用自身经验,才能持续改进。现有方法将检索到的轨迹或示范作为上下文提供给策略,但这类经验往往会把原本已解决的任务变成失败。那么,什么样的经验对 WAM 才是好的?我们表明,经验只有在使用中才有价值:其价值不取决于来源轨迹是否成功,而取决于存储什么、何时使用以及从何处进入策略。因此,我们提出 F$^3$,通过 Form、Fit 和 Fusion 做出这三个决策。Form 将成功和失败的轨迹都压缩为简短、经过验证的操作记录;Fit 教会策略读取记录并预测其何时有帮助;Fusion 将记录中的图像、文本和动作作为前缀和动作先验注入策略。该模型仅在 200 个样本上训练一次,并配合不断增长的经验库部署,在 MolmoSpaces 和 RoboLab 上取得了最先进的结果,且未在 RoboLab 上进行任何训练:相比原生 Cosmos 3 Nano,成功率分别提升 12.0 个百分点和 10.8 个百分点,成功所需步数分别减少 12.2% 和 11.3%,回退减少 57%。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.24708 [cs.AI]
  (或此版本的 arXiv:2611.24708v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.24708

arXiv 颁发的 DOI 由 DataCite 提供(待注册)

提交历史

来自:Zihe Huang [查看邮箱]
[v1] 2026年11月18日 星期三 16:33:15 UTC(8,286 KB)

来源:arXiv cs.AI · arxiv.org