arXiv cs.AI· Haoyue Liu, Xiaoying Tang·· 12 小时前AI 评分37
世界模型为何在事件转换上算错回报：一项转换级诊断
Events, Not Pixels: Where World Models Get the Return Wrong
AI 导读
研究提出转换级诊断方法，用真实转换替换想象转换，发现事件转换（获得奖励或回合结束的少数步骤）像素误差与其他步骤相当（中位像素误差比 0.85），但恢复这些转换可消除中位 70% 的回报误差，而恢复 MSE、SSIM、LPIPS 误差最大的转换效果不如随机选择。
正文 · AI 翻译
摘要：世界模型越来越多地被用于规划，规划器根据模型想象出的回报对候选动作进行排序。然而，这些模型主要根据其渲染帧的效果来评判，尽管视觉上忠实的推演仍可能给出错误的回报。为了找出这种不匹配出现的位置，我们引入了一种转移级诊断方法，用真实转移替换想象转移，并衡量相对于预算匹配的随机对照，回报误差的减少量。我们的分析得出两个发现。（1）事件转移，即获得奖励或回合结束的少数步骤，其渲染效果与其他步骤一样好（像素误差中位数比率为 0.85），但恢复这些转移可消除回报误差的中位数为 70%。相比之下，恢复 MSE、SSIM 或 LPIPS 误差最大的转移，其效果还不如随机选择。在通过我们可靠性检查的 44 个 Atari-100k 模型—集合对中（包括三个已发布的系列），事件补丁在 39 个中优于随机补丁（符号检验 p=1.4 x 10^{-7}），中位增益为 +44 个百分点。（2）剩余误差是有结构的：一个互补补丁将真实事件处的误差与其他位置的误差区分开，而八步的时间容差只能找回我们的确定性模型漏掉的少数事件。这种结构也指导修复：一条在四种修复结果已知之前记录的规则，可以预测扩散模型何时修复这些失败。事件补丁改善了规划排序，同样的集中现象也出现在具有稀有奖励事件的控制任务上。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29435 [cs.AI] |
| （或 arXiv:2610.29435v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29435 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyue Liu [查看电子邮件]
[v1]
2026年10月21日星期三 08:59:02 UTC（1,087 KB）
来源：arXiv cs.AI · arxiv.org