arXiv cs.CL· Weiyang Jin, Jiwen Yu, Sihan Xu, Yuwei Niu, Xihui Liu·· 11 小时前AI 评分31
Execution Before Memory：诊断视频世界模型中的记忆失效问题
Execution Before Memory: Diagnosing Memory Failures in Video World Models
AI 导读
研究提出 MIST 评测，将“场景设定”与“指令变更执行”分离，发现视频世界模型的瓶颈在于模型能设定场景却未执行指令变更，而非记忆遗忘。基于此提出 M3-Agent（Make the Missing Move），通过递归改写输入指令细节让模型完成所要求的变更，MIST reveal 分数提升超过三倍，WRBench 的 T 分数提升 26.1%，MBench-T 的 U 分数提升 52.7%。
正文 · AI 翻译
摘要：视频世界模型的记忆测试应当说明场景是否已设定、所要求的改变是否已执行，以及最后一帧是否显示了结果。当前的测试将这些合并为一个数字，因此低分很容易被解读为遗忘。当改变未被执行时，隐藏的状态转移就无法出现，因此该测试并非真正对记忆的测试。我们提出 MIST，一种将改变与其应留下的记忆分离的评估方法。模型首先在改变保持隐藏的情况下设定场景，之后才被要求展示该改变，并对此前的泄漏加以控制。这种分离定位了瓶颈：模型设定了场景，但未执行所指示的改变。同样的差距也出现在一般记忆评估中。在此基础上，我们提出 M3-Agent（Make the Missing Move），它递归地修改输入指令的细节，使模型成功执行所要求的指令。相对于基线，它将 MIST 揭示分数提高了两倍以上。在各基准上，WRBench 的分数 T 提升了 26.1%，MBench-T 的分数 U 提升了 52.7%。该方法从执行侧应对该问题：它展示了冻结模型在动作被明确说明后能做到什么，并设定了一个更严格的基线。
| 评论： | 27 页，7 幅图。项目页面：此 https URL 代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| ACM 分类： | I.2.10；I.4.8 |
| 引用为： | arXiv:2610.23542 [cs.CV] |
| （或 arXiv:2610.23542v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23542 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Weiyang Jin [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 14:37:13 UTC（4,526 KB）
来源：arXiv cs.CL · arxiv.org