arXiv cs.AI· Chaoyue Li, Shoudong Han, Haoyang Wu, Boxue Yang, Sijia Chen, Yufan Chen, Ruping Zhang·· 3 天前AI 评分22
SceneForesee：学习场景演化以实现时空推理
SceneForesee: Learning Scene Evolution for Spatiotemporal Reasoning
AI 导读
研究提出 Scene Evolution Understanding（SEU）任务与 SceneForesee 基准，用于评估实体连续性与场景演化推理，包含 144.57K 时序对、1.05M 实体对应和 272.49K Events。
正文 · AI 翻译
摘要：大型多模态模型（LMM）需要理解实体随着场景发展如何移动和交互。这要求随时间跟踪相同的实体，并将其观察到的运动与后续变化关联起来。我们提出场景演化理解（SEU），一项用于预测和解释这种变化的任务。给定观察到的视频，模型估计实体历史，并通过未来轨迹和事件预测一个场景延续，同时附上来自观察运动的视觉证据和场景描述。我们构建了 SceneForesee，一个通过具有共享实体身份的成对观察场景和未来场景来评估实体连续性和场景演化推理的基准。它包含 144.57K 个时间对、1.05M 个实体对应关系，以及 272.49K 个与观察证据配对的事件。我们提出一个时空推理框架 EvoSee，它通过共享候选状态和联合分配来学习未来几何和事件语义。它从观察中为每个实体选择一个延续，并使用所选变化进行实体细化、保留和场景表示。在 SceneForesee 上，EvoSee 在 Combined Point-F1 上比 Qwen3.5-9B 高出 10.45 分，在 Event Global F1 上高出 17.24 分。在 4D 推理基准 Dyn-Bench 上，它相比各自的基础系统在问答准确率和 grounding J&F 上分别提升了 4.8 和 3.58 分。这些结果支持将场景演化既作为预测目标，也作为动态表示，将预测的实体变化带入时空 this http URL 项目可在 this https URL 获取。
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14439 [cs.CV] |
| （或 arXiv:2610.14439v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14439 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chaoyue Li [查看电子邮件]
[v1]
2026年10月10日星期六 01:12:24 UTC（7,489 KB）
来源：arXiv cs.AI · arxiv.org