arXiv cs.CL· Yanhao Jia, Yi Zhu, Yiran Zhong, Weigao Sun, Feida Zhu, Pengkun Jiao, Sihan Yang, Ming Ma, Steven Hoi, Erik Cambria·· 11 小时前AI 评分38
4DMemory：用 Harness 增强智能体评测长时程时空记忆
4DMemory: Benchmarking Long-Horizon Spatiotemporal Memory with Harness-Augmented Agents
AI 导读
研究团队提出 LongVideo 数据集与 4DMemoryBench，含约 900 小时视频和 5000 多道人工审核问题，覆盖视觉、文本与时空推理。配套的 4DMemory Harness 整合 4 项技能、22+ 专用工具模型和模型专属 RAG 系统，使 13 个受测模型全部提升超过 50%。这些模型在 4DMemoryBench 上相比此前基准性能下降逾 10%。
正文 · AI 翻译
摘要：人类能够高效处理跨越数小时至数年的多模态数据流，构建持久、细粒度的时空记忆，从而支持对长时程事件的推理与预测。相比之下，现有基准测试主要关注短、中等上下文任务，且大多数基础模型难以在长时程上保留细粒度信息。为评估并改进长时程时空推理，我们推出了 LongVideo 数据集和 4DMemoryBench。LongVideo 包含约 900 小时视频以及 5,000 多个经人工审核的问题，涵盖不同上下文长度下的视觉、文本和时空推理。我们进一步开发了 4DMemory Harness，它集成了四项互补技能、22 个以上专用工具模型以及一个针对特定模型的检索增强生成系统。在评估 13 个领先模型后，我们发现独立基础模型难以应对长时程任务，而 4DMemory Harness 使所有模型提升超过 50\%。与之前的基准相比，相同模型在 4DMemoryBench 上的性能下降超过 10\%。我们希望 4DMemory 能促进能够处理复杂长时程任务的时空智能体的发展。
| 评论： | 22 页，5 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.32332 [cs.CV] |
| （或 arXiv:2610.32332v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32332 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanhao Jia [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 08:28:29 UTC（3,283 KB）
来源：arXiv cs.CL · arxiv.org