arXiv cs.AI· Kangcong Li, Peng Ye, Lin Zhang, Chao Wang, Huafeng Qin, Jiayuan Fan, Tao Chen·· 9 天前AI 评分23
FreshMem：面向流式视频理解的脑启发频率-空间混合记忆网络
FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding
AI 导读
FreshMem 是一种受大脑对数感知与记忆巩固机制启发的频率-空间混合记忆网络，用于将 MLLM 从离线扩展到在线流式视频理解。它通过多尺度频率记忆（MFM）和空间缩略图记忆（STM）两个模块兼顾短期保真与长期连贯，在 StreamingBench、OV-Bench、OVO-Bench 上分别将 Qwen2-VL 基线提升 5.20%、4.52% 和 2.34%。
正文 · AI 翻译
摘要：将多模态大语言模型（MLLMs）从离线视频理解过渡到在线流式视频理解，对于持续感知至关重要。然而，现有方法缺乏灵活的自适应性，导致不可逆的细节丢失和上下文碎片化。为解决这一问题，我们提出了 FreshMem，一种受大脑对数感知和记忆巩固启发的频率-空间混合记忆网络。FreshMem 通过两个协同模块协调短期保真度与长期连贯性：多尺度频率记忆（MFM），将溢出的帧投影为具有代表性的频率系数，并辅以残差细节以重建全局历史“要旨”；以及空间缩略图记忆（STM），通过采用自适应压缩策略将连续流离散为情节簇，并将其提炼为高密度空间缩略图。大量实验表明，FreshMem 显著提升了 Qwen2-VL 基线，在 StreamingBench、OV-Bench 和 OVO-Bench 上分别取得 5.20%、4.52% 和 2.34% 的提升。作为一种免训练方案，FreshMem 优于多种完全微调的方法，为长时程流式视频理解提供了一种高效范式。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.01683 [cs.CV] |
| （或 arXiv:2602.01683v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.01683 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Kangcong Li [查看电子邮件]
[v1]
2026年2月2日星期一 05:52:11 UTC（24,890 KB）
[v2]
2026年10月8日星期四 05:09:57 UTC（24,957 KB）
来源：arXiv cs.AI · arxiv.org