arXiv cs.AI· Zhuoming Liu, Jinhong Lin, Lin Zhang, Yiwu Zhong, Yin Li·· 2 天前AI 评分30
MaLoW：把长期历史内化为权重，提升流式视频理解
Memory as Weights: Internalizing Long-Term History for Streaming Videos
AI 导读
研究者提出流式记忆框架 MaLoW，用循环 HyperNetwork 将视频观测增量固化为固定大小的 LoRA 权重，让历史以权重形式延续、当前观测仍作为输入，避免历史与当前画面争夺上下文。
正文 · AI 翻译
摘要：流式视觉语言模型（VLM）必须持续整合过去的信息，同时对当前观测和用户查询保持响应。现有的记忆机制通常压缩、检索或缓存历史观测，并将其重新引入输入上下文，迫使历史记忆与当前观测争夺有限的上下文。我们提出 MaLoW，一种流式记忆框架，转而将历史上下文内化为不断演进的轻量级参数更新。MaLoW 使用循环 HyperNetwork 将传入的视频观测逐步整合为固定大小的 LoRA 权重，使历史信息得以延续，而无需重新访问完整视频流。这样，MaLoW 将历史表示为权重，同时将当前观测保留为输入。为支持训练，我们进一步构建了 MaLoW-Instruct，一个大规模流式视频数据集，包含 56K 个视频上的 381K 个问答对。我们进行了大量实验，证明 MaLoW 在 OVO-Bench、StreamingBench 和 StreamArena 上取得了强劲性能。在 OVO-Bench 的后向划分上，MaLoW 在不同视频骨干网络上比先前记忆方法高出 3.9% 至 11.8%，而仅带来适度的延迟开销。除流式视频理解外，MaLoW 还可泛化到视觉-语言-动作模型，在 Simpler WidowX 上将动作成功率提升 9.3%。
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22070 [cs.CV] |
| （或 arXiv:2610.22070v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22070 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuoming Liu [查看邮箱]
[v1]
2026年10月15日星期四 15:29:57 UTC（3,017 KB）
来源：arXiv cs.AI · arxiv.org