arXiv cs.AI· Jike Zhong, Ritwick Chaudhry, Xuanbai Chen, Tianchen Zhao, Linghan Xu, Yifan Xing, Nishant Sankaran·· 10 天前AI 评分27
DSV-Mem：评估 MLLM 智能体在专业工作流中的多模态记忆
DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents
AI 导读
研究者提出 DSV-Mem 基准，用于评估 MLLM 智能体的密集有状态视觉记忆，包含专家审核场景和 1000 道题，覆盖 Current State、Past State、Derived State、Change History、Conflict/Refusal 五类。
正文 · AI 翻译
摘要：对话式 MLLM 智能体日益被期望协助专业工作流程，从 AI 研究和工程设计到产品管理和业务运营。然而这一能力仍未被充分探索：现有基准主要关注非正式的日常交互和个人生活场景，以摄影自然图像、孤立的静态制品和回忆型问题为特征。相比之下，专业场景通常涉及结构化、信息密集的制品，这些制品会经历频繁的修订和权威更新，以及需要协调众多制品版本同时精确跟踪状态的组合式查询。为应对这些挑战，我们推出 DSV-Mem，一个用于评估密集有状态视觉记忆的基准。DSV-Mem 包含经专家审阅的场景和横跨五个面向用户类别（当前状态、过去状态、派生状态、变更历史以及冲突/拒绝）的 1,000 个问题。受 Hartley 启发的准则倾向于具有更广泛视觉证据检查需求的问题。我们还引入了一个生成框架，通过将状态转换合成与对话填充解耦来生成评估套件。对涵盖前沿和开放权重模型以及记忆管理方法的 27 种配置进行评估显示，最强基线在 DSV-Mem 上的得分低于 45%。分析揭示了以下发现：1）多模态和信息密度都会增加难度，但状态演化，尤其是主导更新的数量，是所测试的主导因素。原始对话/大海捞针长度、OCR 和算术并非主要瓶颈；2）模型在回答前往往未能根据先前的状态更新验证用户前提；3）增加推理努力和记忆管理方法带来的收益有限，而状态感知设计被证明更有效。该基准和代码将公开发布。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08102 [cs.AI] |
| （或本版本使用 arXiv:2610.08102v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.08102 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jike Zhong [查看电子邮件]
[v1]
2026年10月6日星期二 10:30:14 UTC（6,127 KB）
来源：arXiv cs.AI · arxiv.org