arXiv cs.AI· Guanming Liu, Yuqi Ren, Hansu Gu, Peng Zhang, Weihang Wang, Jiahao Liu, Ning Gu, Tun Lu·· 11 小时前AI 评分35
StreamMemBench:面向未来辅助的智能体记忆流式评测基准
StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance
AI 导读
StreamMemBench 是一个基于 EgoLife 第一视角数据流构建的流式基准,围绕每个证据锚点设计两步任务序列,分别测试证据使用与反馈、交互经验复用,并用四项指标诊断证据召回、初始证据使用、反馈吸收和后续复用。
正文 · AI 翻译
摘要:个人代理记忆的核心作用是将存储的信息和先前的交互转化为面向未来的协助。在日常使用中,有用的线索来自代理所观察到的事物以及用户与代理的交互方式,代理必须将这些线索从当前请求延续到类似的未来任务中。现有的记忆基准通常孤立地测试对话回忆或任务改进,使得从流式观察到后续协助的轨迹在很大程度上未被检验。我们推出 StreamMemBench,这是一个流式基准,围绕 EgoLife 自我中心流中的每个证据锚点构建两步任务序列。初始任务测试证据使用,后续任务测试反馈和交互经验是否被复用。四项指标分别诊断证据回忆、初始证据使用、反馈整合和后续复用。在两个骨干网络上对八个记忆系统进行的实验表明,当前系统往往无法使用观察到的证据或将反馈转化为可靠的后续行为,即使证据已被存储或反馈已在局部被整合。StreamMemBench 已在 此 https URL 公开可用。
| 评论: | 已被 EMNLP 2026 Findings 接收 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2606.14571 [cs.AI] |
| (或 arXiv:2606.14571v3 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2606.14571 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | Findings of the Association for Computational Linguistics: EMNLP 2026, pages 20947-20960, Budapest, Hungary, October 24-29, 2026. Association for Computational Linguistics |
| 相关 DOI: | https://doi.org/10.18653/2026.findings-emnlp.992
链接到相关资源的 DOI |
提交历史
来自:Guanming Liu [查看电子邮件]
[v1]
2026年6月12日星期五 15:48:43 UTC(773 KB)
[v2]
2026年8月26日星期三 13:12:16 UTC(776 KB)
[v3]
2026年11月5日星期四 08:50:47 UTC(773 KB)
来源:arXiv cs.AI · arxiv.org