跳到正文
arXiv cs.CL· Hyunji Lee, Justin Chih-Yao Chen, Joykirat Singh, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal·· 10 小时前AI 评分40

MINTEval:评估长程智能体系统在多目标干扰下的记忆能力

MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems

AI 导读

研究者提出 MINTEval 基准,用于评估记忆增强智能体在长程、高干扰场景下的表现,包含 15.6k 问答对,上下文平均 138.8k tokens、最长 1.8M tokens,覆盖状态追踪、多轮对话、Wikipedia 修订与 GitHub 提交四类领域。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:现实世界中的智能体在漫长且不断演化的时间跨度上运行,信息会被反复更新,并可能在记忆之间相互干扰,因此需要对多条信息进行准确回忆和聚合推理。然而,现有基准测试侧重于静态、独立的回忆,未能捕捉演化记忆之间的这些动态交互。本文研究当前记忆增强型智能体在真实、干扰密集、长跨度设置下,跨不同领域和问题类型的表现。我们提出 MINTEval(干扰下的长跨度记忆评估),该基准具有以下特点:(1) 长且高度互联的上下文,信息频繁更新,从而引发大量干扰;(2) 多样化的领域(状态跟踪、多轮对话、维基百科修订和 GitHub 提交),可用于评估领域泛化能力;(3) 多样化的问题类型,用于评估对干扰的鲁棒性,包括 (i) 单目标回忆任务,要求从长上下文中检索特定目标,以及 (ii) 多目标聚合任务,要求对多条相关信息进行推理。总体而言,MINTEval 包含 15.6k 个问答对,其长跨度上下文平均为 138.8k 个 token,每个实例最多可达 1.8M 个 token。我们评估了 7 个代表性系统,包括原生长上下文 LLM、RAG 和记忆增强型智能体框架。在所有系统中,我们观察到性能持续偏低(平均准确率 27.9%),尤其是在需要对多条证据进行聚合推理的问题上。我们的分析表明,性能主要受限于检索和记忆构建。此外,当前记忆系统难以回忆和推理那些被后续上下文修订或干扰的早期事实,且随着中间更新次数的增加,准确率会下降。
评论: NeurIPS 2026(Camera-Ready);共同贡献;顺序由抛硬币决定。代码和数据:this https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2605.18565 [cs.CL]
  (或 arXiv:2605.18565v3 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.18565

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Hyunji Lee [查看邮箱]
[v1] 2026年5月18日星期一 15:43:35 UTC(332 KB)
[v2] 2026年5月19日星期二 16:05:55 UTC(332 KB)
[v3] 2026年11月19日星期四 18:16:11 UTC(313 KB)

来源:arXiv cs.CL · arxiv.org