arXiv cs.AI· Jiaqi Shao, Yiyi Lu, Yunzhen Zhang, Bing Luo·· 13 小时前AI 评分40
智能体记忆的规模条件化评估：无关会话累积下证据何时失效
When Stored Evidence Stops Being Usable: Scale-Conditioned Evaluation of Agent Memory
AI 导读
研究提出一种规模条件化评估协议，在保持任务证据固定的前提下持续加入无关会话，用四项诊断指标衡量智能体记忆的可用性边界。在 LongMemEval 上，HippoRAG 虽未超出两次调用预算，但预算合规可靠性下降 16-20 个百分点；LiCoMemory 的失败则强依赖智能体，Qwen3-8B 超出预算而 Qwen3-32B 与 Qwen3-235B 在测试范围内保持可靠。
正文 · AI 翻译
摘要：记忆智能体评估报告的是固定快照准确率或检索质量，但这些分数并不能说明当无关会话（未被标注为查询任务相关证据的会话）不断累积时，证据是否仍然可用。我们提出一种在证据保留式增长下针对智能体记忆的规模条件化评估协议：对每个查询，任务证据保持固定，同时添加无关会话。该协议记录智能体记忆轨迹，并报告四项诊断指标：预算合规可靠性、尾部记忆调用负担、失败机制分解，以及可靠性降至目标以下的可用规模边界。将该协议应用于 LongMemEval 和 LoCoMo，覆盖扁平、平面和分层记忆接口，结果表明可靠性损失并非单一现象。在 LongMemEval 上，HippoRAG 保持在两次调用预算之内，但随着无关会话的添加，其预算合规可靠性下降 16-20 个百分点；LiCoMemory 的观测失败强烈依赖于智能体，Qwen3-8B 超出预算，而 Qwen3-32B 和 Qwen3-235B 在测试范围内保持可靠。该结果支持一个框架，使可扩展记忆的主张以智能体、接口、规模范围和交互预算为条件。代码与评估工件：此 https URL
| 评论： | 已被 NeurIPS 2026 评估与数据集 Track 接收（海报）。已更新为相机就绪版本。25 页，包括参考文献和附录 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7; H.3.3 |
| 引用为： | arXiv:2605.07313 [cs.AI] |
| （或 arXiv:2605.07313v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.07313 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yiyi Lu [查看邮箱]
[v1]
2026年5月8日星期五 06:22:31 UTC（1,169 KB）
[v2]
2026年10月29日星期四 07:34:59 UTC（1,355 KB）
来源：arXiv cs.AI · arxiv.org