arXiv cs.AI· Xinyuan Song, Zekun Cai·· 13 小时前AI 评分38
长程语言智能体的重尾记忆痕迹研究
Heavy-Tailed Memory Traces in Long-Horizon Language Agents
AI 导读
研究发现长程语言智能体的外部记忆使用呈重尾分布：少数状态被频繁检索，大量状态极少被访问且更易出现预测错误，该现象可复现但强依赖检索策略，从随机游走的对数正态模式到语义 LLM 策略的截断幂律重尾。
正文 · AI 翻译
摘要：长程语言智能体在需要持续交互、规划以及基于长轨迹推理的任务中正变得越来越重要。外部记忆在这些智能体中起着核心作用，它能在有限的上下文窗口之外保存过去的状态、转移和经验。然而，现有记忆系统通常主要通过任务成功率和 token 成本来评估，对记忆使用如何在存储信息之间分布关注甚少。我们表明，重复检索会产生重尾的记忆使用分布，即一小部分状态被频繁访问，而许多其他状态很少被检索，且更容易出现预测错误。我们通过对检索策略和图结构进行系统性的尾部审计来研究这一现象。我们发现，记忆集中现象是可复现的，但强烈依赖于策略，从随机游走下符合对数正态的模式，到语义 LLM 策略下符合截断幂律的重尾。受这些发现启发，我们提出了 Core-Tail Memory Controller（CTMC），一种基于排名的记忆控制器，它用单一指数 $\tau$ 分配提示预算，同时保留来自尾部的摘要信息。在 Synthetic Graph World 和 ALFWorld 上，CTMC 在保持性能的同时大幅降低了记忆使用量，而在 LongMemEval 上，它在保持总体准确率的同时将提示 token 减少了 24.48%。这些结果表明，重尾记忆使用既是长程智能体记忆的一个可测量属性，也是提升记忆效率的一个实用信号。
| 评论： | 审稿中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.00010 [cs.AI] |
| （或 arXiv:2610.00010v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.00010 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zekun Cai [查看邮箱]
[v1]
2026年7月9日星期四 15:00:39 UTC（3,093 KB）
[v2]
2026年10月29日星期四 14:11:41 UTC（3,650 KB）
来源：arXiv cs.AI · arxiv.org