arXiv cs.AI· Hochan Son, Kyungdoe Han, Jaehan Koh, Xiaowu Dai, Wenlu Xu, Guang Cheng·· 10 天前AI 评分42
多智能体 LLM 推理中的持久记忆：代价、收益与可辨识性
Persistent Memory in Multi-Agent LLM Inference: What It Costs, What It Buys, and When You Can Tell
AI 导读
一项在三层智能体架构上的测量显示，将长上下文推理分解到多个协作智能体，可把每查询峰值 KV 工作集降至 14.3 MiB，而单次推理与检索增强基线分别为 35.5 和 35.3 MiB。
正文 · AI 翻译
摘要：将长上下文推理分解到多个协作智能体上，限制的是每次调用时的活跃 KV 缓存，而非总证据量，这在 KV 缓存内存成为瓶颈时尤为重要。许多此类系统会增加一个持久层来存储和召回推理轨迹，通常通过消融实验报告准确率提升来验证。我们在一个三层智能体架构上对两者都进行了测量。分解确实有效：每次查询的峰值 KV 工作集为 14.3 MiB，而单次推理和检索增强基线分别为 35.5 和 35.3 MiB。持久层则无效：在八个受控数据集对上，每组 n=100，它使峰值缓存增加 +0.368 MiB [+0.167, +0.590]，且未产生可检测的准确率变化（+0.015，95% CI [-0.011, +0.046]）。我们认为这一零结果是结构性的：单问题基准为每个条目提供其自身的证据并独立评分，且正确性要求在条件之间重置已存储的轨迹，因此召回没有任何有信息量的内容可供检索。得出这一结论经历了四次测量修正——其中三次夸大了表面收益，第四次使该量级的效应看起来可分辨——这些在结果表中均不可见。我们给出了智能体记忆消融实验必须满足的条件，以及无需了解具体缺陷的检测流程。
| 评论： | 13 页，1 幅图。被 NeurIPS 2026 机器学习系统研讨会接收为海报展示 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG） |
| ACM 分类： | C.4；I.2.7；I.2.11 |
| 引用为： | arXiv:2610.07782 [cs.AI] |
| （或 arXiv:2610.07782v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07782 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Hochan Son [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 05:17:44 UTC（1,598 KB）
来源：arXiv cs.AI · arxiv.org