arXiv cs.CL· Zihe Song, Wenting Zhao, Ye Liu, Yuanjie Zhu, Ke Xu, Shanghao Li, Philip S. Yu·· 11 小时前AI 评分38
SpecMem：通过实时记忆管理加速智能体工具调用
SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management
AI 导读
SpecMem 提出一种在部署期间持续维护的工具调用记忆机制，将已验证的调用在线写回带 LRU 淘汰的有界用户级存储，并用副作用门控延迟不可逆调用。在三个开源权重模型的多会话多用户查询流上，SpecMem 相比冻结存储将平均接受 token 数提升 27%（各基准 +11% 至 +34%），实际耗时最高加速 1.74 倍。
正文 · AI 翻译
摘要：工具调用智能体大多针对准确性进行优化；然而在部署中，其不断增长的成本在于延迟：每次工具调用都是自回归解码的。推测解码可以在不改变输出的情况下加速这一过程，而检索到的历史调用在真实使用中能构成强有力的草稿，因为每个用户的行为往往具有重复性。然而，现有系统要么不保留跨会话记忆，要么在构建一次草稿存储后便不再更新。我们提出 SpecMem，一种在部署全程保持存活并受管理的工具调用记忆：经过验证的调用会在线写回有界的按用户存储，并采用 LRU 淘汰；副作用门控会推迟不可逆调用，直到验证确认。在由三个开放权重模型服务的多会话、多用户查询流上，冻结的存储会持续损失接受率，而 SpecMem 则能保持：平均接受 token 数相差 27%（各基准上为 +11% 至 +34%，与存储构建后新工作到达的量相关），实际耗时加速最高达 1.74 倍。消融实验将增益几乎完全归因于保持存储存活；按用户的本地作用域不增加接受率，但关闭了一条经实测的跨用户泄漏通道；而基于声明的副作用而非检索置信度进行门控，才是消除不可逆错误的关键。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31840 [cs.CL] |
| （或 arXiv:2610.31840v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31840 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihe Song [查看邮箱]
[v1]
2026年10月22日星期四 19:24:21 UTC（117 KB）
来源：arXiv cs.CL · arxiv.org