SpecMem：在线记忆管理加速工具调用

Zihe Song 等人提出 SpecMem，一种在部署期间持续维护的工具调用记忆机制：已验证的调用会在线写回带 LRU 淘汰的有界用户级存储，不可逆调用则由副作用门控延迟到验证确认后再执行。 在三个开源权重模型的多会话多用户查询流上，SpecMem 相比冻结存储将平均接受 token 数提升 27%（各基准 +11% 至 +34%），实际耗时最高加速 1.74 倍。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。