跳到正文
热点事件持续更新

研究提出智能体缓存工程方案与AKV引擎

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Tianyu Fu等作者提出“缓存工程”方案,让LLM智能体通过drop和repos两种操作直接控制活跃KV cache,无需修改轨迹或重新预填充已保留的上下文。配套的AKV服务引擎提供无状态接口,在内部管理缓存复用、驱逐与恢复。 作者称实验显示,工具响应滚动drop策略使平均基准分数提升1.7分、平均成本降低27.7%,输出吞吐最高达1.2倍,P95请求延迟加速1.5倍。

AI 根据报道生成 · 50 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.CL
    面向智能体的缓存工程:AKV 服务引擎与 drop/repos 缓存操作

    研究提出“缓存工程”方案,让 LLM 智能体通过 drop 和 repos 两种操作直接控制活跃 KV cache,无需修改轨迹或重新预填充已保留上下文。配套的 AKV 服务引擎提供无状态接口并内部管理缓存复用、驱逐与恢复,实验显示工具响应滚动 drop 策略使平均基准分数提升 1.7 分、平均成本降低 27.7%,输出吞吐最高 1.2 倍、P95 请求延迟加速 1.5 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。