跳到正文
热点事件持续更新

WAKMan:按实时流量选KV缓存淘汰策略

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Suhas Kumar Morisetty 等作者提交论文,提出工作负载感知的 KV 缓存淘汰策略管理器 WAKMan。据论文,它无需知道请求类型或读取提示词,即可根据实时流量选择淘汰策略,平均将缓存命中率较 LRU 提升 5 个百分点,并在所比较的策略中取得最低的平均与最差情况最优性差距。

AI 根据报道生成 · 32 分钟前更新

最新进展10月28日 12:00
WAKMan:负载感知的 KVCache 管理器

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    WAKMan:负载感知的 KVCache 管理器

    WAKMan 是一个负载感知的 KV cache 管理器,无需知道请求类型或读取提示词,即可根据实时流量选择淘汰策略,平均将命中率较 LRU 提升 5 个百分点,并在所有策略中取得最低的平均与最差情况最优性差距。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。