WAKMan:按实时流量选KV缓存淘汰策略
热点事件持续更新
WAKMan:按实时流量选KV缓存淘汰策略
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Suhas Kumar Morisetty 等作者提交论文,提出工作负载感知的 KV 缓存淘汰策略管理器 WAKMan。据论文,它无需知道请求类型或读取提示词,即可根据实时流量选择淘汰策略,平均将缓存命中率较 LRU 提升 5 个百分点,并在所比较的策略中取得最低的平均与最差情况最优性差距。
AI 根据报道生成 · 32 分钟前更新
最新进展10月28日 12:00
WAKMan:负载感知的 KVCache 管理器报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.AIWAKMan:负载感知的 KVCache 管理器
WAKMan 是一个负载感知的 KV cache 管理器,无需知道请求类型或读取提示词,即可根据实时流量选择淘汰策略,平均将命中率较 LRU 提升 5 个百分点,并在所有策略中取得最低的平均与最差情况最优性差距。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。