KV Packet:免重算的上下文无关KV缓存框架
热点事件持续更新
KV Packet:免重算的上下文无关KV缓存框架
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Chuangtao Chen 等作者提出免重算的 KV 缓存复用框架 KV Packet,把缓存文档当作不可变的“packet”,用轻量可训练软 token 适配器包裹,并通过自监督蒸馏弥合上下文不连续。 作者称,在 Llama-3.1 和 Qwen-3 上的实验显示,该方法实现近零 FLOPs,TTFT 低于基于重计算的基线,F1 分数与完全重计算基线相当。该工作已被 NeurIPS 2026 接收。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
KV Packet:面向 LLM 的免重计算、上下文无关 KV 缓存报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIKV Packet:面向 LLM 的免重计算、上下文无关 KV 缓存
KV Packet 是一种免重计算的 KV 缓存复用框架,将缓存文档视为不可变的“packet”,并用轻量可训练软 token 适配器包裹,通过自监督蒸馏弥合上下文不连续。在 Llama-3.1 和 Qwen-3 上的实验显示,该方法实现近零 FLOPs,TTFT 低于基于重计算的基线,同时 F1 分数与完全重计算基线相当。该工作已被 NeurIPS 2026 接收。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。