LowRAM：键值非对称的KV缓存压缩方法
热点事件持续更新
LowRAM：键值非对称的KV缓存压缩方法
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Teresa Delgado 等作者提交论文提出 LowRAM，一种键值非对称的 KV cache 压缩流程：对键做跨层低秩压缩，对值缓存做摊销式压缩。作者称该方法在三个模型家族上接近无损。 值摊销的做法是：测试时为每个注意力头拟合轻量预测器，只存重建最差 token 的残差；作者称由此实现 4× 近无损值压缩，4× 压缩下峰值解码吞吐最高提升 5×。 LowRAM 还可与量化、驱逐组合。作者称在长上下文下达到 26.9× 压缩，并保留基线 94.5% 的性能。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
LowRAM：用低秩键与摊销值实现可组合的测试时 KV cache 压缩报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.CLLowRAM：用低秩键与摊销值实现可组合的测试时 KV cache 压缩
LowRAM 提出一种非对称 KV cache 压缩流程，将跨层低秩键压缩与值缓存摊销结合，在三个模型家族上接近无损。其值摊销在测试时为每个注意力头拟合轻量预测器、仅存重建最差 token 的残差，实现 4× 近无损值压缩；4× 压缩下峰值解码吞吐最高提升 5×。LowRAM 还可与量化、驱逐组合，在长上下文下达到 26.9× 压缩并保留基线 94.5% 的性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。