EntropyCache：以解码熵引导扩散语言模型 KV 缓存

Minsoo Cheong 等作者提出免训练的 KV 缓存方法 EntropyCache，用新解码 token 分布的最大熵作为判断是否重算缓存的信号。作者称该信号开销恒定，每步仅需 O(V) 计算，与上下文长度和模型规模无关。 该方法面向扩散语言模型的 KV 缓存管理，目前仅有论文层面的方法描述，报道未给出实验效果或与其他缓存策略的对比结果。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。