研究：非前缀KV缓存复用修复预算如何分配

Yuxing Peng等作者提交的论文在三个7B-8B模型和四个数据集（对话记忆、开放域问答、API文档）上考察非前缀KV缓存复用中修复预算的分配。研究发现，复用会丢失全量预填充本可回答的19%-100%上下文相关问题。 研究还发现，当干扰块与目标块属于同类时，损失更大。作者据此讨论小修复预算应花在何处，以及上下文兼容性的影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。