KV-Cache 补丁追踪微调行为来源
热点事件持续更新
KV-Cache 补丁追踪微调行为来源
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Jonas Loos 与 Oliver Eberle 发表论文，用 KV cache 补丁追踪 LoRA 微调行为如何以及在何处产生。研究把微调模型的 KV cache 补丁进未修改的基座模型，并做反向操作：德语回复、涌现性失配等行为可从微调模型转移到基座模型，反向补丁则能部分或完全移除微调行为。 补丁效果随 KV cache 补丁比例增大而增强，并集中在少数关键位置，其中 system prompt 与 chat template token 的影响尤为显著。
AI 根据报道生成 · 55 分钟前更新
最新进展11月2日 13:00
KV-Cache Patching：追踪微调行为如何以及在何处产生报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.CLKV-Cache Patching：追踪微调行为如何以及在何处产生
研究通过将 LoRA 微调模型的 KV cache 补丁进未修改的基座模型（及反向操作），验证微调行为是否可随 KV cache 迁移。结果显示，德语回复、涌现性失配等行为可从微调模型转移至基座模型，反向补丁则能部分或完全移除微调行为。补丁效果随 KV cache 补丁比例增大而增强，并集中在少数关键位置，system prompt 与 chat template token 影响尤为显著。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。