arXiv cs.CL· Xiaobing Yu, Peijie Qiu, Jin Yang, Xuanzhao Dong, Weiwei Ma, Zhaoqi An, Xiaoqi Zhao, Xiaofeng Liu·· 9 天前AI 评分24
LadderEdit：面向 LLM 终身编辑的内存高效编辑级残差压缩
LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs
AI 导读
LadderEdit 通过压缩每次编辑获取的 LoRA adapter 来降低 LLM 终身编辑的存储开销：每个编辑先以低秩 sketch 存储，若在探测提示上仍满足重写、泛化与局部性契约则保留，否则沿阶梯提升秩直至满足。
正文 · AI 翻译
摘要：大语言模型（LLM）的终身编辑需要在获取后存储数千次编辑。一类广泛使用的方法为每次编辑附加一个 LoRA 适配器，这能保持行为不变，但存储量会线性增长。为应对这一挑战，我们提出 LadderEdit，一种在每次获取 LoRA 适配器后对其进行压缩的方法。每次编辑首先以低秩形式存储为一个廉价的草图。然后我们检查该草图在探测提示上是否仍满足重写、泛化和局部性契约。通过检查的编辑保留该草图；未通过的编辑则沿阶梯提升到更高的秩，直到满足契约。由于每次编辑都保留某种表示，覆盖率得以维持，且只有困难的编辑才会消耗更多秩。在 LLaMA-3-8B、Mistral-7B 和 Qwen2.5-7B 上的 ZsRE、CounterFact 和 WikiBigEdit 基准测试中，LadderEdit 以少 5.2 倍的内存达到与精确 LoRA 存储相当的效果，并在 50,000 次顺序编辑时仍保持有效。
| 评论： | EMNLP 2026 主会议长论文 |
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.11160 [cs.CL] |
| （或使用 arXiv:2610.11160v1 [cs.CL] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.11160 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaofeng Liu [查看电子邮件]
[v1]
2026年10月8日星期四 03:20:35 UTC（531 KB）
来源：arXiv cs.CL · arxiv.org