arXiv cs.CL· Dongyao Chen, Jiayun Lei, Zhiyuan Ji, Zhiying Deng, Wei Liu, Xiaobo Sun·· 10 小时前AI 评分24
从源头分配容量：面向 LLM 知识编辑的稀疏目标优化
Capacity Allocation at the Source: Sparse Target Optimization for LLM Knowledge Editing
AI 导读
研究提出一种 ℓ1 正则化方法，通过剪除知识向量中多余的“触须”、仅保留必要分量，减少 LLM 知识编辑时对其他知识的干扰。作者从理论上证明参数空间干扰与目标隐藏状态之间的干扰正相关，并在多个 LLM 和基准数据集上验证了该方法的效果。代码已公开。
正文 · AI 翻译
摘要：知识编辑已成为一种颇具前景的方法，可高效更新大语言模型（LLM）中内嵌的知识。它首先计算一个理想的目标隐藏状态，引导 LLM 趋向新的输出，然后编辑模型参数，使原始隐藏状态映射到该目标状态。现有方法大多关注参数编辑的第二阶段，以保留其他知识，但我们发现，目标隐藏状态的上游构建在分配模型有限容量空间方面同样起着重要作用。我们首先在参数空间中的干扰与目标隐藏状态之间的干扰之间建立了理论联系，表明二者呈正相关。基于这一洞见，我们提出了一种简单而有效的 $\ell_1$ 正则化方法，剪除每个知识向量中不必要的“触须”，仅保留关键成分。由于多余触须减少，每次编辑对其他知识的影响也随之减小，从而实现更好的共存。在多个 LLM 和基准数据集上的大量实验验证了我们方法的有效性。代码：this https URL。
| 评论： | neurips2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.12995 [cs.CL] |
| （或 arXiv:2611.12995v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12995 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lei Jiayun [查看邮箱]
[v1]
2026年11月8日星期日 13:28:43 UTC（260 KB）
来源：arXiv cs.CL · arxiv.org