arXiv cs.CL· Bingqing Liu, Wei Liu, Jun Wang, Xiaobo Sun, Yuhua Li, Ruixuan Li·· 11 小时前AI 评分32
GEdit：用几何感知正则化编辑大语言模型
Editing Large Language Models with Geometry-Aware Regularization
AI 导读
GEdit 是一个基于 Low-Rank Plus Diagonal（LR+D）因子模型的几何感知知识编辑框架，通过低秩正则化保护核心知识子空间、并按编辑难度自适应调整正则强度。在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上，最多 10,000 次连续更新的 mini-batch 与全序列编辑场景中，其编辑成功率与知识保留均显著优于现有最优基线。
正文 · AI 翻译
摘要：知识编辑已成为更新大语言模型知识的一项关键技术。然而，现有方法忽视了知识表示空间的几何结构，导致两个关键局限：它们无法区分哪些预训练知识应被优先保留（核心与非核心），也无法判断哪些新编辑本身较为困难（难与易）。为此，我们提出 GEdit，一个基于低秩加对角（LR+D）因子模型的几何感知框架，该模型捕捉了 Transformer FFN 隐藏表示的内在低秩结构。GEdit 具有两个互补机制。首先，低秩正则化对低秩核心知识子空间施加针对性保护。其次，自适应正则化根据每个编辑请求的可编辑性动态调整正则化强度：对困难编辑放宽约束以确保成功，对容易编辑收紧约束以更好地保留预训练知识。在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上，在大规模编辑场景下（包括小批量与完全顺序编辑设置，最多 10,000 次连续更新）的大量实验表明，GEdit 在编辑成功率和知识保留两方面均持续且显著优于最先进的基线方法。
| 评论： | 正文 10 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06185 [cs.CL] |
| （或 arXiv:2611.06185v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06185 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bingqing Liu [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 09:02:10 UTC（279 KB）
来源：arXiv cs.CL · arxiv.org