arXiv cs.AI· Shrestha Datta, Hongfu Liu, Anshuman Chhabra·· 10 小时前AI 评分29
黄金层在哪里：通过层梯度分析改进大语言模型的知识编辑
Golden Layers and Where to Find Them: Improved Knowledge Editing for Large Language Models Via Layer Gradient Analysis
AI 导读
研究提出 Layer Gradient Analysis（LGA）方法，通过梯度归因高效估计知识编辑的“黄金层”，避免在多次编辑运行中反复试错。作者假设存在固定黄金层可达到接近逐样本最优层的编辑效果，并用代理数据集识别这些层、验证其可泛化到未见测试集查询。在多个基准数据集上的实验显示，LGA 在不同 LLM 类型和多种知识编辑方法下均表现有效且稳健，该工作已被 NeurIPS 2026 主会接收。
正文 · AI 翻译
摘要：大型语言模型（LLM）中的知识编辑旨在将模型对特定查询的预测更新为期望的目标，同时保持其在所有其他输入上的行为不变。该过程通常包括两个阶段：确定要编辑的层并执行参数更新。直观上，不同查询可能将知识定位在模型的不同深度，从而导致在固定编辑层下不同样本的编辑表现不同。在本工作中，我们假设存在固定的黄金层，能够实现与样本级最优层相近的近乎最优的编辑性能。为验证这一假设，我们通过将黄金层与真实样本级最优层进行比较，提供了实证证据。此外，我们表明黄金层可以通过代理数据集可靠地识别，并能有效泛化到跨数据集的未见测试集查询。最后，我们提出了一种新方法，即层梯度分析（LGA），它通过梯度归因高效地估计黄金层，避免在多次编辑运行中进行大量试错。在多个基准数据集上的大量实验证明了我们的 LGA 方法在不同 LLM 类型和各种知识编辑方法上的有效性和鲁棒性。
| 评论： | 已被 NeurIPS 2026 主会议接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.20207 [cs.LG] |
| （或 arXiv:2602.20207v4 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2602.20207 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anshuman Chhabra [查看邮箱]
[v1]
2026年2月22日 周日 22:55:11 UTC（4,290 KB）
[v2]
2026年3月27日 周五 00:35:29 UTC（4,269 KB）
[v3]
2026年5月14日 周四 19:27:02 UTC（6,768 KB）
[v4]
2026年11月4日 周三 15:20:35 UTC（1,814 KB）
来源：arXiv cs.AI · arxiv.org