arXiv cs.AI· Jia Gu, Liang Pang, Huawei Shen·· 13 小时前AI 评分27
CIGA：面向 LLM 指令数据选择的内容不变梯度归因方法
Robust LLM Data Selection via Content-Invariant Gradient Attribution
AI 导读
研究者提出内容不变梯度归因框架 CIGA，用于 LLM 指令微调中的数据选择，缓解现有全局梯度归因方法对措辞、格式等表面形式扰动敏感、归因分数不一致的表面形式偏差问题。CIGA 先筛选对归因有影响且在语义保持扰动下稳定的层，再将归因信号与输入语义表示动态融合。多基准实验显示，CIGA 在表面形式扰动下排序更稳定，保持下游能力并提升平均性能，同时降低归因成本。
正文 · AI 翻译
摘要：基于梯度的数据归因已成为大语言模型（LLM）指令微调中高质量数据选择的重要工具，因为它通过训练样本对模型优化的影响来估计其贡献。然而，我们发现现有的全局梯度归因方法存在表面形式偏差：对语义无关细节（如措辞或格式）的微小改动，即使底层内容保持不变，也可能产生高度不一致的归因分数。为解决这一问题，我们提出了内容不变梯度归因（CIGA），一个用于指令数据选择的稳健框架。CIGA 首先识别那些梯度既对归因有影响、又在保持语义的表面形式扰动下保持稳定的层，从而减少梯度特征中的格式噪声。然后，它将这些归因信号与输入的语义表示动态融合，将优化层面的影响与内容层面的信息结合起来。在多个基准上的大量实验表明，CIGA 在表面形式扰动下产生更稳定的排序，同时保持下游能力并提升平均性能。CIGA 还降低了归因成本，为 LLM 指令微调的数据选择提供了一种稳健且高效的方法。
| 评论： | 16 页，8 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36755 [cs.LG] |
| （或 arXiv:2610.36755v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36755 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jia Gu [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 07:12:01 UTC（777 KB）
来源：arXiv cs.AI · arxiv.org