arXiv cs.CL· Dimitri Kachler, Damien Sileo, Pascal Denis·· 11 小时前AI 评分26
Influcoder：将解码器梯度影响排名蒸馏进编码器，实现大规模数据归因
Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution
AI 导读
Influcoder 通过将解码器的梯度影响排名蒸馏进编码器，实现快速、低成本的大规模影响函数数据归因。现有影响函数方法虽有效，但处理速度和存储紧凑性不足，难以在大型数据集上实际部署。该论文已被 AACL-IJCNLP 2026 主会议接收。
正文 · AI 翻译
摘要：随着 LLM（大型语言模型）能力的增长，人们越来越倾向于通过过滤训练数据中的样本来整理高质量数据集。一般而言，数据归因（DA）方法旨在估计训练数据集中的单个样本如何使模型具备生成某些输出的条件。例如，人们可能想知道训练 LLM 后，数据中哪些样本可能是有害行为的来源。许多方法通过影响函数的范式来量化这种条件作用。虽然这一系列方法在其功能上是有效的，但它们缺乏必要的处理速度和存储紧凑性，无法在大型数据集上实际实施。我们提出了一种方法 Influcoder，作为一种快速且经济高效的方法，用于大规模基于影响的数据归因。
| 评论： | 已被 AACL-IJCNLP 2026（主会议）接收。9 页，4 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.13668 [cs.CL] |
| （或 arXiv:2606.13668v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.13668 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | IJCNLP-AACL 2026 论文集（第 2 卷：短文），第 780-788 页 |
提交历史
来自：Dimitri Kachler [查看电子邮件]
[v1]
2026 年 6 月 11 日星期四 17:58:33 UTC（366 KB）
[v2]
2026 年 11 月 5 日星期四 18:19:40 UTC（330 KB）
来源：arXiv cs.CL · arxiv.org