arXiv cs.AI· Lisong He, Yunxuan Jiang, Haishan Ye, Xiangyu Chang·· 3 天前AI 评分26
ZOIF：仅用前向传播的零阶影响函数估计，实现 LLM 数据选择
ZOIF: Zeroth-Order Influence Function Estimation for LLM Data Selection Using Only Forward Passes
AI 导读
ZOIF 是一个仅通过前向传播完成影响函数估计的零阶框架，用于大语言模型的数据选择，无需反向传播。它将影响估计分解为三步无 BP 流程：零阶估计平均代理梯度、以辅助零阶优化求解逆 Hessian 向量积、再沿参数更新方向用前向有限差分得出每样本影响分数。实验显示其选出的数据子集下游效用与基线相当甚至更优，同时峰值内存显著降低、总计算时间相近。
正文 · AI 翻译
摘要：影响函数能够为大型语言模型实现有原则的数据选择（例如，为模型编辑、调试或高效微调识别有影响力的训练样本）。然而，将影响函数扩展到大型语言模型受到数十亿规模 Hessian 矩阵难以处理以及反向传播（BP）内存开销过高的阻碍。尽管许多经典的影响函数近似方法降低了 Hessian 复杂度，但它们仍依赖反向传播来计算梯度，需要为中间激活值存储大量数据，这阻碍了大规模的实际数据选择。为解决这一问题，我们提出了 ZOIF，一种完全通过前向传播进行影响估计的零阶框架，能够在资源受限的情况下实现内存高效的数据选择。ZOIF 将影响估计分解为三个无需反向传播的阶段：（1）通过零阶估计近似平均代理梯度；（2）将逆 Hessian 向量积重新表述并求解为辅助零阶优化，以绕过显式求逆；（3）沿先前计算得到的参数更新方向，通过前向有限差分推导出每个样本的影响分数。实验表明，ZOIF 选择的数据子集在下游效用上与所评估的基线方法相当，在某些情况下甚至更优，同时峰值内存成本大幅降低，整体计算时间也相当。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15336 [cs.LG] |
| （或使用 arXiv:2610.15336v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.15336 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lisong He [查看邮箱]
[v1]
2026年10月11日星期日 04:25:40 UTC（249 KB）
来源：arXiv cs.AI · arxiv.org