arXiv cs.AI· Jiaxing Wang, Zicheng Zhang, Deping Xiang, Jin Xu, Yong Li, Chao Liu, Pengzhang Liu, Qixia Jiang·· 13 小时前AI 评分39
数据策展如何影响 LLM 训练：是提升上限还是加速收敛？
Advancement or Acceleration? How Data Curation Improves LLM Training
AI 导读
一项 arXiv 论文区分了数据策展的“提升”（advancement，提高可达性能）与“加速”（acceleration，用更少数据达到同等性能），指出提升需要存在可修正的训练-目标差距。
正文 · AI 翻译
摘要：尽管数据整理被广泛认为能够改善大语言模型的训练效果，但一个基本问题仍未得到解答：数据整理是扩展了模型最终能够学到的东西，还是仅仅更快地达到相同的解？本文形式化了这种区分，即提升（改善可达到的性能）与加速（用更少的数据达到相同性能）。通过解析刻画和真实世界的 LLM 实验，我们表明提升需要一个可纠正的训练-目标差距。当基线训练目标与目标目标一致时，没有任何数据整理策略能改善最终结果，尽管数据整理仍可能加速训练。这将提升重新定义为数据整理任务本身的属性，而非数据整理方法的属性。在数据混合与选择的常见差距中心视角下，我们将这一条件操作化为 $\Delta$-检验，即未整理基线的训练损失与目标损失之间可观测的差异，且可在昂贵的整理之前计算。在大量实验中，明显非零的 $\Delta$ 预示着持续增益，而接近 $\Delta=0$ 的增益往往随着训练预算增长而减弱。除个别方法之外，我们的发现将数据整理重新聚焦于任务本身，并指出目标集构建是塑造数据整理所能实现效果的一个有前景的方向。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36983 [cs.LG] |
| （或 arXiv:2610.36983v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36983 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiaxing Wang [查看邮箱]
[v1]
2026年10月27日 星期二 10:34:29 UTC（227 KB）
来源：arXiv cs.AI · arxiv.org