arXiv cs.AI· Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma·· 13 小时前AI 评分38
OP-Mix：贯穿预训练、中期训练与指令微调的在线数据混合算法
Always Learning, Always Mixing: Efficient and Simple Data Mixing All the Time
AI 导读
研究者提出 OP-Mix（On-Policy Mix）数据混合算法，将数据混合视为贯穿训练全程的在线决策问题，通过在当前模型上训练的低秩适配器之间插值来低成本模拟候选混合方案，无需单独的代理模型。
正文 · AI 翻译
摘要：数据混合决定如何组合不同来源或类型的数据，是贯穿语言模型训练全过程的重要问题。在预训练中，数据构成是决定模型质量的关键因素；在持续学习与适配中，它决定了模型保留什么、习得什么。然而，现有的数据混合方法每次只针对这一生命周期中的一个阶段：有些方法需要与单一训练阶段绑定的较小代理模型，有些方法假定领域集合固定，而持续学习则完全缺乏有原则的指导。我们认为，数据混合本质上是一个在线决策问题——它在整个训练过程中反复出现，需要单一、统一的解决方案。我们提出 OP-Mix（On-Policy Mix），一种可跨预训练、中期训练和指令微调运行的数据混合算法。我们的核心洞见是：候选数据混合可以通过在当前模型上直接训练的低秩适配器之间进行插值来低成本地模拟，从而无需单独的代理模型，并确保搜索始终基于模型实际的学习动态。在语言模型训练的整个生命周期中，OP-Mix 始终能找到接近最优的混合方案，同时只使用基线方法一小部分的计算量。在预训练中，OP-Mix 相比不进行混合的训练，平均困惑度改善了 6.3%。在持续学习中，OP-Mix 达到了重训练和同策略蒸馏两者的性能，同时总体计算量分别减少 66% 和 95%。OP-Mix 提出了对语言模型训练的一种不同视角：它不是一系列彼此独立的阶段，而是一个从数据中学习的单一连续过程。
| 评论： | NeurIPS 2026 定稿版 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2605.15220 [cs.CL] |
| （或本版本的 arXiv:2605.15220v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.15220 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Michael Hu [查看邮箱]
[v1]
2026年5月13日 星期三 02:29:19 UTC（1,322 KB）
[v2]
2026年10月28日 星期三 22:37:06 UTC（318 KB）
来源：arXiv cs.AI · arxiv.org