arXiv cs.CL· Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Qing Cui, Jun Zhou, Yujun Wang, Biqing Huang·· 14 小时前AI 评分31
CausalMix：将数据混合建模为因果推断的语言模型训练方法
CausalMix: Data Mixture as Causal Inference for Language Model Training
AI 导读
CausalMix 将数据混合优化转化为因果推断问题，把数据池统计特征作为协变量、领域混合比例作为处理变量，在 Qwen2.5-0.5B 上完成 512 次训练拟合因果模型估计 CATE，再外推至 800K 数据池的最优混合比例用于训练 7B 模型。
正文 · AI 翻译
摘要：在大语言模型（LLM）训练中，数据混合对决定模型性能起着关键作用。近期方法通过代理模型优化混合权重，但它们依赖于静态数据分布的假设。因此，当底层数据池发生变化时，这些方法需要从头进行代价高昂的重新训练。这一局限限制了它们从小规模设置无缝扩展到更大的数据池和模型规模的能力。本文提出 CausalMix，通过将数据混合优化视为因果推断问题来解决这一局限。我们将数据池的统计特征作为协变量，将领域混合作为处理。在 Qwen2.5-0.5B 的 512 次运行上拟合因果模型以估计条件平均处理效应（CATE）后，我们外推得到 800K 数据池的最优混合，并将其应用于训练一个 7B 模型。此外，我们成功将该框架推广到 Qwen3-4B-Base 上的长思维链数据。通过利用因果建模分离混杂偏差，CausalMix 离线推断状态相关的数据混合，且所选混合在每次训练运行期间保持固定。大量实验表明，与其他基线相比，由 CausalMix 引导的混合在下游任务上取得了有竞争力的性能。CATE 解释器可视化了学习到的混合策略。总体而言，CausalMix 为优化 LLM 数据混合提供了一个因果且可解释的框架。
| 评论： | 21 页，3 张图，已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.01104 [cs.LG] |
| （或本版本的 arXiv:2607.01104v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2607.01104 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zinan Tang [查看邮箱]
[v1]
2026 年 7 月 1 日星期三 15:56:11 UTC（510 KB）
[v2]
2026 年 10 月 26 日星期一 11:07:55 UTC（596 KB）
来源：arXiv cs.CL · arxiv.org