CausalMix：把数据混合优化转为因果推断

Zinan Tang 等作者提出 CausalMix，将语言模型的数据混合优化建模为因果推断问题：把数据池统计特征作为协变量、领域混合比例作为处理变量。作者称，该方法在 Qwen2.5-0.5B 上完成 512 次训练并拟合因果模型，估计条件平均处理效应（CATE），再外推到 800K 数据池，得到最优混合比例，用于训练 7B 模型。报道未披露该 7B 模型相对其他混合方法的实际效果对比。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。