LinMix：将数据混合视为线性领域归因

查看 PDF HTML（实验性）

摘要：语言模型的性能在很大程度上取决于预训练数据语料库中领域混合的构成。主流的数据混合方法通过在许多随机混合上训练小型代理模型，再拟合回归模型以根据混合预测性能，从而选择这些领域权重。我们将这一做法视为领域归因问题，其中回归衡量每个领域对目标指标的贡献。从这个视角看，代理数据混合的标准 Dirichlet 采样是一种糟糕的回归设计，它需要调参，且无法支持数百个领域的线性拟合。基于经典最优实验设计，我们提出 LinMix，它在有上限单纯形的顶点处采样混合，使每个领域处于其上限或缺失。这种无超参数的顶点采样使领域效应去相关，从而得到一个可解释的线性模型，其系数即为领域归因。LinMix 给出的最优混合可证明只保留归因值为正的领域，且无需在候选混合中搜索。我们进一步确立了顶点采样的最优性，并证明当 Dirichlet 采样的混合集中于先验数据混合附近时，会放大归因误差。使用 1B 参数 OLMo2 和 4B Qwen3.5 语言模型进行的预训练实验表明，LinMix 在推理、代码和数学基准上优于基于 Dirichlet 的数据混合，在 MBPP 上相对提升 46%，在 GSM8K 上相对提升 14%。在 288 个细粒度领域下，只有顶点采样支持线性拟合，且 LinMix 相比最佳非线性基线平均提升基准准确率 11%。

评论：	NeurIPS 2026 规模模型行为归因研讨会
主题：	机器学习（cs.LG）；计算与语言（cs.CL）；机器学习（stat.ML）
引用为：	arXiv:2610.37390 [cs.LG]
	（或 arXiv:2610.37390v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.37390 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Hubert Baniecki [查看邮箱]
[v1] 2026年10月27日星期二 15:14:31 UTC（651 KB）