arXiv cs.CL· Yuxuan Gu, Kequan Niu, Xiaocheng Feng, Yun Li, Yiqiao Yang, Bing Qin·· 6 天前AI 评分22
CIG-SFT：面向可泛化后训练的条件信息增益方法
What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training
AI 导读
研究者提出 CIG-SFT，一种信息论框架，通过对比冻结参考模型在有/无任务输入时的 token 似然，估计每个示范 token 携带的任务条件信息增益，并将其转化为 KL 正则化的策略投影，导出等价的标量加权 SFT 目标。在数学推理与代码生成基准上，CIG-SFT 持续优于标准 SFT 和近期自适应微调基线，在困难评测分布上的泛化提升尤为明显，且无需额外训练数据或在线 rollout。
正文 · AI 翻译
摘要：监督微调（SFT）仍然是大型语言模型后训练中广泛使用的方法，因为固定的示范可以直接引入所需的推理策略和行为模式。然而，强迫模型模仿外部提供的轨迹也可能干扰预训练已经支持的行为，限制其在训练分布之外的泛化能力。近期的动态 SFT 方法通过根据模型侧信号（如预测概率、先验支持度或分布兼容性）对 token 级监督重新加权来缓解这一问题。然而，模型兼容性并不等同于学习价值：一个当前模型支持较弱的 token 可能是不希望出现的错配，也可能恰恰是示范旨在教授的任务特定决策。我们提出 CIG-SFT，一个信息论框架，用于估计每个被示范 token 所携带的任务条件信息。在教师强制下，我们在保持黄金解前缀固定的同时，比较冻结参考模型在有和没有访问任务输入时的 token 似然。由此得到的条件信息增益量化了任务本身在多大程度上降低了对被示范决策的不确定性。然后我们将该信息转换为当前策略的 KL 正则化投影，并推导出一个等价的标量加权 SFT 目标，其 logit 梯度与投影目标的梯度完全一致。在数学推理和代码生成基准上，CIG-SFT 持续优于标准 SFT 和近期的自适应微调基线，在向具有挑战性的评估分布泛化方面改进尤为显著，同时既不需要额外训练数据，也不需要在线 rollout。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12995 [cs.CL] |
| （或 arXiv:2610.12995v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12995 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuxuan Gu [查看电子邮件]
[v1]
2026年10月9日星期五 04:57:55 UTC（496 KB）
来源：arXiv cs.CL · arxiv.org