arXiv cs.AI· Yuelin Hu, Wei Liu, Zhenbo Yu, Zhengxue Cheng, Li Song·· 3 天前AI 评分24
GAC：面向混合 SFT-RL 后训练的噪声感知自适应混合方法
GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training
AI 导读
研究者提出噪声感知自适应控制器 GAC，通过最小化混合随机梯度的 MSE 上界推导出闭式混合权重 mu*，在线估计梯度噪声方差与 SFT-RL 分歧。
正文 · AI 翻译
摘要：结合监督微调（SFT）与强化学习（RL）的混合后训练是对齐大语言模型的标准范式，然而当两种信号的相对噪声发生变化时，固定的混合调度无法自适应。我们通过最小化混合随机梯度上的 MSE 上界，推导出噪声感知的混合权重 mu*，得到一个平衡梯度噪声方差与 SFT-RL 分歧的闭式解。在 CHORD 的逐 token 重加权基础上，实用的引导自适应控制器（GAC）围绕该估计器加入了 EMA 平滑、调度先验和更新上限，所有统计量均从现有训练张量在线估计。仅噪声感知控制器在 AMC 上就比最佳规则控制器高出 +3.0 个百分点；完整系统在数学、代码、科学和逻辑基准上比 HPT 高出 +3.8 个百分点，同时将 KL 漂移面积减少 28%，大幅绝对混合权重变化减少 70% 以上，开销低于 1%。收益随模型规模从 1.5B 到 14B 增长。资源：Qwen3.5-4B 紧凑骨干发布：此 https URL 参考实现：此 https URL GAC 项目页面：此 https URL
| 评论： | 17 页，3 幅图，22 张表。定稿更新添加了已发布的 Qwen3.5-4B 紧凑骨干检查点、参考实现和项目页面的链接；实验结果和结论未变 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.26184 [cs.LG] |
| （或 arXiv:2605.26184v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.26184 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yuelin Hu [查看电子邮件]
[v1]
2026 年 5 月 25 日星期一 07:52:29 UTC（1,327 KB）
[v2]
2026 年 10 月 10 日星期六 16:23:42 UTC（1,341 KB）
来源：arXiv cs.AI · arxiv.org