arXiv cs.CL· Leiyue Chen, Meng Wei, Xuefeng Hu, Wei Liu·· 14 小时前AI 评分26
Intervention-Certified Amplification：为 σ 加权后训练设置有效性门控
Intervention-Certified Amplification: A Validity Gate for $\sigma$-Weighted Post-Training
AI 导读
研究提出 Intervention-Certified Amplification（ICA），用配对 rollout 的目标证据对 σ 加权 SFT/RL 混合训练中的 σ 做门控。
正文 · AI 翻译
摘要：混合式后训练通常将监督微调（SFT）与强化学习（RL）混合，利用训练侧信号来设定每个样本的平衡。此类信号刻画的是锚定数据和策略的特征，而非所强调的行为是否有助于目标任务和评估设置。这种不匹配可能重新激活并放大预训练行为，即使其字面形式已从监督中移除。我们通过 DIAA（双隐式对抗放大）展示了这一点，这是一种逐样本 $\sigma$ 加权的 SFT/RL 混合方法。在其锚定数据中移除所有字面 Python 代码围栏后，DIAA 在 $29%$ 的 MATH-500 提示上输出未执行的工具集成推理（TIR），是普通 GRPO 的三倍。配对干预显示，当 TIR 被抑制时准确率恢复 $10.6$ 个百分点，且 SFT 模仿与 $\sigma$ 放大贡献相当；在 $0%$-TIR 教师锚定数据上训练的学生模型以 $45.8%$ 的比例输出 TIR。干预认证放大（ICA）以配对 rollout 目标证据对 $\sigma$ 进行门控。冻结式和在线式 ICA 将 TIR 分别降至 $13.8%$ 和 $11.2%$，将残余拖累减半，将准确率从 $47.5%$ 提升至 $48.7%$ 和 $49.3%$，并无需重新调参即可迁移到留出的 GSM8K。
| 评论： | 13 页，2 幅图，4 张表。发表于 Findings of the Association for Computational Linguistics: EMNLP 2026；参见 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33882 [cs.LG] |
| （或 arXiv:2610.33882v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33882 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: EMNLP 2026，第 44510-44522 页，匈牙利布达佩斯。Association for Computational Linguistics，2026 |
提交历史
来自：Leiyue Chen [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 19:49:59 UTC（47 KB）
来源：arXiv cs.CL · arxiv.org