arXiv cs.AI· Minju Gwak, Alan Ritter·· 1 天前AI 评分31
辅助奖励驱动的自我改进：从已验证推理轨迹中学习并评估迁移效果
Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
AI 导读
研究提出用辅助轨迹偏好区分结果同样正确的推理轨迹，以提升小模型在有限监督下的自我改进与迁移能力。在线实验中，基于熵的 UID-Conj. 指标在 Qwen3-1.7B 上于 30 道无参考答案的 AIME 题上适配。
正文 · AI 翻译
摘要：答案级奖励无法区分结果同样正确的推理轨迹。我们研究在有限监督下，辅助轨迹偏好能否提升小语言模型的自我改进与迁移能力。我们通过在线奖励增强和对正确响应的离线训练，比较了基于置信度的指标（SC）与基于熵的指标（UID-Conj.，它结合了全局熵变化与局部平滑性）。在线实验在 30 道无参考答案的 AIME 题目上对 Qwen3-1.7B 进行适配；离线实验使用历史 AIME 题目。与未修改的 TTRL 相比，UID-Conj. 在适配基准及三个迁移基准上的在线宏平均提升了 2.08 个百分点。最有力的证据来自离线加权 SFT：在同一响应池上，UID-Conj. 比均匀加权高出 1.93 个百分点，配对提示自助法 95\% 置信区间为 [0.44, 3.44]。收益具有任务依赖性：SC 奖励在评判轨迹质量和指令遵循方面表现更好，而 UID-Conj. 奖励在若干设置下能带来更强的训练效果。我们发现，辅助偏好能够揭示同样正确的轨迹中在推理时未被捕捉到的学习价值，这促使我们通过下游收益来评估它们。
| 评论： | 28 页，工作进展中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41296 [cs.AI] |
| （或 arXiv:2610.41296v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41296 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minju Gwak [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 05:57:57 UTC（1,874 KB）
来源：arXiv cs.AI · arxiv.org