arXiv cs.AI· Xun Lu, Shumeng Yang, Xinrui Wang, Songjun Tu, Linjing Li, Daniel Dajun Zeng·· 2 天前AI 评分22
SIF：用选择性内部反馈让语言模型学会推理
Learning to Reason with Selective Internal Feedback
AI 导读
一种名为 SIF 的强化学习方法通过比较多个窗口与同伴的 token 级自置信度排序，仅在样本级和组级投票均达标时给予正向奖励，并筛选参与策略优化的响应。
正文 · AI 翻译
摘要：来自内部反馈的强化学习可以在没有真实答案或外部验证器的情况下改进语言模型。然而，在训练过程中，置信度与正确性可能会发生偏离，持续优化平均自我确定性可能会提高置信度，同时降低推理准确率。我们提出了 SIF，一种将比较式奖励构建与选择性策略更新相结合的强化学习方法。SIF 在多个窗口和同伴之间比较排序后的 token 级自我确定性分布，只有当两个层面的投票都提供足够支持时才赋予正奖励。样本级和组级过滤决定了哪些响应参与策略优化。在 12 个数学与科学推理基准上对三个骨干模型进行的实验表明，SIF 的最终检查点比 Intuitor 和 Vigor 的最佳验证检查点取得了更高的平均准确率，在 Qwen2.5-Math-1.5B 上比 Intuitor 提升了 4.71 个百分点。进一步的分析表明，在持续优化过程中准确率保持得更好，而测试时训练实验表明，即使每个提示只有四次 rollout，也能实现持续改进。
| 评论： | 21 页，10 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21392 [cs.AI] |
| （或 arXiv:2610.21392v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21392 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shumeng Yang [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 07:08:46 UTC（1,782 KB）
来源：arXiv cs.AI · arxiv.org