arXiv cs.CL· Carel van Niekerk, Renato Vukovic, Benjamin Ruppik, Hsien-chin Lin, Shutong Feng, Milica Ga\v{s}i\'c·· 11 小时前AI 评分34
基于自我反馈强化学习的 LLM 后训练方法 RLSF
Post-Training Large Language Models via Reinforcement Learning from Self-Feedback
AI 导读
研究者提出 RLSF（Reinforcement Learning from Self-Feedback），一种利用模型自身置信度作为自生成奖励的 LLM 后训练阶段。
正文 · AI 翻译
摘要：大型语言模型（LLM）常常给出看似合理但校准不佳的答案，这限制了它们在推理密集型任务上的可靠性。近期研究表明，思维链（CoT）推理路径内在于预训练的 LLM 中，只需改变解码过程即可将其引出，其中 CoT 路径的存在与更高的答案置信度相关。基于这些洞见，我们提出自我反馈强化学习（RLSF），这是一个后训练阶段，利用模型内在的置信度作为自生成的奖励。通过从冻结的 LLM 生成多条 CoT 解码束，我们计算每个最终答案片段的置信度，并据此对生成的轨迹进行排序，以构建合成偏好。这些偏好随后通过标准的偏好优化用于微调策略，无需人工标注、标准答案或外部策划的奖励。RLSF 同时（i）改进模型的概率估计——恢复良好的校准——以及（ii）增强逐步推理，从而在算术推理和多项选择问答上取得更好的表现。通过将模型自身的不确定性转化为结构化的自我反馈，RLSF 证实了基于模型内在行为的强化学习是 LLM 后训练流程中一个有原则且数据高效的组成部分。我们的结果表明，利用这些固有的推理能力为提升模型可靠性提供了一条稳健的路径，无需人工提示工程或外部监督。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2507.21931 [cs.CL] |
| （或本版本使用 arXiv:2507.21931v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2507.21931 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Renato Vukovic [查看邮箱]
[v1]
2025年7月29日 星期二 15:46:26 UTC（229 KB）
[v2]
2026年9月15日 星期二 11:56:06 UTC（775 KB）
[v3]
2026年11月5日 星期四 09:31:33 UTC（279 KB）
来源：arXiv cs.CL · arxiv.org