arXiv cs.CL· Jiwon Jeon, Myungsik Cho, Jeonghye Kim, Youngchul Sung·· 6 天前AI 评分32
UPTURN：学习在何处重定向 LLM 推理以实现自我纠错
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
AI 导读
UPTURN 通过在冻结编码器上训练 130K 参数 MLP 头定位干预位置，以新用户轮次注入指令并重新生成后续内容，无需微调 LLM。在四个推理模型和六个数学基准上，该方法在所有设置中均优于 32-rollout 基线，并在匹配纠错预算下超越自我纠错与反思 token 注入基线。它可跨推理模型迁移并泛化至 GPQA-Diamond，且与 GRPO 及自我纠错方法互补。
正文 · AI 翻译
摘要：大型语言模型难以可靠地识别并纠正自身推理中的错误。与以往基于训练的方法（微调 LLM 以生成修订或反馈）不同，我们学习在失败的 rollout 中于何处进行干预，并确定如何将其重定向。为选择干预位置，我们仅使用最终答案正确性，在冻结编码器上训练一个 130K 参数的 MLP 头。对于重定向，我们发现，在固定生成预算下，所测试的内联注入无法可靠地重定向推理，而将同一指令作为新的用户轮次呈现则会改变模型的走向。由此得到的纠正框架 UPTURN（User-Prompt TURN injection at a learned position，在学习到的位置进行用户提示轮次注入）无需对 LLM 进行微调：它保留选定的前缀，将指令作为新的用户轮次注入，并重新生成后缀。在四个推理器和六个数学基准上，UPTURN 在每种设置下都优于 32 次 rollout 的基线，提升了平均准确率。在匹配的纠正预算下，它优于自纠正和反思 token 注入基线，无需重新训练即可跨推理器迁移并迁移到 GPQA-Diamond，并且与 GRPO 和自纠正方法互补。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13672 [cs.CL] |
| （或 arXiv:2610.13672v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13672 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiwon Jeon [查看邮箱]
[v1]
2026年10月9日星期五 14:37:51 UTC（1,694 KB）
来源：arXiv cs.CL · arxiv.org