arXiv cs.AI· Lars Simon, Holger Eble, Manuel Radons·· 9 天前AI 评分27
通过回望来学习规划：用事后分层训练推理模型
Learning to Plan by Looking Back: Hindsight Hierarchies for Training Reasoning Models
AI 导读
研究者提出一种推理模型自我改进循环：即使问题难度超出模型当前能力，额外提供的解答也能让模型事后提取有用的解题思路。该方法联合训练同一模型的三项能力——仅从问题预测解题思路、从问题与已知解答反向推导思路、以及利用给定思路解题，并在 Lean 定理证明器中给出交互式定理证明的具体实例。该工作目前仅给出形式化规范，实证评估留待未来完成。
正文 · AI 翻译
摘要：我们基于以下观察为推理模型引入了一种自我改进循环：即使问题的难度超出了模型当前的求解能力，额外提供的解答也可能使模型事后提取出有用的解题思路。我们通过联合训练同一模型来展现以下三种能力，从而将这一想法付诸实践：仅从问题预测解题思路、从问题和已知解答中逆向推导思路，以及利用提供的思路求解问题。该循环在从问题与所给解答中逆向推导此类思路，以及将这些思路作为额外监督信号用于三种能力的联合训练之间交替进行。我们给出了该方法的正式规范，以及在 Lean 定理证明器中用于交互式定理证明的具体实例；实证评估仍有待未来工作。
| 评论： | 21 页，4 幅图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；计算机科学中的逻辑（cs.LO） |
| MSC 分类： | 68V15, 68T05, 68V20, 68T20 |
| 引用为： | arXiv:2610.12168 [cs.AI] |
| （或本版本的 arXiv:2610.12168v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.12168 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Manuel Radons [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 15:42:27 UTC（35 KB）
来源：arXiv cs.AI · arxiv.org