arXiv cs.CL· Weijiang Lv, Wentong Zhao, Jiayu Wang, Yuhao Wu, Jiaheng Wei, Xiaobo Xia·· 14 小时前AI 评分34
GeoFaith：用时空潜在动力学让大语言模型学习忠实的推理过程
Learning Faithful Reasoning Processes with Spatio-Temporal Latent Dynamics for Large Language Models
AI 导读
GeoFaith 提出一种时空潜在动力学框架，无需过程奖励模型即可让 LLM 学习忠实的推理过程。该方法将最终状态的潜在不确定性与预测熵动力学作为过程正则项融入 GRPO，联合优化答案正确性与推理质量，无需步骤级过程标注。实验显示其推理准确率持续提升、推理轨迹更高效，优于仅用结果奖励的强化学习和过程监督基线。
正文 · AI 翻译
摘要：思维链（CoT）推理显著增强了大语言模型（LLM）的推理能力。然而，现有强化学习方法主要优化结果层面的奖励，对推理过程提供的监督有限。因此，即使最终答案正确，模型也可能产生倾向于走捷径或不稳定的推理轨迹。我们提出 GeoFaith，一种用于在无需过程奖励模型的情况下学习忠实推理过程的时空潜在动力学框架。GeoFaith 将最终状态潜在不确定性（衡量一条已完成的轨迹是否位于支撑良好的流形区域）与预测熵动力学（惩罚过早崩溃、振荡和不确定性持续等异常不确定性模式）相结合。这些信号作为过程正则化项被纳入 GRPO，在无需步骤级过程标注的情况下联合优化答案正确性与推理质量。实验表明，GeoFaith 持续提升推理准确率，生成更高效的推理轨迹，并优于仅结果强化学习和过程监督基线。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.26893 [cs.CL] |
| （或 arXiv:2605.26893v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.26893 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaobo Xia [查看邮箱]
[v1]
2026年5月26日星期二 11:54:40 UTC（10,648 KB）
[v2]
2026年10月26日星期一 12:02:16 UTC（6,864 KB）
来源：arXiv cs.CL · arxiv.org