arXiv cs.AI· Lianfa Li·· 2 天前AI 评分24
面向 LLM 算术推理的 Bellman 一致性轨迹 RL
Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning
AI 导读
针对 LLM 算术推理中终端奖励稀疏的问题，研究者提出 Bellman 一致性轨迹 RL 方法 TBRM，将稀疏奖励转化为密集的 token 级信号，并结合 RLOO 分组策略降低 Bellman 残差的梯度方差、用事后目标重标注加速中间学习。
正文 · AI 翻译
摘要：为解决 LLM 算术推理中终端奖励稀疏的问题，我们提出了一种 Bellman 一致的轨迹强化学习方法。我们的框架引入了轨迹 Bellman 残差最小化（TBRM），将稀疏奖励转化为密集的 token 级信号。我们整合了 Reinforce Leave-One-Out（RLOO）分组策略以降低 Bellman 残差的梯度方差，并使用事后目标重标记来加速中间学习。在 Countdown 任务上评估，我们的方法缓解了优化瓶颈，并且比 GRPO 显著更稳定地降低了梯度方差。TBRM-RLOO 框架将 Pass@1 提升至 0.55--0.64，并达到了 76.0--84.0\% 的最先进 Pass@16 准确率，优于 SFT、IPO/DPO 和 RLOO 基线。我们的方法展示了卓越的单样本效率，并通过测试时扩展成功绕过了标准性能平台期。
| 评论： | 作为项目报告评为 A 级 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21060 [cs.LG] |
| （或 arXiv:2610.21060v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21060 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lianfa Li [查看电子邮件]
[v1]
2026年10月15日星期四 01:05:17 UTC（3,233 KB）
来源：arXiv cs.AI · arxiv.org