arXiv cs.CL· Penghui Qi, Zichen Liu, Tianyu Pang, Chao Du, Wee Sun Lee, Min Lin·· 10 小时前AI 评分34
AnytimeReasoner：用 Budget Relative Policy Optimization 优化任意 token 预算下的推理
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
AI 导读
研究团队提出 AnytimeReasoner 框架，通过将完整思考过程截断到从先验分布采样的 token 预算内、让模型为每段截断思考总结答案以引入可验证稠密奖励，并解耦优化思考与总结策略。
正文 · AI 翻译
摘要：扩展测试时计算对于增强大语言模型（LLM）的推理能力至关重要。现有方法通常采用强化学习（RL）来最大化在推理轨迹末尾获得的可验证奖励。然而，此类方法仅在较大且固定的 token 预算下优化最终性能，这阻碍了训练和部署中的效率。在本工作中，我们提出了一个新框架 AnytimeReasoner，用于优化任意时刻推理性能，旨在提升 token 效率以及在变化的 token 预算约束下推理的灵活性。为实现这一目标，我们将完整的思考过程截断，以适配从先验分布中采样的 token 预算，迫使模型为每个截断的思考过程总结出最优答案以进行验证。这为推理过程引入了可验证的稠密奖励，有助于在 RL 优化中实现更有效的信用分配。随后，我们以解耦的方式优化思考策略和总结策略，以最大化累积奖励。此外，我们引入了一种新颖的方差缩减技术——预算相对策略优化（BRPO），以在强化思考策略时增强学习过程的鲁棒性和效率。数学推理任务上的实证结果表明，在各种先验分布下的所有思考预算中，我们的方法始终优于 GRPO，提升了训练效率和 token 效率。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2505.13438 [cs.LG] |
| （或此版本的 arXiv:2505.13438v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2505.13438 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Penghui Qi [查看邮箱]
[v1]
2025年5月19日星期一 17:58:44 UTC（1,439 KB）
[v2]
2025年6月5日星期四 13:55:06 UTC（1,445 KB）
[v3]
2025年11月7日星期五 07:01:30 UTC（1,508 KB）
[v4]
2026年10月30日星期五 15:06:09 UTC（1,509 KB）
来源：arXiv cs.CL · arxiv.org