arXiv cs.AI· Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang, Moontae Lee·· 3 天前AI 评分27
RPO：通过根 token 策略优化让大推理模型自适应思考
Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking
AI 导读
研究提出 RPO（Root-token Policy Optimization），通过组相对奖励和组内优势仅训练初始根 token（如是否调用思考标签），让大推理模型自行决定何时推理。该方法在多个模型族和规模上实现难度感知的自适应思考，训练算力仅为先前自适应推理方法的约 2%，并大幅降低显存占用。该工作已被 ACL 2026 接收为 Oral。
正文 · AI 翻译
摘要：大型推理模型（LRM）通过在给出答案前外显明确的推理轨迹来取得强劲表现，但面临过度思考的挑战，即对难度不同的查询分配统一且繁重的计算量。虽然专有模型通过不透明的路由来缓解这一问题，但开源 LRM 仍缺乏一种高效机制来内化自适应推理，原因在于训练成本高昂且训练方法披露有限。为此，我们提出了 RPO（根令牌策略优化），这是一个使 LRM 能够自行决定何时推理的框架，它仅通过组相对奖励和组内优势来训练初始根令牌（例如是否调用 <think> 标签）。通过聚焦这一关键分支点，RPO 大幅降低了训练开销和显存占用。在多个模型系列和规模上，RPO 仅以先前自适应推理方法约 2% 的训练算力就学会了难度感知的自适应思考。
| 评论： | ACL 2026 口头报告 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17767 [cs.CL] |
| （或 arXiv:2610.17767v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17767 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Taehyeon Kim [查看邮箱]
[v1]
2026年10月13日星期二 05:53:34 UTC（474 KB）
来源：arXiv cs.AI · arxiv.org