arXiv cs.AI· Michael Kleinman, Matthew Trager, Alessandro Achille, Wei Xia, Stefano Soatto·· 3 天前AI 评分31
e1：学习推理努力的自适应控制
e1: Learning Adaptive Control of Reasoning Effort
AI 导读
研究者提出 Adaptive Effort Control，一种自适应强化学习方法，训练模型按用户指定的 token 比例（相对于当前平均思维链长度）分配推理量，无需针对数据集和阶段调参。
正文 · AI 翻译
摘要：增加 AI 模型的思考预算可以显著提高准确率，但并非所有问题都需要相同程度的推理。用户可能希望根据自己对输出质量与延迟和成本的权衡，分配不同的推理投入。为了有效利用这一权衡，用户需要对特定查询所使用的思考量进行细粒度控制，但现有方法很少能实现这种控制。现有方法要求用户指定所需的绝对 token 数量，但这需要事先了解问题的难度，才能为查询适当地设置 token 预算。为解决这些问题，我们提出了 \textit{Adaptive Effort Control}，一种自适应强化学习方法，训练模型对每个查询使用相对于当前平均思维链长度的用户指定比例 token。该方法消除了针对数据集和阶段的超参数调优。用户可以在推理时通过一个连续的努力参数动态调整成本与准确率之间的权衡。我们观察到，模型会自动学会按任务难度成比例地分配资源。在 1.5B 到 32B 参数范围内的不同模型规模上，与用于 RL 训练的基座模型相比，我们的方法在数学任务上以相当的准确率将思维链长度缩短了 1.9-3.7 倍。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2510.27042 [cs.AI] |
| （或使用 arXiv:2510.27042v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2510.27042 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Michael Kleinman [查看电子邮件]
[v1]
2025年10月30日星期四 23:12:21 UTC（369 KB）
[v2]
2025年11月12日星期三 04:15:18 UTC（369 KB）
[v3]
2026年10月10日星期六 00:49:04 UTC（386 KB）
来源：arXiv cs.AI · arxiv.org