arXiv cs.AI· Muyang Zhao, Chunhao Tian, Qi Qi, Hao Sun·· 3 天前AI 评分29
ROI-Reasoning：通过预计算元认知实现推理的理性优化
ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition
AI 导读
ROI-Reasoning 是一个两阶段框架，让 LLM 在严格全局 token 预算下学会预判问题难度并策略性分配算力。它先通过元认知微调让模型预测推理成本并判断问题是否值得尝试，再用理性感知强化学习优化长程分配策略。在数学推理、选择题问答和代码生成任务中，该方法在紧张预算下提升得分并降低参考序后悔，数学任务上相对同骨干最强基线最高提升 417%。
正文 · AI 翻译
摘要：大语言模型（LLM）在计算资源充足时能够实现强大的推理性能，但它们本身并不知道一项任务需要多少计算量。我们研究了在严格全局 token 约束下针对多个问题的预算化推理时推理，并将其形式化为有序随机多选背包问题（OS-MCKP）。这一视角凸显了一项元认知要求——预判问题难度并策略性地分配计算资源。我们提出 ROI-Reasoning，一个两阶段框架，赋予 LLM 内在的、预算感知的理性。首先，元认知微调教会模型预测推理成本水平，并在生成前判断一个问题是否值得尝试。接下来，理性感知强化学习在硬性 token 预算下优化序贯决策，使模型能够学习长时程分配策略。在数学推理、多项选择题问答和代码生成上的实验表明，ROI-Reasoning 在紧张预算下提高了得分，并总体上降低了参考顺序遗憾，在数学上相对于最强的同骨干基线取得了高达 \textbf{417\%} 的相对得分提升。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2601.03822 [cs.AI] |
| （或 arXiv:2601.03822v2 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2601.03822 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Muyang Zhao [查看邮箱]
[v1]
2026年1月7日星期三 11:30:55 UTC（1,187 KB）
[v2]
2026年10月13日星期二 15:17:27 UTC（1,631 KB）
来源：arXiv cs.AI · arxiv.org