arXiv cs.AI· Changguo Jia, Zhiyou Xiao, Xinbei Ma, Geng Chen, Weiming Zhang, Yiming Xu, Tianqi Zhao, Minghui Zhou·· 3 天前AI 评分39
PaceReasoner：无标签学习让长推理模型给出简短答案
PaceReasoner: Label-Free Learning to Answer Briefly from Long Reasoning
AI 导读
PaceReasoner 是一个无标签的测试时强化学习框架，用模型自身的长推理响应来提升短模式准确率。在三种模型骨干和四个基准上，其短模式平均准确率较基线提升 7.4–13.5 个百分点，平均每条响应少于 25 个推理 token。该方法通过渐进式置信度加权监督融合全响应与仅长响应的一致性，并用行为奖励与比例控制器平衡两种模式。
正文 · AI 翻译
摘要：扩展的思维链推理提升了问题求解性能，但增加了推理成本和延迟，这促使人们追求以更短的推理获得更准确的答案。我们提出 PaceReasoner，一种无标签的测试时强化学习框架，利用模型的 LONG 回答来提升其 SHORT 模式的准确率。两种模式共享一个可训练策略，因此需要可靠的监督、充足的 SHORT 训练样本，以及持续的 LONG 回答来引导学习。PaceReasoner 通过渐进式、置信度加权的监督，将全回答与仅 LONG 回答的答案共识相结合。一种行为奖励逐渐从鼓励 SHORT 探索转变为奖励与 LONG 答案的一致，同时一个比例控制器调节两种模式之间的平衡。在三个模型骨干和四个基准上，PaceReasoner 将平均 SHORT 准确率较基线提升 7.4--13.5 个百分点，且每个回答平均少于 25 个推理 token。消融实验支持了关键组件，跨数据集结果证明了超出适配集的迁移能力。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.17900 [cs.AI] |
| （或 arXiv:2610.17900v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17900 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Changguo Jia [查看邮箱]
[v1]
2026年10月13日星期二 07:55:23 UTC（555 KB）
来源：arXiv cs.AI · arxiv.org