arXiv cs.AI· Gukhyeon Lee, SangKeun Lee·· 9 天前AI 评分24
RL-ARC：通过推理引导的不确定性校准大型推理模型
RL-ARC: Calibrating Large Reasoning Models via Reasoning-guided Uncertainty
AI 导读
针对 RLVR 训练导致推理模型校准退化、过度自信的问题，研究者提出校准感知训练框架 RL-ARC，联合利用推理置信度与答案置信度，将推理置信度作为正确样本的推理引导正则项、错误样本的过度自信惩罚项。在 ID 与 OOD 设置下，RL-ARC 在改善校准的同时让推理模型能根据问题自适应估计置信度，且未显著牺牲推理性能。
正文 · AI 翻译
摘要：语言模型（LM）通常使用可验证奖励强化学习（RLVR）进行训练，以增强其推理能力。然而，由于 RLVR 在训练过程中并未显式考虑校准，它可能导致严重的校准退化，包括过度自信。近期针对 LM 的校准感知训练方法将不确定性估计目标纳入训练，改善了校准，但在分布偏移下仍表现出过度自信，同时牺牲了推理性能。为此，我们提出 RL-ARC，一个校准感知训练框架，联合利用推理置信度和答案置信度。具体而言，RL-ARC 将推理置信度作为校准答案置信度的辅助信号，对正确样本将其用作推理引导的正则化，对错误样本将其用作过度自信惩罚。在 ID 和 OOD 设置下的综合结果表明，除了改善校准之外，RL-ARC 使推理模型能够根据给定问题自适应地估计置信度，而不会显著牺牲推理性能，从而凸显了推理置信度对于训练可靠推理模型的重要性。
| 评论： | AACL-IJCNLP 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11352 [cs.AI] |
| （或 arXiv:2610.11352v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11352 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Gukhyeon Lee [查看邮箱]
[v1]
2026年10月8日星期四 06:45:24 UTC（4,638 KB）
来源：arXiv cs.AI · arxiv.org