arXiv cs.CL· Shujin Wu, Heng Ji·· 11 小时前AI 评分38
研究：RL 的 Critic 模型可直接用作 LLM 置信度估计器，无需额外训练
Free Lunch for LLMs Confidence: The RL Critic Already Knows
AI 导读
一项 arXiv 研究证明，基于正确性结果时，LLM 的置信度估计与强化学习中的 critic 训练等价，因此经 value-based RL 训练的模型可直接复用现有 critic 作为置信度估计器，无需额外训练或数据，且不改变策略、不影响任务表现。在数学、代码、工具调用和通用推理等十余个领域，复用的 critic 在每个分布内划分上都是最佳置信度估计器，16 个划分中有 14 个校准最佳。
正文 · AI 翻译
摘要：可靠的置信度估计对于大语言模型（LLM）的可信部署至关重要，但专门的置信度训练阶段需要额外的数据和计算。我们提出一个根本性问题：置信度训练实际上解决了什么预测问题？受外部置信度估计先前工作的启发，我们比较了在相同的（问题、回答、正确性）三元组上训练的、容量相当的自估计器和外部估计器。我们表明，仅基于策略行为轨迹训练的外部模型，无需访问策略的内部表示，就能像策略本身一样准确地估计策略的置信度。这指向了与强化学习（RL）中价值函数学习的更深层联系：在基于正确性的结果下，我们证明置信度估计与评论家训练是等价的，二者都从策略的轨迹预测其回答正确的可能性。一个简单的推论随之而来：对于使用基于价值的 RL 训练的 LLM，现有的评论家可以作为一种现成的置信度估计器复用，无需额外训练或数据。策略保持不变，因此其任务性能得以保留，而评论家在整个生成过程中提供置信度，包括中间推理步骤。在涵盖十几个领域的数学、代码、工具调用和通用推理任务中，复用的评论家在每一个分布内划分上都是最佳的置信度估计器，并在 16 个划分中的 14 个上校准最佳，且不损害任务性能。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31820 [cs.CL] |
| （或 arXiv:2610.31820v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31820 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shujin Wu [查看邮箱]
[v1]
2026年10月22日 星期四 18:57:52 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org