arXiv cs.CL· Zefeng He, Yichen He, Yuan Lin, Yang Yang, Yu Cheng·· 12 小时前AI 评分34
RLEC：让 LLM 按显式置信目标学会回答或弃答的强化学习方法
Reinforcement Learning Done Right for Explicit Confidence Targets
AI 导读
研究者提出 RLEC（Reinforcement Learning with Explicit Confidence Targets），首次成功用单一 LLM 实现显式置信目标控制——用户在提示词中指定目标 p，模型自行决定回答或弃答，使已回答问题的准确率至少达到 p。
正文 · AI 翻译
摘要：大型语言模型（LLM）在不确定时会给出看似合理但错误的答案，这可能误导用户并削弱模型的可靠性。通过强化学习训练模型弃答是一种自然的方法，但现有大多数方法使用固定的错误惩罚，因此无法在推理时适应不同的置信度要求。我们研究\emph{显式置信度目标}，即用户在提示中指定目标\(p\)，模型直接选择回答还是弃答，目标是在已回答的问题中达到至少\(p\)的准确率。然而，用单一模型学习响应不同置信度目标已被证明很困难，此前的尝试未能区分不同目标。我们表明，这一失败源于两个问题：区分不同$p$值的奖励信号在优化过程中常常丢失，而原始错误惩罚在$p$接近 1 时无界增长。我们提出 RLEC（\textbf{R}einforcement \textbf{L}earning with \textbf{E}xplicit \textbf{C}onfidence Targets），它保留了区分置信度目标所需的学习信号，引入了一个稳定的奖励族，使期望的答案条件保持不变，并使用奖励调度来平衡有效学习与训练稳定性。这些设计共同实现了首次成功训练单一 LLM 进行显式置信度目标控制。跨多种基准和模型规模的广泛实验表明，RLEC 在很大程度上保留了通用能力，并取得了有竞争力的校准性能。RLEC 还支持细粒度目标控制，无需外部决策系统或训练后的阈值校准。通过将显式置信度目标纳入训练策略，RLEC 为行为校准开辟了一条新的、更直接的路径。
| 评论： | 22 页，13 张图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35059 [cs.LG] |
| （或 arXiv:2610.35059v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35059 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zefeng He [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 09:05:29 UTC（1,063 KB）
来源：arXiv cs.CL · arxiv.org