arXiv cs.CL· Qianchi Zhang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng·· 14 小时前AI 评分31
CalibraRL：用置信度校准强化学习缓解 RAG 幻觉
CalibraRL: Confidence-Calibrated Reinforcement Learning for Mitigating Hallucinations in RAG
AI 导读
CalibraRL 是一个将回答置信度与查询级作答证据纳入奖励设计的强化学习框架，用于缓解 RAG 中的模型幻觉。它对非弃答回答结合正确性效用与基于 Brier 分数的惩罚，对弃答则用 Beta 后验估计条件作答可靠性，且复用训练 rollout、无需额外标注。在三个 QA 数据集上，该方法提升了答案精确率并减少幻觉，在两个骨干模型和三个数据集上平均降低 ECE 30.8%。
正文 · AI 翻译
摘要：大型语言模型（LLM）经常产生看似合理但错误的答案，这推动了强化学习方法的发展，此类方法奖励正确答案、惩罚错误答案，并允许弃答。然而，固定的基于结果的奖励无法区分不同置信水平的错误回答，也无法考虑不同查询之间回答可靠性的差异。因此，此类奖励可能对过度自信的错误惩罚不足，且无法抑制不必要的弃答。我们提出 CalibraRL，一个将回答置信度和查询级回答证据纳入奖励设计的强化学习框架。对于非弃答回答，CalibraRL 将基于正确性的效用与基于 Brier 的惩罚相结合，鼓励置信度与正确性之间保持一致。对于弃答，它使用由每个采样组内非弃答回答的正确性推导出的 Beta 后验来估计条件回答可靠性。弃答奖励随模型在非弃答回答上的准确率低于预定义阈值的后验概率而增加。CalibraRL 复用训练 rollout，无需额外标注来指示模型是否知道每个问题的答案。在三个 QA 数据集上的实验表明，与强基线相比，CalibraRL 提高了答案精确率并减少了幻觉。进一步分析表明，在两个骨干模型和三个数据集上，CalibraRL 将平均期望校准误差（ECE）降低了 30.8\%，凸显了其提升网络搜索中检索增强生成（RAG）可靠性的潜力。
| 评论： | 12 页，10 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35142 [cs.CL] |
| （或 arXiv:2610.35142v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35142 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qianchi Zhang [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 10:11:24 UTC（962 KB）
来源：arXiv cs.CL · arxiv.org