arXiv cs.AI· Arijit Dey, Bhartendu Kumar, Ramya Hebbalaguppe, Khuushi Maheshwari·· 2 天前AI 评分22
RADAR：修复、采纳与审计 LLM 置信度
Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence
AI 导读
针对 LLM 置信度分数校准问题，研究者提出可靠性框架 RADAR，将置信度修复与是否采纳修复、审计残余错误分离。其修复方法 PAIC 从未标注目标提示词的正确性探针预测中学习单调映射，在 47,400 次重放原始分数分配中，配对投注在 42.95% 的分配里采纳了留出测试风险更低的候选，而单侧经验 Bernstein 仅为 15.09%。
正文 · AI 翻译
摘要：置信度分数决定了一个 LLM 答案是被接受、复核还是重新生成，然而标量重校准只能纠正通过分数本身可见的错误。我们提出 RADAR（Repair, Adopt, and Diagnose After Recalibration），一个可靠性框架，将置信度修复与决定是否部署该修复以及审计剩余错误分离开来。在平方损失下，我们将预测风险分解为结果噪声、被分数隐藏的信息以及映射误差；将修复限制为保序映射还会额外引入池化差距。对于修复，我们提出探针锚定等渗校准（PAIC），它从未标注目标提示上的正确性探针预测中学习一个单调映射。PAIC 的额外风险取决于探针的分数条件偏差和拟合误差，而非其整体准确率。对于采纳，我们推导出一个配对程序，对虚假改进进行有限样本控制。对于审计，我们开发了一个提示聚类的核检验，能够检测特征对齐的残差错误，同时考虑来自同一提示的依赖答案。在多个 LLM 检查点、基准和分布偏移上，更丰富的预测器可以改进置信度估计，但将其信息投影回标量分数可能会损失这些收益，而且更低的预测风险未必带来更好的复核决策。在 47,400 次重放的原始分数分配中，配对投注在 42.95% 的分配中采纳了留出测试风险更低的候选，而单侧经验 Bernstein 为 15.09%。因此，RADAR 提供了一个有原则的工作流程：修复标量分数所能表达的内容，仅在证据支持时采纳修复，并诊断重校准遗留的系统性错误。代码和数据将在接收后发布。
| 评论： | 正文 10 页；补充材料 44 页；5 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22139 [cs.AI] |
| （或 arXiv:2610.22139v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22139 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ramya Hebbalaguppe [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 16:12:29 UTC（198 KB）
来源：arXiv cs.AI · arxiv.org