研究者提出证据状态校准与SCE置信度方法

研究者Jiayi Li、Dennis L. Shung和Bradly C. Stadie提出“证据状态校准”任务，要求语言模型在作答前的置信度与给定证据下答对的概率一致，并随证据变化而调整。 据此提出的SCE（充分性置信度估计）方法微调模型next-token分布中已有的置信度。在临床诊断和多跳问答任务上、两个模型族的四个模型中，Brier score最多降低60%，AUROC最多提升0.16。研究者称，其置信度与经验成功率吻合，且能同时响应证据数量与具体证据内容。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。