arXiv cs.AI· Hankyeol Kim, Pilsung Kang·· 11 小时前AI 评分31
同一答案，不同置信度：LLM 置信度校准中的协议敏感性
Same Answer, Different Confidence: Protocol Sensitivity in LLM Confidence Calibration
AI 导读
在五个开源 LLM 和四个问答数据集上，固定答案、口头置信度与正确性标签、仅改变测量协议，token 置信度与口头置信度的校准对比结果会随之改变。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以陈述其对答案的置信度（言语化置信度），也可以从答案 token 的概率中读取置信度（token 置信度）。对两者进行比较，是要问哪一个校准得更好，但答案的 token 概率取决于其前面的文本。在五个开源 LLM 和四个问答数据集上，我们固定每个答案、其言语化置信度和其正确性标签，并改变每个分数的测量方式。分数本身会随协议而变化，它们之间的比较也会随之变化。改变读取 token 概率的上下文，会使两个分数之间的差距变动约等于差距本身的大小（期望校准误差 ECE 为 .287 对 .304；AUROC 为 .189 对 .145）。在 20 种设置中分别有 19 种和 17 种，该变动的 95% 区间不包含零；在 AUROC 下，该变动在所有设置中符号相同，因此上下文会改变答案的排序。在每种指标下，更好的分数在 8 种设置中发生翻转，且仅计入区间支持的翻转；该变动也出现在四个参数量最高达 72B 的更大模型上。大部分变动来自指令的改变，而非答案位置的改变。其他测量选择也有影响，且陈述的置信度取决于所提供答案的写法。我们将这些结果转化为一份关于 LLM 置信度及其比较的报告清单。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.27752 [cs.AI] |
| （或 arXiv:2605.27752v4 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.27752 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hankyeol Kim [查看邮箱]
[v1]
2026年5月26日星期二 23:03:38 UTC（60 KB）
[v2]
2026年6月1日星期一 13:50:34 UTC（60 KB）
[v3]
2026年8月7日星期五 08:03:29 UTC（437 KB）
[v4]
2026年10月23日星期五 14:58:08 UTC（453 KB）
来源：arXiv cs.AI · arxiv.org