研究：LLM置信度校准结果随测量协议改变

Hankyeol Kim 与 Pilsung Kang 发表研究称，在五个开源大语言模型和四个问答数据集上，固定同一答案、其口头置信度及正确性标签，仅改变测量协议，token 置信度与口头置信度的校准对比结果就会随之改变。 该结论意味着，此前关于两种置信度哪种校准更好的比较，可能受测量方式影响，而非仅由置信度来源决定。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。