跳到正文
热点事件持续更新

研究:token概率难作置信度估计

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Nils Schwager 等作者发表案例研究,在卢森堡语新闻平台的 Next Like Prediction 任务中检验开放权重大模型的 token 概率能否作为置信度估计。结果显示,仅用上下文学习时,Ministral 3(3B、8B)均过度自信,准确率与校准都不及简单统计基线。 研究还发现,模型从 3B 扩到 8B 后准确率提升但校准变差;使用更长的行为历史同样提升准确率,却降低置信度。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.CL
    以 Token 概率作为人类行为模拟中的置信度估计:卢森堡语 Next Like Prediction 案例研究

    研究在卢森堡语新闻平台的 Next Like Prediction 任务中检验开放权重 LLM 的 token 概率能否作为置信度估计。仅用上下文学习时,Ministral 3(3B、8B)均过度自信,在准确率与校准上都不及简单统计基线;从 3B 扩到 8B 准确率提升但校准变差,更长的行为历史也提升准确率却降低置信度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。