跳到正文
热点事件持续更新

研究比较LLM零样本分类置信度方法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Owen Cook 与 Xingyi Song 发表论文,在 11 个 1B–32B 开源大模型和 5 个分类数据集上比较零样本文本分类的置信度估计方法。结果显示,读取 token 概率的白盒方法(P(True) 及多种约束生成下的 logit 打分)AUROC 为 0.74–0.77,优于口头表达置信度和采样等黑盒方法的 0.57–0.66。 研究据此称,大模型已具备可用的置信度感知能力,且基于 logit 的打分在评测中明显更可靠。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    研究:LLM 已是具备置信度感知的零样本分类器

    研究对比黑盒与白盒置信度方法,在 11 个 1B-32B 开源 LLM 和 5 个分类数据集上评测发现,基于 logit 的打分方法 AUROC 达 0.74-0.77,明显优于黑盒方法的 0.57-0.66。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。