研究比较LLM零样本分类置信度方法
热点事件持续更新
研究比较LLM零样本分类置信度方法
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Owen Cook 与 Xingyi Song 发表论文,在 11 个 1B–32B 开源大模型和 5 个分类数据集上比较零样本文本分类的置信度估计方法。结果显示,读取 token 概率的白盒方法(P(True) 及多种约束生成下的 logit 打分)AUROC 为 0.74–0.77,优于口头表达置信度和采样等黑盒方法的 0.57–0.66。 研究据此称,大模型已具备可用的置信度感知能力,且基于 logit 的打分在评测中明显更可靠。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
研究:LLM 已是具备置信度感知的零样本分类器报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.CL研究:LLM 已是具备置信度感知的零样本分类器
研究对比黑盒与白盒置信度方法,在 11 个 1B-32B 开源 LLM 和 5 个分类数据集上评测发现,基于 logit 的打分方法 AUROC 达 0.74-0.77,明显优于黑盒方法的 0.57-0.66。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。