跳到正文
arXiv cs.CL· Owen Cook, Xingyi Song·· 10 小时前AI 评分34

研究:LLM 已是具备置信度感知的零样本分类器

LLMs Are Already Confidence-Aware Zero-Shot Classifiers

AI 导读

研究对比黑盒与白盒置信度方法,在 11 个 1B-32B 开源 LLM 和 5 个分类数据集上评测发现,基于 logit 的打分方法 AUROC 达 0.74-0.77,明显优于黑盒方法的 0.57-0.66。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:零样本大语言模型(LLM)正越来越多地被用作文本分类器,但只有当我们知道能在多大程度上信任它们时,其标签才有用。我们将黑盒方法(言语化置信度和采样)与读取 token 概率的白盒方法(P(True),以及使用约束生成的多种 logit 评分方法)进行比较。我们在五个分类数据集(3 到 151 个标签)上评估了十一个开放权重 LLM(1B-32B 参数),测量分类性能(准确率、F1-macro)、区分度(AUROC)和校准(ECE 和 Brier 分数)。置信度方法的选择很少显著影响准确率,但基于 logit 的评分方法比黑盒方法(AUROC 0.57-0.66)带来好得多的区分度(AUROC 0.74-0.77)。用单 token 标识符替换标签可保持区分度,但平均损失 3-6 个准确率点。我们还引入了仅决策评分,它只对标签在前缀树(trie)中分叉的位置进行评分。它在三个最大的标签集上将解码步骤减少 88-96%,并且性能与全标签评分相当。最佳的开放权重模型-方法配置(Gemma 4 31B 和 Qwen 3.5 9B)可与商业 Jev 1.13.0 分类器竞争。
评论: 20 页(9 页正文),2 张图。代码见:此 https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.25289 [cs.CL]
  (或 arXiv:2611.25289v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2611.25289

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Owen Cook [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 23:33:16 UTC(75 KB)

来源:arXiv cs.CL · arxiv.org