arXiv cs.CL· Maja Pavlovic, Silviu Paun, Massimo Poesio·· 11 小时前AI 评分31
人类软标签 vs 模型不确定性：软标签学习与校准的受控审计
An Assessment of Human vs. Model Uncertainty in Soft-Label Learning and Calibration
AI 导读
研究在 MNIST 及其合成变体上对软标签学习做受控审计，通过重新标注子集提取人类不确定性，将软标签监督与标签模式偏移解耦。结果显示人类软标签虽带来准确率提升，但更大价值在于充当正则化器，改善困难样本上的模型校准并促进训练稳定收敛。数据集地图分析表明，用人类软标签训练的模型能反映人类不确定性，而用合成标签训练的模型无法与人类对齐。
正文 · AI 翻译
摘要：与人类对齐的 AI 的核心在于理解人类标注的标签相对于合成替代标签的优势。虽然人类软标签通过捕捉不确定性改善了校准，但先前的研究将这些优势与对错误标注数据的隐式纠正（模式偏移）混为一谈，掩盖了软标签的真实效果。我们提出了一项在 MNIST 及一个合成变体上的软标签学习受控审计，通过重新标注子集来提取人类不确定性。通过将软标签监督与潜在的标签模式偏移解耦，我们表明，虽然人类软标签确实带来了准确率提升，但其更大的价值在于充当正则化器，改善模型在困难样本上的校准，并促进跨训练运行的稳定收敛。数据集制图揭示，在人类软标签上训练的模型反映了人类的不确定性，而在合成标签上训练的模型则无法与人类对齐。广义而言，这项工作为人类-AI 不确定性对齐提供了一个诊断测试平台。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.18648 [cs.LG] |
| （或 arXiv:2605.18648v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.18648 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Maja Pavlovic [查看电子邮件]
[v1]
2026年5月18日星期一 16:55:21 UTC（27,207 KB）
[v2]
2026年10月5日星期一 15:31:39 UTC（37,205 KB）
[v3]
2026年11月5日星期四 08:34:40 UTC（37,205 KB）
来源：arXiv cs.CL · arxiv.org