arXiv cs.CL· Nils Schwager, Simon M\"unker, Alistair Plum, Achim Rettinger·· 11 小时前AI 评分27
以 Token 概率作为人类行为模拟中的置信度估计：卢森堡语 Next Like Prediction 案例研究
Evaluating Token Probabilities as Confidence Estimators in Human Behavior Simulations: A Case Study in Luxembourgish Next Like Prediction
AI 导读
研究在卢森堡语新闻平台的 Next Like Prediction 任务中检验开放权重 LLM 的 token 概率能否作为置信度估计。仅用上下文学习时，Ministral 3（3B、8B）均过度自信，在准确率与校准上都不及简单统计基线；从 3B 扩到 8B 准确率提升但校准变差，更长的行为历史也提升准确率却降低置信度。
正文 · AI 翻译
摘要：随着大语言模型（LLM）越来越多地被用于模拟人类行为，其操作有效性通常仅通过准确率来评估，这隐含地将人类行为视为确定性的。我们认为，在带有噪声的数字痕迹数据上，模型的性能不仅取决于预测正确结果，还取决于其校准程度。我们呈现了一个案例研究，检验开放权重 LLM 的 token 概率能否在“下一赞预测”任务中作为置信度估计：预测卢森堡新闻平台 this http URL 的用户会如何评价某条评论，并以该用户此前的交互为条件。在评估 Ministral 3（3B、8B）时，我们发现，仅使用上下文学习时，所测试的模型过度自信，并且在准确率和校准方面均被一个简单的统计基线所超越。准确率与校准并不同步变化：从 3B 扩展到 8B 提高了准确率，却降低了校准；更长的行为历史提高了准确率，但置信度下降。针对特定任务的监督微调是一种有效的校准干预，将期望校准误差从 0.2 降至 0.006，同时将准确率从 0.536 提升至 0.758。我们得出结论：在使用基于 LLM 的智能体时，应将置信度估计与准确率一同评估，以提高有效性。
| 评论： | 12 页，1 幅图，2 张表。已被 EMNLP 2026 第 11 届自然用户生成文本研讨会（W-NUT）接收，匈牙利布达佩斯 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07735 [cs.CL] |
| （或 arXiv:2611.07735v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07735 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 第 11 届自然用户生成文本研讨会（W-NUT）论文集，2026 年 |
| 相关 DOI： | https://doi.org/10.18653/2026.wnut-1.7
链接到相关资源的 DOI |
提交历史
来自：Nils Schwager [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 09:45:49 UTC（69 KB）
来源：arXiv cs.CL · arxiv.org