arXiv cs.CL· Christopher Kissling, Elena Merdjanovska, Alan Akbik·· 6 天前AI 评分22
语言模型关系知识置信度校准评估：Self-Aware Knowledge Probing 框架
Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration
AI 导读
研究者提出 Self-Aware Knowledge Probing 框架，在封闭答案集下评估语言模型关系知识的置信度校准，涵盖内在置信度、复述一致性和语言置信度三种模态。对 21 个因果语言模型和 8 个掩码语言模型的广泛分析显示，多数模型过度自信，尤以掩码目标预训练的模型为甚；考虑复述不一致性的置信度估计校准最佳，且增加答案选项数量可改善校准。
正文 · AI 翻译
摘要：知识探测量化语言模型（LM）在预训练期间习得了多少关系知识。现有的知识探测通过预测准确率和精确率等指标来评估模型能力。此类评估未能考虑模型的可靠性，而可靠性体现在其置信度分数的校准上。在本文中，我们建立了一个实证框架，用于在封闭答案集设定下评估关系知识的校准。我们涵盖模型置信度的三种模态：（1）内在置信度，（2）复述一致性，（3）语言置信度。我们对 21 个因果语言模型和 8 个掩码语言模型进行了广泛分析，结果表明大多数模型，尤其是以掩码目标预训练的模型，都过度自信。校准最佳的分数来自考虑了因陈述改写而导致的不一致性的置信度估计。此外，随着答案选项数量的增加，校准会得到改善。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.18901 [cs.CL] |
| （或 arXiv:2601.18901v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.18901 arXiv 颁发的 DOI，通过 DataCite |
提交历史
发件人：Elena Merdjanovska [查看电子邮件]
[v1]
2026年1月26日星期一 19:11:48 UTC（224 KB）
[v2]
2026年10月8日星期四 18:58:19 UTC（264 KB）
来源：arXiv cs.CL · arxiv.org