arXiv cs.AI· Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida·· 3 天前AI 评分24
ProbabilityBench：用精确真值不确定性评估与校准模型
ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
AI 导读
研究者推出 ProbabilityBench，在同行评审、隐蔽信息传递和信用风险三个模拟文本域中提供实例级精确类别概率，并解析计算精确类别概率与 Bayes error。
正文 · AI 翻译
摘要：在真实世界数据上评估模型不确定性颇具挑战，因为每个实例仅提供一个观测标签，使得真实的条件类别概率未知。为解决这一问题，我们提出了 ProbabilityBench，这是一个在三个模拟的基于文本的领域中提供精确的实例级类别概率的基准：同行评审、隐蔽信息传递和信用风险。通过明确为每个环境定义完整的数据生成过程，我们解析地计算了精确的类别概率和贝叶斯误差。此外，我们提供了理论保证，证明将这些案例渲染为自然语言备忘录会严格保持其底层的生成概率。这种精确性使得能够通过 KL 散度直接测量所报告概率的质量。在 16 个被评估的模型中，观测到的成本-质量帕累托前沿上的大多数模型都是决策模型，包括 Jev 和 Perplexity Decider。最后，ProbabilityBench 可作为一个元评估框架，利用已知的真实值来对标准校准指标和贝叶斯误差估计器本身的准确性进行基准测试。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.17016 [cs.LG] |
| （或 arXiv:2610.17016v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17016 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Takashi Ishida [查看电子邮件]
[v1]
2026年10月12日星期一 15:58:15 UTC（126 KB）
来源：arXiv cs.AI · arxiv.org