arXiv cs.AI· Dario Deniz Ergun, Haohua Wang, Brendon Tao, Jonah Kollenberg, Chen Ye Gan·· 10 小时前AI 评分31
稀疏 AI 评测中不确定性量化的快速贝叶斯方法
Fast Bayesian Methods for Uncertainty Quantification in Sparse AI Evaluation
AI 导读
一种轻量贝叶斯预测器无需大模型即可估计 AI 系统在新基准上的表现:用公开评测计数选取弱 Beta 先验,再用最多 31 个已揭示结果精确更新。其在 AIMS 竞赛的在线评测中取得团队报告的 Brier ALC 0.188477,较常数 0.5 基线降低 24.6%,完整提交仅 7,754 字节,服务器微基准为每次预测 12.71 微秒。
正文 · AI 翻译
摘要:估计一个 AI 系统在新基准上的表现,并不需要另一个大型模型。我们利用公开的评估计数来选择一个较弱的 Beta 先验,然后从至多 31 个已揭示的结果中精确地更新它。该预测器不使用任何条目语义、预训练权重或推理 API。它在 AIMS 竞赛中的唯一一次在线评估返回了团队报告的 Brier ALC 0.188477,相比常数 0.5 的参考值降低了 24.6%。完整提交文件为 7,754 字节;服务器微基准测试测得,在 31 个匹配标签下每次预测耗时 12.71 微秒。我们描述了如何将源评估压缩为 301 个先验均值,并说明了为何集中度为二能让新证据迅速决定预测结果。由此得到的后验给出了关于所建模成功率的精确不确定性,而无需数值积分或神经推理。一项公开评估覆盖了 79 个系统-基准对和八个随机种子,对提交方法达到 Brier ALC 0.200250。随附的代码和充分统计量可逐字节重建拟合的先验,并重放全部 632 条评估轨迹。该结果表明,一个紧凑的贝叶斯模型能以极低的在线成本从稀疏的目标反馈中提取出多大的预测价值。
| 评论: | 13 页,5 幅图。已被 NeurIPS 2026 AI Measurement Science Workshop 接收 |
| 主题: | 人工智能(cs.AI);计算(stat.CO) |
| ACM 分类: | I.2.6 |
| 引用为: | arXiv:2611.24159 [cs.AI] |
| (或 arXiv:2611.24159v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24159 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Chen Ye Gan [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 10:02:38 UTC(1,514 KB)
来源:arXiv cs.AI · arxiv.org