arXiv cs.CL· Zhexi Feng, Bingrui Zhang, Wuxi Chen·· 10 小时前AI 评分29
答案评估如何误导置信度选择：面向开放式问答的 FactForm 事实锚定表单评分器
When Answer Evaluation Misleads Confidence Selection: Fact-Grounded Form Grading for Open-Ended QA
AI 导读
研究发现校准规则的选择会随正确性标签变化而翻转：在 141 条试点答案上，用精确匹配标签选出的规则比原始置信度好 0.239 Brier 分，但在人工标签下反而差 0.103。
正文 · AI 翻译
摘要：如今许多基准测试更倾向于使用开放式问题来测试 LLM 和 NLP 方法。我们发现，当只有正确性标签发生变化时，校准规则的选择就可能发生翻转：在 141 个试点答案上，用精确匹配标签选出的规则比原始置信度看起来好 0.239 个 Brier 点，但在人工标签下却差 0.103。这种翻转是如何产生的仍不清楚。我们深入研究了其机制：参考匹配会拒绝许多正确答案（精确匹配漏掉 42%），而一个精确的 Brier 恒等式表明，这些错误有利于给此类答案更低置信度的规则，而这些规则在常见阈值下会对它们弃权。受此启发，我们提出了 FactForm，这是一个评分器，它信任参考匹配，否则就查阅仅从问题中检索到的证据。每个答案一次 LLM 调用会填充一个固定顺序的封闭形式，由程序进行评分。在 998 个新的 EVOUNA 答案和 400 个人工事实标签上，FactForm 达到了 0.077 的平衡错误率和 0.985 的 AUROC，而八个传统评分器中最好的为 0.112 和 0.930。其同模型稳定性不差于 LLM 评判者（平均绝对运行间差异为 0.0136，而后者为 0.0159 至 0.0206）。我们希望这有助于基准测试更准确地评分开放式答案，并提供可重复且有区分度的分数。
| 评论： | v2：大幅修订和扩展。该研究现在涵盖开放式问答，而非心理理论追踪，并增加了 FactForm 评分器以及在 998 个新答案上的确认研究。20 页，4 幅图，11 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2608.25654 [cs.CL] |
| （或 arXiv:2608.25654v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.25654 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhexi Feng [查看电子邮件]
[v1]
2026 年 8 月 26 日星期三 11:36:31 UTC（1,166 KB）
[v2]
2026 年 11 月 2 日星期一 00:28:08 UTC（467 KB）
来源：arXiv cs.CL · arxiv.org