arXiv cs.AI· Ernie Hobbs, Jim Hinson·· 4 小时前AI 评分39
GauntletScore:可审计的事实核查引擎在 LLM-AggreFact 上追平最佳已发表核查器
GauntletScore: Auditable Fact-Checking That Matches the Best Published Checkers on LLM-AggreFact
AI 导读
GauntletScore 是一个可审计的事实核查引擎,在 LLM-AggreFact 完整测试集(11 个数据集、29,320 条 claim)上取得 79.51 平衡准确率,高于截至 2026 年 11 月 15 日排行榜上所有已公布平均值,与最佳的 nimble-v4-max(79.45)持平。
正文 · AI 翻译
摘要:检查生成的句子是否得到其源文档的支持,是 AI 撰写文本的一项标准防护措施,而已发表的最强检查器均为单一模型。我们介绍 GauntletScore,这是一个证据引擎,其少量规则和阈值是在基准的开发集上设定的。它向来自不同提供商的独立阅读器提出类型化问题,并将每个答案作为一项测量记录在证据账本中。它用固定的贝叶斯规则将这些测量结果结合起来,只有当两个阅读器一致时才计为矛盾。在完整的 LLM-AggreFact 测试集(11 个数据集共 29,320 条声明)上,按照排行榜的方法,GauntletScore 取得 79.51 的平衡准确率,高于截至 2026 年 11 月 15 日排行榜上公布的所有平均值。这使其与其中最佳者持平,即 nimble-v4-max(根据其公布的数据集得分,为 79.45;该引擎的 95% 区间为 78.47 至 80.53,包含该值)。在同一批声明上,它比单独使用的三个阅读器中的两个(阅读器 A 和 B)分别高出 1.66 和 2.17 个百分点(95% 区间分别为 0.80 至 2.53 和 1.29 至 3.06)。若不使用下文所述的 AggreFact-CNN,领先幅度为 0.90 和 1.32,且两个区间均保持在零以上。该引擎还记录了每个判定背后的证据,而单一模型则不会。其最大优势在于对照多句摘要检查全长新闻文章(AggreFact-CNN),这种格式与许多受监管的写作相似。在该项上它得分为 76.45,为排行榜最佳,而次佳为 70.1,平均分最高的六个系统为 63.9 至 67.8。测试集只运行了一次,使用的是在第一条测试声明之前冻结的引擎,并遵循事先承诺的停止计划。我们发布逐条声明的预测和评分脚本。
| 评论: | 10 页,1 幅图,7 张表。逐条声明的预测和评分脚本:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22027 [cs.CL] |
| (或 arXiv:2611.22027v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22027 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Ernie Hobbs [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 00:38:54 UTC(120 KB)
来源:arXiv cs.AI · arxiv.org