arXiv cs.CL· Alden Do Rosario, Kirollos Atef·· 2 天前AI 评分24
Jev-as-a-Judge 用于 RAG 声明验证：非生成式验证器与前沿 LLM 的置信度门控级联
Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM
AI 导读
研究对比非生成式决策模型 Jev 与前沿 LLM Astra 在 LLM-AggreFact 的 495 条人工标注声明上的表现，两者在常规指标上仅差 -0.56 分，成本却相差 187 倍。
正文 · AI 翻译
摘要：检索增强生成会大量地提出同一个问题：这条证据是否支持这一主张？答案只有一位，然而大多数流水线却从文本生成器获取它，并为围绕它生成的文字支付生成费用。我们将一个非生成式决策模型——它从声明的枚举中返回一个带类型的值，并附带原生概率且不输出文本——与一个前沿 LLM 进行对比，后者按工程师部署二分类任务的方式配置。两者都对来自 LLM-AggreFact 的同一批 495 条人工标注主张作答，因此每次比较都是同项比较。我们报告三点。第一，在该任务通常采用的评分指标上，两个系统在统计上无法区分，配对差异为 -0.56 分（Jev 减 Astra），而成本相差 187 倍。第二，这种持平几乎不携带任何部署信息：两个系统在 15.2% 的主张上不一致，而较便宜的那个系统接受了 23.2% 被标注者标记为不支持的主张，前沿模型则为 14.1%。一个以捕捉不支持主张为职责的组件，应当按该比率来评判，而传统的头条指标掩盖了这一点。第三，由于错误不同，它们可以组合：将便宜模型有信心的主张路由出去、其余升级，可达到 74.10，每千条主张花费 2.92 美元，而对比方案为 73.83、花费 8.93 美元，阈值在折外选取。但在样本内阈值下、以相同预算靠抛硬币决定的匹配随机升级对照，表现同样好，因此带来节省的是升级比例，而不是决定升级哪些主张的概率。相对于它所基于的便宜模型，级联成本高出 61 倍，换来 0.83 分，95% CI [-3.36, 4.86]，而且它是两者中更宽松的守卫。相同的准确率掩盖了不相同的错误。所有预测、提示、定价和代码均已发布。
| 评论： | 31 页，6 幅图。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20634 [cs.CL] |
| （或 arXiv:2610.20634v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20634 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Alden Do Rosario [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 15:32:51 UTC（162 KB）
来源：arXiv cs.CL · arxiv.org