廉价验证器 Jev 核查 RAG 声明准确率逼近 GPT-6 Astra，成本低 187 倍
廉价验证器 Jev 核查 RAG 声明准确率逼近 GPT-6 Astra
论文在 495 条人工标注声明上对比了仅输出标签和概率的廉价验证器 Jev 与 GPT-6 Astra，Jev 准确率与 Astra 相差 0.6 个百分点以内，成本低 187 倍。但 Jev 放行了 23.2% 的无依据声明，高于 Astra 的 14.1%。级联方案虽能降低 Astra 费用，但随机分流同样比例的声明也能省下差不多的钱。
Rohan Paul· @rohanpaul_ai · X·2026-10-27 18:24· 2 小时前AI 评分40
AI 导读
论文测试了仅输出标签和概率的 Jev 与 GPT-6 Astra 在 495 条人工标注声明上的核查表现，Jev 准确率与 Astra 相差 0.6 个百分点以内，成本低 187 倍。但 Jev 放行了 23.2% 的无依据声明，高于 Astra 的 14.1%。级联方案虽降低 Astra 费用，但随机分流同样比例的声明也能省下差不多的钱。
正文 · 原文
这篇论文发现，一个廉价的验证器在核查 RAG 声明时能达到前沿 LLM 的准确率，但会让更多无依据的声明通过。
RAG 流水线不断在问证据是否支持某项声明，答案就是简单的“是”或“否”。大多数团队从生成文本的 LLM 那里以生成的价格获得这个答案。
他们测试了 Jev，它只返回一个标签和一个概率，与 GPT-6 Astra 在 495 条人工标注声明上进行了对比。他们还构建了一个级联方案，由 Jev 回答有把握的声明，其余交给 Astra。
Jev 的准确率与 Astra 相差在 0.6 个百分点以内，成本低 187 倍，但它放行了 23.2% 的无依据声明，而 Astra 为 14.1%。级联方案也降低了 Astra 的费用，但随机将同样比例的声明发送给 Astra 也能省下差不多的钱。
在为 RAG 产品选择声明核查器之前，要测量它放行无依据声明的频率，因为总体准确率会掩盖这一点。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news