arXiv cs.AI· Yubo Li, Yidi Miao, Ramayya Krishnan, Rema Padman·· 10 天前AI 评分47
JEV-as-a-Judge：置信时接受，不确定时升级
JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
AI 导读
JEV-as-a-Judge 提出用只输出标签概率的决策型评审 JEV 做评估，由置信度决定直接采纳还是升级给推理型评审。在十六个生成式与奖励模型评审对比中，凡结论可直接从文本读出的场景，JEV 与 GPT-6 差距在 3 分以内，费用仅为其 0.36%，中位延迟 0.15 秒；在数学、代码、逻辑等需推导的场景则落后。
正文 · AI 翻译
摘要：LLM-as-a-judge 扩展了评估能力，但推理型评判模型速度慢且成本高。我们研究 JEV-as-a-Judge：使用 JEV 进行评估，这是一种仅做决策的评判模型，返回标签概率而非文本，其置信度决定是接受其判定还是升级到推理型评判模型。在与十六个生成式和奖励模型评判模型的对比中，采用盲法人工裁决，凡是可以直接从文本读出判定结果的地方，JEV 与 GPT-6 的差距在三个百分点以内，费用仅为其 0.36%，中位延迟为 0.15 秒；而在判定结果必须推导得出的地方，如数学、代码和逻辑，则落后。其置信度标示了这一边界。使用预先冻结的阈值，接受高置信度判定并升级其余判定，在 1,610 对留出样本上比 GPT-6 准确率高 0.9 个百分点，费用仅为其 41%；在一项针对两个新工作负载的预先指定的在线测试中，该级联方案与 GPT-6 的准确率完全一致。置信度路由在风格对抗样本和无参考文本上会减弱；我们最后给出一个在本地验证阈值的简单方法。
| 评论： | 扩展了数据集，更新了结果和图表，并增加了新的分析。此前报告在 57% 成本下达到 GPT 性能 99% 的结果保留在附录中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.26550 [cs.AI] |
| （或使用 arXiv:2609.26550v4 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2609.26550 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yubo Li [查看邮箱]
[v1]
2026年9月22日星期二 15:05:56 UTC（2,824 KB）
[v2]
2026年9月27日星期日 19:00:59 UTC（1,802 KB）
[v3]
2026年9月29日星期二 15:32:52 UTC（1,605 KB）
[v4]
2026年10月6日星期二 00:32:50 UTC（1,605 KB）
来源：arXiv cs.AI · arxiv.org