arXiv cs.AI· Rotem Gershon, Seffi Cohen, Dean Ariel, Havatzelet Bilavsky-Yarden, Amiel Sberro, Shai Yitzhaki, Osnat Tausky, Naama Golan, Maayan Rabinovitch, Ariel Avraham Hasidim, Itay Arianu, Maya Dagan, Ran Balicer, Noa Dagan·· 12 小时前AI 评分38
决策语言模型 Jev 可作为临床生成式 AI 的低成本快速评判替代方案
Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI
AI 导读
决策语言模型 Jev 在四项临床 AI 评测任务中与前沿及开源 LLM 评判模型对比，在 118 份儿科回答上与医生序数质量评分的一致性（Gwet's AC2 0.50）达到或超过 12 个 LLM 评判模型中的 7 个，包括 Claude Opus 5.5（0.49）和 GPT-6（0.38）。
正文 · AI 翻译
作者：Rotem Gershon、Seffi Cohen、Dean Ariel、Havatzelet Bilavsky-Yarden、Amiel Sberro、Shai Yitzhaki、Osnat Tausky、Naama Golan、Maayan Rabinovitch、Ariel Avraham Hasidim、Itay Arianu、Maya Dagan、Ran Balicer、Noa Dagan
摘要：对临床人工智能（AI）输出进行自动化评判是必要的，但大语言模型（LLM）评判器在大规模应用时成本高、速度慢。我们在四个用例中，将返回结构化判断的决策语言模型 Jev 与前沿及开放权重 LLM 评判器进行了比较。在 118 个儿科回答上，Jev 与医生序数质量评分的一致性（Gwet's AC2 0.50；期望得分 0.53）达到或超过了 12 个 LLM 评判器中的 7 个，包括前沿模型 Claude Opus 5.5（0.49）和 GPT-6（0.38）。在由医生评分的二元 HealthBench 标准上，Jev 达到或超过了 6 个 LLM 评判器中的 4 个。在 MedHELM 的开放式任务上，Jev 与由三个 LLM 组成的评审团的一致性接近或超过了评审员之间的内部一致性。在 HealthBench Professional 上，Jev 在 91% 的标准上与基准参考评判器 GPT-5.4 一致（其他评判器为 91-93%）。前沿评判器的成本是 Jev 的 73-294 倍，耗时是 Jev 的 7-57 倍。Jev 有望实现大规模、高效的临床 AI 评估。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28826 [cs.AI] |
| （或 arXiv:2610.28826v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28826 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seffi Cohen [查看电子邮件]
[v1]
2026年10月20日星期二 18:46:47 UTC（2,804 KB）
来源：arXiv cs.AI · arxiv.org