跳到正文
arXiv cs.AI· William DeShong, Barath Kannan, Auberon Palma, Brenda Bradshaw, Ann Bruhn, James F. Leathrum, Jr., Yuzhong Shen·· 4 小时前AI 评分31

无需真实标注筛选 LLM 评审:AI 口腔卫生教练的初步评估

Screening LLM Judges Without Ground Truth: A Preliminary Evaluation of an AI Dental Hygiene Coach

AI 导读

研究提出一套分阶段流水线,在专家评审前用评审输出审计、与托管评审的相似度、偏差检查和决策稳健性等规则筛选候选 LLM 评审与学生模型。

正文 · AI 翻译

查看 PDF

摘要:用专家评分员评估微调后的辅导模型既慢又昂贵,而 LLM 评判器在没有真实基准的情况下不可信。我们提出一个分阶段流水线,在专家评审之前筛选候选 LLM 评判器和学生模型,每个阶段都使用明确的决策规则:评判器输出审计、与托管评判器的相似度、偏差检查以及决策稳健性。我们在一款 AI 口腔卫生辅导器上演示了该流水线。该案例研究使用合成的、未经临床验证的训练和参考数据来演示流水线的运行,而非确立所得模型的临床性能。两个微调的小型语言模型(Granite-4.1-8B 和 Qwen3-8B),各自在三种数据规模下训练,由五个评判器(三个本地、两个托管)按七项指标评分。两个本地评判器 Qwen3.8-27B 和 Gemma-4-31B-it 在七项指标中的六项上,按秩相关无法与托管评判器之间的一致性区分开,而 Qwen3.8-27B 总体上与托管评判器最相似。没有评判器达到我们关于偏袒自身模型家族或训练数据来源的标准。按照流水线的规则,学生模型比较在任何指标上都未能区分这两个模型,因此选择在 35 个评判器×指标单元格中领先 29 个的 Granite-4.1-8B 只是一种倾向,部分取决于 Qwen3-8B 被截断的输出。该流水线还揭示了原始分数所掩盖的问题,包括被截断的输出以及一个托管评判器给出的、无其他评判器佐证的幻觉标记。尚无口腔卫生专家对这些回复进行评分,因此这些发现是初步的,流水线的最后阶段——锚定专家判断——已被提出但尚未执行。
评论: 29 页,2 幅图,19 张表
主题: 人工智能 (cs.AI)
引用为: arXiv:2610.24335 [cs.AI]
  (或 arXiv:2610.24335v2 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2610.24335

由 DataCite 颁发的 arXiv DOI

提交历史

来自:William DeShong [查看电子邮件]
[v1] 2026 年 10 月 17 日星期六 00:02:02 UTC(6,837 KB)
[v2] 2026 年 11 月 17 日星期二 15:19:46 UTC(3,102 KB)

来源:arXiv cs.AI · arxiv.org