跳到正文
arXiv cs.CL· Prithvi Dixit, Pedram Hosseini·· 10 小时前AI 评分34

医学基准评分是否可靠?RIFT 框架揭示临床评测中的评分标准失效模式

Are We Grading Properly? Understanding Failure Modes in Medical Benchmarks

AI 导读

研究将全局评分标准失效分类框架 RIFT 应用于 HealthBench Professional、LiveMedBench 和 MentalHealthBench 三个临床基准,LLM 评审在 HealthBench Professional 上标记 29.6% 的标准为非原子性、65.4% 为错位或僵化。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:医学评估正从静态的选项式提问转向具有开放式输出模式的真实临床场景。然而,大规模地朴素评分成本高昂,基于评分标准的评估已成为主流的可扩展替代方案。我们追问:当评分标准本身并不严密时会发生什么,以及这类缺陷能否被检测并纠正。我们将全局评分标准失效分类法 RIFT 应用于三个临床基准(HealthBench Professional、LiveMedBench 和 MentalHealthBench),发现失效模式具有实际意义:在 HealthBench Professional 上,一个 LLM 评判器将 29.6% 的标准标记为非原子性,将 65.4% 标记为错位/僵化,不过这些比例在五个检测评判器之间相差数倍。随后,我们表明这些缺陷具有实际意义,而不仅仅是表面问题。例如,将“以下至少一项/以下全部”形式的捆绑标准改写为等权重的子项,并对相同回答重新评分,会使受影响对话的分数最多变动 15.9 个百分点,其中析取式捆绑会抬高分数,合取式捆绑会压低分数。在六个回答模型和两个常用评分器上,这些变动并未改变模型排名,其净方向取决于捆绑标准中有多少是惩罚项。我们还发现,RIFT 在临床评分标准上可能低估捆绑现象,低估程度取决于检测评判器:在相同的 LiveMedBench 标准上,评判器将 3.8-15.9% 标记为非原子性,而估计真正存在捆绑的比例为 7-19%。
学科: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2609.16023 [cs.CL]
  (或 arXiv:2609.16023v2 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2609.16023

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Prithvi Dixit [查看邮箱]
[v1] 2026年9月10日 周四 01:18:39 UTC(701 KB)
[v2] 2026年11月18日 周三 20:33:26 UTC(1,113 KB)

来源:arXiv cs.CL · arxiv.org