跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 2 小时前AI 评分66

斯坦福论文发现 8 款 LLM 评审医疗答案时偏袒自身

斯坦福发现 8 款 LLM 评审医疗答案时偏袒自身

AI 导读

斯坦福论文测试 OpenAI、Anthropic、Google 和 Qwen 的 8 款模型,在 620 道真实临床问题的匿名答案排序中,所有评审都偏向自己的回答,平均高出 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。去掉评分标准后偏袒依旧存在,公开模型名也只让偏差缩小 0.094 个名次。作者建议使用跨模型家族的评审小组并逐评审者报告结果,而非单一汇总分。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-18 12:52· 38 分钟前AI 评分48

AI 导读

斯坦福论文测试的 8 款 OpenAI、Anthropic、Google 和 Qwen 模型,在 620 道真实临床问题的匿名答案排序中全部偏向自己的回答,平均高出 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。去掉评分标准后偏袒依旧存在,公开模型名也只让偏差缩小 0.094 个名次。作者建议用跨模型家族的评审小组并逐评审者报告结果,而非单一汇总分。

正文 · 原文

斯坦福新论文发现,测试的 8 款 LLM 都把自己的医学回答排得比其他模型给它的排名更高,即使答案已匿名。

医学 AI 基准测试常用 LLM 给其他 LLM 的回答打分。如果评审偏向自己的输出,基准就会向该模型倾斜。

他们让来自 OpenAI、Anthropic、Google 和 Qwen 的 8 款模型回答 620 道真实临床医生问题,然后对全部 8 份匿名答案排序。他们比较了每位评审给自己的答案排的位置,与其他 7 位评审给同一答案排的位置。

每位评审都偏向自己的答案,平均高出 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。去掉评分标准后偏差依然存在,公开模型名也只让偏差缩小 0.094 个名次。

如果使用 LLM 评审,请使用来自多个模型家族的评审小组,并逐评审者报告结果,而不是只给一个汇总分。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news