Artificial Analysis 上线 OpenAI HealthBench 与 HealthBench Professional 排行榜

Artificial Analysis· @ArtificialAnlys · X·2026-10-20 07:03· 27 分钟前AI 评分52

AI 导读

Artificial Analysis 为 OpenAI 的 HealthBench 与 HealthBench Professional 基准上线排行榜，评估模型对真实健康对话的回复。

正文 · 原文

我们正在为 HealthBench 和 HealthBench Professional 推出排行榜，这两项基准用于评估 AI 模型在真实健康对话中的回复表现

HealthBench 和 HealthBench Professional 是 @OpenAI 的基准，依据医生制定的评分标准对模型在真实健康对话中的回复进行评分。

HealthBench 用 5,000 段与普通用户和医护人员的健康对话来测试模型。这些对话涵盖七大主题，从紧急转诊到全球健康，每条评分标准都归属于五个维度之一：准确性、完整性、沟通质量、上下文感知和指令遵循。HealthBench Professional 是一个规模更小的集合，包含 525 段对话，与 HealthBench 不同，这些对话全部来自临床医生。它们涵盖问诊、写作和研究任务，并包含旨在挑战模型的对抗性和高难度对话。

我们同时报告原始分数（获得的评分标准点数占比）和 OpenAI 报告的按长度调整后的分数。按长度调整后的分数会降低超过 2,000 字符的回复的分数，并提高较短回复的分数。与 OpenAI 的原始实现一致，回复由 GPT-5.4 (low)（HealthBench Professional）和 GPT-4.1（HealthBench）评分。

HealthBench Professional 的关键结果：

➤ GPT-6 Astra 和 GPT-6.1 Sol 位居榜首：GPT-6 Astra (max) 的按长度调整分数为 66.0%，与 GPT-6.1 Sol (max, 65.1%) 相当，并领先于 Claude Sonnet 5.5 (max with fallback, 63.0%)

➤ OpenAI 模型构成了整个分数 vs. 每任务成本帕累托前沿：帕累托前沿由 GPT-6 Luna (max, 61.9%, 每任务 $0.004) 经 GPT-6 Sol (max, 62.3%, $0.036) 和 GPT-6.1 Sol (max, 65.1%, $0.047) 延伸至 GPT-6 Astra (max, 66.0%, $0.27)。GPT-6 Luna (max) 的分数比 GPT-6 Astra (max) 低 4 分，成本却不到其 2%

➤ Claude Opus 5.5 和 Claude Fable 5.1 受到最大的长度惩罚：两者平均每个答案约 5,900 字符，接近 2,000 字符阈值的 3 倍，调整后损失超过 11 分。Claude Opus 5.5 (max with fallback) 的原始分数最高（71.4%），但降至第六（59.9%）。GPT-6 Sol (max) 是唯一平均低于 2,000 字符（约 1,600）的模型，也是唯一分数上升的模型

HealthBench 的关键结果：

➤ Claude Sonnet 5.5 位居 HealthBench 榜首：Claude Sonnet 5.5 (max with fallback) 的按长度调整分数为 62.1%，领先于 DeepSeek V4.1 Flash (max, 60.9%) 和 GPT-6.1 Sol (max, 58.5%)

➤ GPT-6 Luna、DeepSeek V4.1 Flash 和 Claude Sonnet 5.5 构成分数 vs. 每任务成本帕累托前沿：GPT-6 Luna (max) 以每任务 $0.002 获得 54.6% 的分数，DeepSeek V4.1 Flash (max) 以每任务 $0.005 获得 60.9% 的分数。Claude Sonnet 5.5 (max with fallback) 的平均每任务成本为 $0.08，比 DeepSeek V4.1 Flash 贵约 16 倍，分数仅提高约 1 分

➤ 更简短的回答以完整性换取沟通质量：每个 HealthBench 评分项都标注了五个维度之一。完整性检查回答是否包含所有重要信息，而沟通质量则检查回答是否清晰、结构良好，并且长度和细节程度恰当。GPT-6 Sol (max) 的回答最短（约 1,000 个字符），其沟通质量原始得分最高（81%），但完整性得分最低（34%）。Claude Sonnet 5.5（max with fallback）在完整性上领先（63%）

来源：Artificial Analysis · x.com