跳到正文
热点事件持续更新

研究者发布女性健康基准 WHBench,22 个模型无一平均分超 75%

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Sneha Maurya 等作者发布并公开女性健康评测基准 WHBench,用 47 个专家设计的场景、23 项评分标准评测 22 个前沿大模型,覆盖临床准确性、安全性、公平性等维度。 在 3,102 次作答中,没有模型平均分超过 75%,最佳模型仅 72.1%;各模型完全正确率偏低,危害率差异明显。该基准旨在暴露过时指南、不安全遗漏、剂量错误和公平性盲区等临床相关失效模式,用于追踪女性健康 AI 更安全、更公平的进展。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    WHBench:用专家在环验证评估前沿 LLM 的女性健康话题表现

    研究者发布女性健康基准 WHBench,包含 10 个女性健康主题下 47 个专家设计的场景,用 23 项评分标准评估 22 个模型,覆盖临床准确性、安全性、公平性等维度。在 3,102 次作答中无模型平均分超过 75%,最佳模型仅达 72.1%,且各模型完全正确率偏低、危害率差异明显。该基准已公开,用于追踪女性健康 AI 更安全、更公平的进展。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。