arXiv cs.AI· Sneha Maurya, Spandana Govindgari, Girish Kumar·· 4 小时前AI 评分38
WHBench:用专家在环验证评估前沿 LLM 的女性健康话题表现
WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics
AI 导读
研究者发布女性健康基准 WHBench,包含 10 个女性健康主题下 47 个专家设计的场景,用 23 项评分标准评估 22 个模型,覆盖临床准确性、安全性、公平性等维度。在 3,102 次作答中无模型平均分超过 75%,最佳模型仅达 72.1%,且各模型完全正确率偏低、危害率差异明显。该基准已公开,用于追踪女性健康 AI 更安全、更公平的进展。
正文 · AI 翻译
摘要:大语言模型越来越多地被用于医疗指导,但女性健康在基准设计中仍缺乏充分评估。我们提出女性健康基准(WHBench),这是一个针对性评估套件,包含覆盖 10 个女性健康主题的 47 个专家精心设计的场景,旨在揭示具有临床意义的失效模式,包括过时指南、不安全遗漏、剂量错误和与公平性相关的盲点。我们使用涵盖临床准确性、完整性、安全性、沟通质量、指令遵循、公平性、不确定性处理和指南依从性的 23 项标准评分体系评估了 22 个模型,并采用安全加权惩罚和服务器端分数重算。在 3,102 次尝试回答(3,100 次计分)中,没有任何模型的平均表现超过 75%;最佳模型达到 72.1%。即使是顶级模型也表现出较低的完全正确率和显著的危害率差异。评分者间信度在回答标签层面为中等,但在模型排名层面较高,这支持 WHBench 用于比较性系统评估的效用,同时凸显了临床部署中专家监督的必要性。WHBench 提供了一个公开的、感知失效模式的基准,用于追踪女性健康 AI 更安全、更公平的进展。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);计算机与社会(cs.CY) |
| 引用为: | arXiv:2604.00024 [cs.CL] |
| (或 arXiv:2604.00024v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2604.00024 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Spandana Govindgari [查看电子邮件]
[v1]
2026 年 3 月 11 日星期三 06:21:37 UTC(1,258 KB)
[v2]
2026 年 7 月 23 日星期四 23:19:26 UTC(1,258 KB)
[v3]
2026 年 11 月 17 日星期二 04:47:58 UTC(1,258 KB)
来源:arXiv cs.AI · arxiv.org