GPT、Claude、Gemini、Llama、DeepSeek 与 Qwen 在疼痛管理中存在种族与性别偏见吗？一项反事实审计

查看 PDF HTML（实验性）

摘要：少数种族和族裔患者接受疼痛治疗的程度低于非西班牙裔白人患者，而用作医疗 AI 的大型语言模型（LLM）可能会重现这种偏见。此前的审计测试了几种专有模型，明确说明了种族，且很少测量模型自身响应的不稳定性。在探索性、非预注册的分析中，研究 1 让四个开放权重 LLM 评估六个急性疼痛案例，覆盖四种种族与两种性别的所有组合，身份或明确说明，或仅通过名字暗示（每组两个名字），并将每种身份与同一病例、同一种子采样下的白人男性参照进行比较。在研究 2 中，17 个模型的 24 种配置，包括 OpenAI 的 GPT-4.1 mini 和 gpt-oss、Anthropic 的 Claude Haiku 4.5、Google 的 Gemini 2.5 Flash、Meta 的 Llama、DeepSeek 和 Qwen，在推理开启和关闭以及两种精度下，回答了相同的案例以及 50 个由临床医生编写的 Q-Pain 病例。在这个单一提示、JSON 约束的任务中，研究 1 中没有差异在校正后仍然存在，研究 2 中 1,386 项比较没有一项在错误发现率校正后仍然存在，并且所有疼痛严重程度差异在 0-10 量表上均等同于零，差异在一个点以内（238 项 Q-Pain 比较中有 237 项在四分之一个点以内）。阿片类药物决策的界定精度较低（研究 1 无法排除约 20 个百分点的差异），因此它们显示的是未检测到差异，而非证明没有差异。在模型内校正后仍然存在的少数差异偏向黑人患者。模型之间的差异以及模型自身不同设置之间的差异，远大于患者之间的差异（参照患者在 6% 至 93% 的响应中接受了高剂量阿片类药物），尽管服务软件、提供商和提示格式也有所不同。临床 AI 的公平性审计应每组使用多个名字，基于种子进行配对比较，报告噪声下限，并测试每种部署配置。

评论：	31 页，5 幅图，14 张表。代码、案例、面板定义、支出账本以及全部 58,080 条原始模型响应：此 https URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY）
ACM 分类：	I.2.7；J.3
引用为：	arXiv:2611.14935 [cs.CL]
	（或 arXiv:2611.14935v1 [cs.CL] 为此版本）
	https://doi.org/10.48550/arXiv.2611.14935 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Richard Young [查看电子邮件]
[v1] 2026 年 11 月 11 日星期三 02:35:53 UTC（224 KB）