评估格式而非仅模型能力，塑造了消费级健康 AI 的分诊失败测量结果

查看 PDF HTML（实验性）

摘要：近期一项发表于 Nature Medicine 的研究报告称，ChatGPT Health 对 51.6% 的急症存在分诊不足，并据此得出结论：面向消费者的 AI 分诊存在安全风险。然而，其研究方案采用的是一种考试式的框架（强制输出 A/B/C/D、抑制知识、不提出澄清性问题），与消费者使用健康聊天机器人的方式并不相同。我们想探究：这一头条错误率中有多少是测量方式的属性，而非模型本身的属性。在第一项机制性研究中，五个前沿 LLM 在一个包含 17 个场景的题库上，在自然化的患者式消息下得分比在受限框架下高 6.4 分（p=0.015）。在第二项忠实复现中，我们将作者公开的 60 个 vignette 通过六个前沿模型在四种匹配格式下运行，并对改写内容进行了临床医生验证，以及对 LLM 裁决者进行了盲法临床医生审核。结果方向反转：自由文本改写得分略低于原始提示（78.7% 对 81.8%，p=0.020），仅移除答案框架变化不大（80.6% 对 81.4%，p=0.81），而自然化输入配合强制分类答案则同时优于原始提示（84.4%，p=0.023）和自由文本（p=0.0001）。在定义原始急症率的四个 vignette 上，原始框架下的分诊不足为 17%，自由文本下为 50%，同一消息配合强制字母选择下为 21%；所有自由文本中的“分诊不足”都是当日建议被评分为 C 而非 D，且 60% 将升级处理设为取决于患者被要求核查的信息，这种单轮基准无法评分的行为。该头条比率未能作为稳定的跨模型发现得到复现；其很大程度取决于输出格式以及将散文映射到四点量表的方式。每种格式引发的是各自不同的响应，因此该设计测量的是格式敏感性，而非格式与能力的对比。安全声明应报告对输入措辞、输出格式和裁决方式的敏感性。

评论：	10 页
主题：	人机交互（cs.HC）；人工智能（cs.AI）
引用为：	arXiv:2603.11413 [cs.HC]
	（或 arXiv:2603.11413v5 [cs.HC] 用于此版本）
	https://doi.org/10.48550/arXiv.2603.11413 由 DataCite 颁发的 arXiv DOI

提交历史

来自：David Fraile Navarro MD PhD [查看邮箱]
[v1] 2026 年 3 月 12 日周四 00:58:22 UTC（12 KB）
[v2] 2026 年 3 月 15 日周日 12:43:26 UTC（13 KB）
[v3] 2026 年 3 月 26 日周四 02:43:59 UTC（13 KB）
[v4] 2026 年 10 月 2 日周五 02:36:04 UTC（24 KB）
[v5] 2026 年 10 月 20 日周二 00:12:51 UTC（26 KB）