arXiv cs.AI· Marilyn Zhang, Tianfeng Chen, Patricia M Pechter, Mark E. Whiting·· 11 小时前AI 评分58
SelfDx 基准：健康助手在时间紧迫自诊问题上过度附和
When Health Assistants Agree Too Readily: A Benchmark of Time-Critical Self-Diagnosis
AI 导读
研究团队提出 SelfDx 配对基准，用 100 组样本对比需要谨慎与可以认同两种健康自诊场景，考察模型是否具备恰当的回应行为。在 27 个前沿模型上测试发现，模型在需要谨慎的病例中倾向不恰当地认同用户自诊，表现最好的当前代模型在时间紧迫病症上恰当谨慎率仅 77.0%。三种提示词变体虽提升谨慎率，却使恰当认同率下降 9-35%；而在 128 条均衡样本上做监督微调，三次运行中两项指标同时提升。
正文 · AI 翻译
摘要：每天有超过 4000 万人向 ChatGPT 提出健康问题，例如笔记本电脑使用姿势能否解释脖子僵硬和持续数天的剧烈头痛。姿势问题看似合理，但脑膜炎是一种时间紧迫的可能性。我们推出 SelfDx，这是一个配对基准，用于评估模型在健康问题中是否具备恰当的回应行为，即一种认知独立性；在这类问题中，错误地认同用户的自我诊断可能会延误紧急或急救护理。100 对案例中的每一对都将一个谨慎案例（其中严重的替代可能性仍然存在）与一个认同案例（其中用户提供的证据排除了替代可能性，模型可以安全地表示认同）进行对比。我们发现，在 27 个前沿模型中，它们在需要谨慎的案例中往往不恰当地认同用户的自我诊断。即使是当前一代最佳模型，在时间紧迫的病症案例中也仅达到 77.0% 的恰当谨慎率。为弥补这一差距，我们尝试了三种提示变体，它们提高了恰当谨慎率，但使恰当认同率下降了 9-35%，表明存在过度谨慎。相比之下，在 128 个平衡示例上进行监督微调，在三次运行中同时提高了这两项比率。我们建议通过后训练来提高恰当谨慎，同时不让模型对所有案例都过度谨慎，并通过配对评估来验证这两种回应行为。
| 评论： | NeurIPS 2026 研讨会：第三届 GenAI for Health 研讨会：智能体系统、临床信任与未来潜力 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27518 [cs.AI] |
| （或 arXiv:2610.27518v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27518 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marilyn Zhang [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 02:31:47 UTC（49 KB）
来源：arXiv cs.AI · arxiv.org