跳到正文
热点事件持续更新

健康AI分诊评测复现:漏诊率随格式变化

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

David Fraile Navarro 等作者发表复现与机制研究,检验评测格式对消费级健康 AI 分诊失败率的影响。对 Nature Medicine 研究中 60 个已发布案例的忠实复现显示,自由文本改写得分略低于原始提示(78.7% vs 81.8%,p=0.020),而强制分类回答配合自然输入则优于两者(84.4%)。作者称,ChatGPT Health 51.6% 漏诊这一头条比率未能作为跨模型稳定结论复现,很大程度上取决于输出格式以及将散文映射到四点量表的方式。 另一项机制性测试覆盖五个前沿 LLM 的 17 个场景,发现自然患者式消息比受限考试式脚手架得分高 6.4 分(p=0.015),与复现结果方向相反。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.AI
    评估格式而非仅模型能力,塑造了消费级健康 AI 的分诊失败测量结果

    一项机制性研究对五个前沿 LLM 在 17 个场景上测试发现,自然患者式消息比受限考试式脚手架得分高 6.4 分(p=0.015)。但对 Nature Medicine 研究中 60 个已发布案例的忠实复现显示方向反转:自由文本改写得分略低于原始提示(78.7% vs 81.8%,p=0.020),而强制分类回答配合自然输入则优于两者(84.4%)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。