跳到正文
arXiv cs.AI· Jonathan Lichtle, Aymen Meddeb, Antonin Birot, Ibrahima Niang, Lisa Gastaud, Riyad Hanafi, Sofiane Dujardin, Corentin Selomme, Guillaume Cachard, Aghiles Hamroun, Gr\'egory Kuchcinski, Su Hwan Kim, Bastien Le Guellec·· 10 小时前AI 评分47

视觉语言模型智能体阅读急诊 CT 与 MRI 的诊断准确率与导航行为研究

Diagnostic Accuracy and Navigation Behavior of Vision-Language Model Agents Reading Emergency CT and MRI Examinations

AI 导读

六款视觉语言模型智能体在 100 例急诊 CT 与 MRI 上共运行 4800 次,自由导航时汇总准确率仅 32.6%,单次请求全部切片或关键切片时升至 42.2% 和 42.5%。在放射科医生也读过的 30 例中,自由导航模型准确率为 30.0%,医生为 77.0%。模型通常在浏览 10.8% 的切片后形成首个假设并在 63.1% 的运行中坚持该假设,首个假设错误时最终答对率仅 12.4%。

正文 · AI 翻译

作者:Jonathan Lichtle、Aymen Meddeb、Antonin Birot、Ibrahima Niang、Lisa Gastaud、Riyad Hanafi、Sofiane Dujardin、Corentin Selomme、Guillaume Cachard、Aghiles Hamroun、Grégory Kuchcinski、Su Hwan Kim、Bastien Le Guellec

查看 PDF

摘要:目的。评估视觉语言模型(VLM)智能体在不同探索策略下的诊断准确性和图像导航行为。材料与方法。在这项回顾性研究中,六个 VLM 在四种条件下(自由导航、从关键切片开始导航,以及单次请求中提供全部切片或关键切片)阅读了发表于公共档案库(2025 年 3 月至 2026 年 8 月)的 100 例急诊 CT 和 MRI 检查,每种条件各进行两次(共 4800 次运行)。九名放射科医生阅读了其中 30 例。由一名经两名放射科医生验证的大语言模型评审对答案进行评分。各条件通过以病例为聚类单位的广义估计方程进行比较。结果。合并准确率在自由导航下最低(32.6%;391/1200),其次为从关键切片开始导航(37.9%;455/1200;P = .003),在单次请求中提供全部切片(42.2%;506/1200)或关键切片(42.5%;510/1200)时最高(两者 P < .001)。在放射科医生阅读的 30 例中,自由导航模型的运行正确率为 30.0%(108/360),而放射科医生为 77.0%(208/270;P < .001)。模型在阅读中位 10.8% 的切片后形成首个假设,并在 63.1% 的运行中保持该假设(755/1196);在首个假设错误后,最终答案正确的运行比例为 12.4%(110/885),而首个假设正确后为 90.4%(281/311;P < .001)。最终答案中陈述置信度的中位数为 90%,而其中 38.9% 是正确的(1861/4778)。结论。在所有探索策略下,VLM 智能体的准确率仍远低于放射科医生。它们会形成早期假设并通常保持该假设,很少纠正错误的假设。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.23480 [cs.AI]
  (或 arXiv:2611.23480v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23480

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Bastien Le Guellec [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 20:32:21 UTC(1,295 KB)

来源:arXiv cs.AI · arxiv.org