arXiv cs.AI· Anurag Sharma, Aditya Sharma, Sapna Baalwan·· 3 天前AI 评分42
ClinEdge：前沿多模态模型在真实患者边缘病例上失败的专家评分基准
ClinEdge: An Expert-Graded Benchmark of Real Patient Edge Cases Where Frontier Multimodal Models Fail
AI 导读
ClinEdge 用 32 个真实脱敏临床病例、7 个前沿多模态系统共 224 次专家评分评测，发现所有系统表现均差且失败模式趋同。评测由一名资深骨科外科医生对全部 224 条回答按加权评分表打分，再由 19 名医生独立复核每个病例与每条评分。
正文 · AI 翻译
摘要：医学领域大语言模型的多数基准测试都建立在执业资格考试和理论问题之上。少数利用真实临床数据的基准也仅部分采用，且很少要求模型阅读患者本人的影像。ClinEdge 通过 32 个来自活跃临床实践的真实、去标识化患者病例填补了这一空白，每个病例均由七个前沿系统评估，共计 224 次专家评分评估。每个病例将原始影像与简短病史摘要配对，包含一个已知能击败模式匹配推理的特征，并对照患者记录的临床病程进行评分。该套件追求深度而非数量。评分遵循两阶段专家流程。首先，一位资深骨科外科医生依据加权评分表和通过或失败判定对全部 224 份回答进行评分。其次，由十九位医生组成的专家组（多为教学医学院的资深专科医生）独立审查了每个病例和全部 224 份评分。所有七个生产系统均通过其公开接口进行评估，全部 224 段对话均以可回放链接的形式保存。
所有系统表现均不佳，且失败之处如出一辙：不同厂商遗漏了相同的发现，并得出相同的错误方案。根据专家笔记，我们归纳出五大类共 18 种反复出现的失败模式。模型在读到第一个发现后便停止阅读图像。它们给出泛泛的方案，并倾向于过度治疗。它们信任误导性的病史而非正确的影像。它们的回答因系统和运行而异，并随问题格式而变化。失败的答案表达流畅，且未表现出任何不确定性。四个病例已完整公开；其余 28 个予以保留，我们邀请前沿 AI 实验室和医疗 AI 公司用它们评估自己的模型（research@futrbridge.com）
| Comments: | 14 页，5 幅图。32 个真实、去标识化的临床病例；跨七个前沿多模态 AI 系统的 224 次专家评分评估 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.15239 [cs.AI] |
| （或本版本的 arXiv:2610.15239v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.15239 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
发件人：Aditya Sharma Duke [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 00:17:47 UTC（1,038 KB）
来源：arXiv cs.AI · arxiv.org