arXiv cs.AI· Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi·· 13 小时前AI 评分26
ECG-Reasoning-Benchmark:评估 MLLM 心电图临床推理能力的基准
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
AI 导读
研究者提出 ECG-Reasoning-Benchmark,一个含 6400 多个样本的多轮评测框架,覆盖 17 种核心心电图诊断,用于检验多模态大模型是否真正逐步推理。评测显示,当前 SOTA 模型虽能检索诊断标准,却难以维持完整推理链,主要失败在于无法把心电图发现对应到信号中的实际视觉证据。
正文 · AI 翻译
摘要:尽管多模态大语言模型(MLLMs)在自动化心电图解读中展现出良好性能,但其究竟是进行真正的逐步推理,还是仅依赖表面的视觉线索,目前仍不清楚。为探究这一问题,我们提出了 ECG-Reasoning-Benchmark,这是一个新颖的多轮评估框架,包含超过 6,400 个样本,用于系统评估 17 种核心心电图诊断中的逐步推理能力。我们对最先进模型的全面评估揭示了其在执行多步逻辑推演方面存在系统性不足。尽管模型具备检索诊断临床标准的医学知识,但在维持完整推理链方面的成功率始终偏低,主要未能将相应的 ECG 发现与 ECG 信号中的实际视觉证据相对应。这些结果表明,当前 MLLMs 绕过了实际的视觉解读,凸显了其视觉 grounding 能力的局限,并推动构建稳健、以推理为中心的医疗 AI。代码和数据可在 this https URL 获取。
| Comments: | 已被 NeurIPS 2026 Evaluations & Datasets Track 接收 |
| Subjects: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| Cite as: | arXiv:2603.14326 [cs.LG] |
| (或 arXiv:2603.14326v2 [cs.LG] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2603.14326 由 DataCite 颁发的 arXiv DOI |
Submission history
来自:Jungwoo Oh [查看邮箱]
[v1]
2026年3月15日周日 11:09:38 UTC(4,770 KB)
[v2]
2026年10月28日周三 08:34:51 UTC(4,878 KB)
来源:arXiv cs.AI · arxiv.org