arXiv cs.AI· Hannes Ill, Rafi Al Attrach, Rajna Fani, Ahram Han, Ryohei Yamamoto, Marlene Louisa Moerig, Dukyong Yoon, Leo Anthony Celi·· 2 天前AI 评分34
M4Bench：评估临床电子健康记录衍生智能体的流程规范
M4Bench: Evaluating Procedural Specification for Clinical EHR Derivation Agents
AI 导读
M4Bench 发布 28 个临床衍生任务（覆盖 15 个任务族，基于 MIMIC-IV 与 eICU），用于测试 AI 编码智能体能否复现电子健康记录衍生变量。
正文 · AI 翻译
摘要：基于电子健康记录的临床研究依赖于派生变量，其定义位于模式之外，体现在条目代码、时间窗口、缺失规则以及会改变队列和下游结论的输出粒度选择中。我们推出 M4Bench，在 MIMIC-IV 和 eICU 上涵盖 15 个任务族的 28 项临床派生任务，用于检验 AI 编码智能体能否复现此类派生，以及经临床医生审核的智能体技能如何改变其结果。其对照组将技能的价值分解为规范完整性、交付格式和模式熟悉度。在 Docker 隔离的 Codex 实验中（GPT 5.4 Mini 和 GPT 5.5），技能相比无技能基线将奖励提高 0.136，28 项任务中有 26 项得到改善。规范完整性贡献了大部分增益：在八项任务的对照子集上，仅操作规范就使奖励提高 0.162，而技能在此基础上仅增加 0.024，与零无法区分。在十项任务的子集上，诱饵技能的得分与无技能相当，原始参考 SQL 几乎与针对性技能持平，这反驳了通用上下文或技能格式作为解释。模式混淆和重构保留了 86% 和 70% 的技能增益（GPT 5.4 Mini，26 项 MIMIC-IV 任务），这是一项描述性稳健性检查，而非对记忆的界限。在全部 28 项任务上的描述性 Claude Code 复现（Opus 4.7 和 Sonnet 4.6，560 次运行）方向一致（+0.120，28 项任务中有 21 项改善）。这些增益是与参考的部分一致，而非完成任务：280 次有技能和 280 次无技能的 Codex 运行中，分别只有 25 次和 13 次通过所有严格检查，且技能几乎不改变智能体返回的行（关键 F1 +0.003）。技能以版本化、可供临床医生审核的 markdown 交付格式发布，并附有任务族级别的参考有效性审计。M4Bench 将任务、技能、评估代码和经过脱敏的逐次运行证据作为开源基准发布。
| 评论： | 被 NeurIPS 2026（评估与数据集赛道）接收。正文 10 页，全文 33 页。代码：此 https URL 。证据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.1; J.3; H.2.8 |
| 引用为： | arXiv:2610.37459 [cs.AI] |
| （或 arXiv:2610.37459v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37459 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hannes Ill [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 15:59:13 UTC（382 KB）
来源：arXiv cs.AI · arxiv.org