arXiv cs.AI· Yulin Fu (Beijing University of Posts and Telecommunications), Junren Wang (West China Hospital, Sichuan Provincial Engineering Research Center of Intelligent Diagnosis and Treatment of Breast Diseases), Guangjing Yang (Beijing University of Posts and Telecommunications), Zhangyuan Yu (Beijing University of Posts and Telecommunications), Wanran Sun (Beijing University of Posts and Telecommunications), Jiabao Zhou (Beijing University of Posts and Telecommunications), Jin Yin (West China Hospital, Sichuan Provincial Engineering Research Center of Intelligent Diagnosis and Treatment of Breast Diseases), Qicheng Lao (Beijing University of Posts and Telecommunications)·· 9 天前AI 评分24
MedBenchAgent：迈向医疗 VLM 基准构建的系统化自动化
MedBenchAgent: Towards Systematic Automation of Medical VLM Benchmark Construction
AI 导读
北京邮电大学与华西医院等团队提出 MedBenchAgent，一个基于 Benchmark Intermediate Representation（BIR）的多智能体框架，将医疗 VLM 基准构建形式化为"约束编译"，把规范推导与条目实例化分离。
正文 · AI 翻译
作者：Yulin Fu (1)、Junren Wang (2 和 3)、Guangjing Yang (1)、Zhangyuan Yu (1)、Wanran Sun (1)、Jiabao Zhou (1)、Jin Yin (2 和 3)、Qicheng Lao (1)（(1) 北京邮电大学，(2) 华西医院，(3) 四川省乳腺疾病智能诊疗工程研究中心）
摘要：随着标注丰富的影像数据集和大语言模型（LLM）的发展，大规模构建医学视觉语言模型（VLM）基准日益可行，但现有自动化工作大多聚焦于在预定义的基准规范内生成评估条目。我们研究一个更广泛的问题：自动推导规范本身——评估什么、哪些标注支持每项任务，以及如何将这些证据转化为可靠的评估条目。我们将基准构建形式化为约束编译，其中基准规范由评估需求、异构标注和医学知识逐步推导而来。基于这一形式化，我们提出 MedBenchAgent，一个多智能体框架，配备基准中间表示（BIR），在构建各阶段编码任务定义、证据映射、评估协议和条目规范。MedBenchAgent 将推导并验证规范的规划阶段与在锁定规范下构建并审核条目的实例化阶段分离。MedBenchAgent 取得 90.9% 的任务空间 F1，优于直接任务归纳（79.2-80.0%）和先验引导归纳（85.1%）；从正确识别任务中采样的 1,000 个条目中有 994 个通过人工审核。我们进一步展示了对专门医学领域的可移植性，并评估了十二个 VLM，揭示了被总体得分掩盖的任务和设置特定差异。这些结果确立了约束编译作为一个可扩展且可审核的框架，用于超越问题生成的医学 VLM 基准构建。
| 评论： | 25 页，6 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11312 [cs.AI] |
| （或 arXiv:2610.11312v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11312 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yulin Fu [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 06:17:33 UTC（7,872 KB）
来源：arXiv cs.AI · arxiv.org