arXiv cs.AI· Abdul Basit, Muhammad Abdullah Hanif, Muhammad Shafique·· 3 天前AI 评分22
MS-Exam-Gen：面向多发性硬化 MRI 影像知识评估 LLM 的自动基准构建工具包
MS-Exam-Gen: An Automatic Benchmark Construction Toolkit for Evaluating LLMs on Multiple Sclerosis-MRI Imaging Knowledge
AI 导读
MS-Exam-Gen 是一个可复现的自动基准构建工具包，用于评估 LLM 对多发性硬化 MRI 文本知识的掌握，不涉及直接影像判读。它从 66 个来源索引出 4,289 个检索块，生成含 16 个主题、53 个子主题的 3,058 道锁定候选题，在 12 个 LLM 端点上完成 36,696 次预测，准确率跨度达 42.8 个百分点（89.7% 至 46.9%）。
正文 · AI 翻译
摘要：生物医学大语言模型（LLM）评估需要对狭窄、不断演进、有来源依据的亚专科知识进行可审计的评估。多发性硬化症 MRI（MS-MRI）提供了一个高风险的文本知识测试案例，因为正确的推理需要当前的诊断标准、标准化的采集和报告知识、纵向监测概念、病灶形态学以及对疑难模仿病变的识别。我们提出了 MS-Exam-Gen，一个可复现的框架，用于构建和审计基于文本的 MS-MRI 知识多项选择题（MCQ）基准；它不评估直接的 MRI 图像解读。MS-Exam-Gen 针对有来源依据的标准、方案、报告和鉴别诊断。该框架结合了专家来源索引、面向考试的主题归纳、有证据依据的 MCQ 生成、自动化质量审计、同家族一致性筛查和经验校准。从索引为 4,289 个检索块的 66 个来源语料库中，该流程生成了一个锁定的 3,058 项候选基准，涵盖 16 个主题和 53 个子主题。在 12 个主要 LLM 端点上的评估产生了 36,696 条项目级预测，并在 42.8 个百分点的准确率范围（89.7% 至 46.9%）内区分了性能。在这些端点中，25.5% 的项目被至少四个端点答错。生成后审计表明，刷新构建减少了可测量的答案线索，而选项顺序测试表明绝对 MCQ 分数仍然对位置敏感。生成的构建标签仍然是元数据，而非经过验证的心理测量类别。由于专家裁定和完整的选项顺序平衡仍是未来工作，MS-Exam-Gen 不是临床认证的考试。它应被解释为一个自动过滤、有来源依据的候选基准，以及用于项目级和主题特定 LLM 评估的可复现审计工作流。
| 评论： | 7 页，3 幅图。已被 BHI 2026 接收发表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| MSC 分类： | 68T01, 68T50 |
| ACM 分类： | I.2.7; H.3.3 |
| 引用为： | arXiv:2610.06170 [cs.AI] |
| （或 arXiv:2610.06170v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.06170 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Abdul Basit [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 11:41:57 UTC（240 KB）
[v2]
2026 年 10 月 10 日星期六 12:55:19 UTC（240 KB）
来源：arXiv cs.AI · arxiv.org