arXiv cs.AI· Alejandra Perez, Anita Rau, Busisiwe Mlambo, Lee White, Aina Brunet, Juan Verde, Juan Caicedo, Jo\"el L. Lavanchy, Adam Schmidt, Chinedu Nwoye, Omid Mohareri, Muhammad Abdullah Jamal·· 10 小时前AI 评分38
SUREON：面向手术推理的基准与视觉语言模型
SUREON: A Benchmark and Vision-Language Model for Surgical Reasoning
AI 导读
研究团队推出 SUREON 视频问答数据集与基准，用于评估真正依赖视觉证据的手术推理，包含 76K 训练问答对、覆盖 168 种手术和 10 个专科，另有 340 道经外科专家审核的测试题。测试显示现有领先商业与开源模型均未超过 53% 准确率，专家外科医生也仅达 64.9%。基于该数据训练的 SUREON-VLM 在 SUREON 上优于现有开源模型，并在多个标准手术基准上追平更大的专科模型。
正文 · AI 翻译
作者：Alejandra Perez、Anita Rau、Busisiwe Mlambo、Lee White、Aina Brunet、Juan Verde、Juan Caicedo、Joël L. Lavanchy、Adam Schmidt、Chinedu Nwoye、Omid Mohareri、Muhammad Abdullah Jamal
摘要：一个有能力的手术 AI 模型应当基于视觉证据进行推理；然而，许多现有的手术基准测试可以在没有视觉输入的情况下被部分解决，因为模型可能利用流程先验或常见的解剖结构—器械交互，仅凭语言推断答案。为解决这一问题，我们提出了 SUREON，一个旨在评估视觉基础手术推理的视频问答（QA）数据集与基准。我们的流程从带旁白的手术学术视频中生成问答对，使用多个模型改进错误选项以减少语言偏差，并使用训练过的对抗性猜测器过滤掉无需视觉证据即可回答的问题。最终数据集包含 76K 训练问答对，覆盖 168 种手术和 10 个专科，并附带一个由专家外科医生验证的、涵盖 10 个类别的 340 道题的基准。对领先的商业和开源模型进行基准测试表明，手术视觉推理在很大程度上仍未解决——没有模型超过 53% 的准确率，即使是专家外科医生也仅达到 64.9%。我们还介绍了 SUREON-VLM，一个在我们精选数据上训练的基线模型，它避免了语言捷径，在 SUREON 上优于现有的开源模型，并在多个标准手术基准上匹配更大的专科模型。我们的训练消融实验表明，干扰项改进和盲法筛选增强了视觉基础，将多模态增益从 8.7 个百分点提高到 29.1 个百分点，同时将训练集从 176.6K 减少到 76K 过滤样本。因此，SUREON 既为手术视觉推理提供了一个经过验证的测试平台，也提供了增强视觉基础的训练数据。
| 评论： | WACV 2027 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.06570 [cs.CV] |
| （或 arXiv:2603.06570v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.06570 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anita Rau [查看电子邮件]
[v1]
2026年3月6日星期五 18:58:36 UTC（644 KB）
[v2]
2026年10月30日星期五 17:58:13 UTC（9,712 KB）
来源：arXiv cs.AI · arxiv.org