跳到正文
arXiv cs.AI· Mohammad Eslami, Mousa Moradi, Negin Ghamsarian, Nazlee Zebardast, Jennifer L Lindsey, Sophia Y. Wang, Lucia Sobrin, Rishi P Singh, Tobias Elze·· 10 小时前AI 评分31

SurgCBVR:首个手术视频内容检索多域基准发布

SurgCBVR: A Multi-Domain Benchmark for Content-Based Surgical Video-to-Video Retrieval

AI 导读

SurgCBVR 是首个基于内容的手术视频到视频检索基准,整合眼科、腹腔镜、机器人辅助和结肠镜四个领域的八个公开数据集,覆盖六类手术、679 例病例、76,489 个片段(106 小时)。

正文 · AI 翻译

查看 PDF

摘要:医院每年录制数千小时的手术视频,但这些档案仍难以按内容检索。外科医生无法便捷地调取相似手术、并发症或工作流事件。现有的手术计算机视觉主要生成标签,而非检索相关视频。我们提出 SurgCBVR,这是首个用于手术中基于内容的视频到视频检索的基准。它整合了四个领域(眼科、腹腔镜、机器人辅助和结肠镜)的八个公开数据集,涵盖六种手术类型、679 个病例和 76,489 个片段(106 小时)。SurgCBVR 包含两个层级:场景(Scene),跨病例和站点检索相同的手术状态;工作流(Workflow),检索并定位阶段转换和偏差。场景包含 74,765 个片段,跨越 40 个类别、三种时间粒度和三种播放速度;工作流包含 1,724 个转换片段。固定的片段长度和帧数,以及阶段分类器 oracle 和仅时长基线,有助于评估标签和时序捷径。我们评估了六个通用和手术基础模型、两种视频检索方法,以及在 SurgCBVR 上训练的对比头,使用限定于相同手术类型的数据集内、跨数据集和合并库检索。冻结表示仅略优于仅时序基线,转换检索接近随机水平,训练后的头在跨数据集时准确率下降多达一半。这些发现揭示了当前视频表示的显著局限性,并将 SurgCBVR 确立为推进手术感知检索的基准。
主题: 图像与视频处理 (eess.IV);人工智能 (cs.AI)
引用为: arXiv:2611.23347 [eess.IV]
  (或 arXiv:2611.23347v1 [eess.IV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23347

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Mohammad Eslami [查看电子邮件]
[v1] 2026年11月17日星期二 11:00:04 UTC(18,562 KB)

来源:arXiv cs.AI · arxiv.org