arXiv cs.AI· David Restrepo, Chenwei Wu, Luis Filipe Nakayama, Miguel L. Martins, Stergios Christodoulidis, Maria Vakalopoulou, Enzo Ferrante·· 14 小时前AI 评分34
FOCUS：从基础视觉编码器到多模态 LLM 的视网膜模型泛化能力基准测试
FOCUS: Benchmarking Retinal Model Generalization from Foundation Vision Encoders to Multimodal LLMs
AI 导读
FOCUS 是一个跨数据集基准，用于评估视网膜眼底模型在视觉编码器（VM）、视觉-语言双编码器（VLM）和多模态大语言模型（MLLM）上的泛化能力，统一了糖尿病视网膜病变、可转诊糖尿病视网膜病变和青光眼性视神经病变三类任务，覆盖十个公开数据集。
正文 · AI 翻译
摘要：随着基础模型的采用，基于 AI 的视网膜图像分析进展加速，但评估其真实世界的可靠性仍然具有挑战性。在单一数据集上报告的性能无法反映模型在数据集偏移下、跨临床定义或针对不同患者亚组时的行为。这一局限在医学影像中尤为关键，因为稳健性、校准和公平性对于安全部署至关重要。我们提出 FOCUS（Foundation Ophthalmic Cross-Dataset Understanding under Shift），一个跨数据集基准，用于评估视网膜眼底模型，涵盖仅视觉编码器模型（VM）、视觉-语言双编码器模型（VLM）和多模态大语言模型（MLLM）。FOCUS 在十个公共数据集上统一了二分类糖尿病视网膜病变、需转诊糖尿病视网膜病变和青光眼性视神经病变任务，这些数据集涵盖不同地域、采集条件和标签协议。该基准通过统一分析层评估模型，测量排序性能、校准、亚组差异和图像质量稳健性。我们呈现了一项大规模评估，涵盖 532 个基础配置和 228 个通过 LoRA 微调适配的 MLLM 配置。结果表明，没有哪个模型家族在所有任务和数据集上始终占优：通用 VM 编码器取得最强的平均排序性能，医学 MLLM 具有竞争力但表现多变，双编码器 VLM 从轻量适配中获益显著。微调提升了域内性能，但向外部数据集的迁移表现不一，尤其是在校准方面。FOCUS 提供了一个实用框架和公共基准，用于评估超越单数据集排行榜的泛化性、可靠性和稳健性。
| 评论： | 已被 NeurIPS 2026 的 Evaluations & Datasets Track 接收。交互式基准仪表盘：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.33158 [cs.CV] |
| （或 arXiv:2609.33158v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.33158 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：David Restrepo [查看邮箱]
[v1]
2026年9月27日周日 03:31:39 UTC（19,253 KB）
[v2]
2026年10月26日周一 01:12:56 UTC（19,254 KB）
来源：arXiv cs.AI · arxiv.org