arXiv cs.AI· Andre Guarnier De Mitri, Giovani Decico Lucafo, Miller Matheus Lima Anacleto Rocha, Diego Furtado Silva·· 1 天前AI 评分22
CAMEL：面向超轻量视网膜基础模型的跨架构掩码嵌入学习
CAMEL: Cross-Architecture Masked Embedding Learning for Ultra-Lightweight Retinal Foundation Models
AI 导读
CAMEL 是一种跨架构蒸馏框架，通过嵌入学习中的非对称掩码策略，将大型教师基础模型的知识迁移到紧凑轻量的学生模型。在四个数据集上的实验显示，CAMEL 在保持精度的同时大幅降低计算复杂度，使高精度模型可部署于资源受限的临床环境。
正文 · AI 翻译
摘要：深度学习的最新进展大幅推动了眼科病理的自动化分级，这得益于大规模标注数据集和改进的表征学习。然而，最先进的性能与临床可扩展性之间仍存在显著差距。特别是，基础模型重塑了基于图像的医学筛查与诊断。这些在大量数据集上训练的大规模架构学习到丰富且可泛化的特征表征，可适配广泛的下游任务。在眼科领域，RETFound 是视网膜图像最相关的基础模型之一，在分类、分割和风险预测任务中表现强劲。尽管基础模型效果显著，但其计算开销往往过高，阻碍了它们在硬件受限、延迟至关重要的真实临床环境中的部署。为弥合这一差距，我们提出 CAMEL（跨架构掩码嵌入学习），这是一种新颖的跨架构蒸馏框架，在嵌入学习过程中采用非对称掩码策略，从而有效地将知识从庞大的教师基础模型迁移到紧凑、轻量的学生模型。我们在四个数据集上的实验评估表明，CAMEL 在保持准确率的同时大幅降低了计算复杂度，使轻量且高精度的模型适用于资源有限的临床环境。
| 评论： | 8 页，6 幅图，预印本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.40954 [cs.LG] |
| （或 arXiv:2610.40954v1 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.40954 arXiv 颁发的 DOI（通过 DataCite，待注册） |
提交历史
来自：André Guarnier De Mitri [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 20:33:32 UTC（2,152 KB）
来源：arXiv cs.AI · arxiv.org