arXiv cs.AI· Sumaiya Fazal, Rizwan Qureshi, Laleh Behjat, Samira Ebrahimi Kahou·· 11 小时前AI 评分18
GProtoT：面向零支持医疗视觉语言模型的门控原型迁移
Gated Prototype Transfer for Zero-Support Medical Vision Language Model
AI 导读
GProtoT 是一种免训练的门控知识引导原型迁移模块，可将有支持类别的视觉残差迁移到缺失类别，用于医疗视觉语言模型的零支持场景。
正文 · AI 翻译
摘要：医学视觉-语言模型（VLM）的真实少样本适应可能导致低流行度类别没有任何标注支持。免训练的 SS- Text+ 求解器在此设置下仍可运行，但其零支持原型得不到任何视觉适应，只能回退到纯文本类别原型。我们提出门控知识引导原型迁移（GProtoT），这是一个预排斥模块，利用 VLM 相似度和基于本体的临床距离，将有支持类别的视觉残差迁移到缺失类别。无验证证据门控根据语义相关性和残差一致性对迁移进行缩放，从而限制无支持的推断。在 MESSIDOR 上使用 FLAIR 特征进行的 50 次配对真实单样本试验中，每个支持集都不包含重度与增殖性糖尿病视网膜病变。相对于 SS-Text+，门控 ProtoT 将缺失类别召回率提高 5.23 个百分点，平均类别准确率提高 1.37 个百分点，缺失/有支持召回率的调和平均值提高 1.83 个百分点。它将负迁移频率从无门控迁移的 46-48% 降至 2%，代价是有支持类别召回率下降 1.20 个百分点，top-1 准确率下降 0.45 个百分点。这些结果表明，基于证据的门控为知识来源提供了一种安全机制。GProtoT 基于 SS- Text+，不需要梯度、验证数据或额外的模型推理，为不完整临床监督下的可问责适应提供了一条低计算路径。代码可用：此 https URL
| 评论： | 已被 Symposium on Model Accountability, Sustainability and Healthcare 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28350 [cs.CV] |
| （或 arXiv:2610.28350v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28350 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sumaiya Fazal 女士 [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 15:16:09 UTC（37 KB）
来源：arXiv cs.AI · arxiv.org