arXiv cs.AI· Yexiao He, Yucheng Tang, Pengfei Guo, Yufan He, Andriy Myronenko, Can Zhao, Ang Li, Daguang Xu, Dong Yang·· 11 小时前AI 评分52
冻结模型也能进化：面向多模态医疗 AI 的模型无关部署经验学习框架
Frozen Models, Evolving Expertise: Model-Agnostic Learning from Deployment Experience for Multimodal Medical AI
AI 导读
研究者提出一个模型无关框架，让部署后冻结的 LLM 和 VLM 通过三种外部经验持续学习：指导推理与工具使用的 Skill、存储可靠事实的 Knowledge Memory，以及保留视觉案例的多模态知识库。
正文 · AI 翻译
摘要：大型语言模型（LLM）和视觉语言模型（VLM）通常在部署后就被冻结，因此它们不会从所解决的病例中学习。这在医学领域尤其令人担忧，因为新的临床证据、更新的指南和新的疗法可能会改变既定的实践。微调可以更新模型，但需要访问模型权重并进行额外训练。无参数方法避免了训练，但它们可能过拟合固定的验证集、缺乏可靠的领域知识，或者由于仅将经验保存为文本而丢失视觉细节。为了解决这些局限，我们提出了一个模型无关的框架，使冻结的 LLM 和 VLM 能够通过三种形式的外部专业知识从部署经验中学习：指导推理和工具使用的 Skill、存储由早期病例或可信外部证据支持的可信事实的 Knowledge Memory，以及保留视觉示例并引导模型将每个检索到的病例与当前图像关联起来的 Multimodal Knowledge Base。该框架不依赖固定的验证集，而是采用一种验证策略：只有当更新在新病例上有帮助且不降低在早期病例上的性能时，才保留该更新。在涵盖临床诊断、临床工作流程、医学推理以及医学和非医学视觉推理的六个基准上，并使用四个开放权重和闭源基础模型，我们的框架在在线部署期间将医学任务的性能较基础模型提升高达 34.2%，可泛化到未见过的病例，无需进一步优化即可迁移到其他模型，并且适用于非医学领域。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.09146 [cs.AI] |
| （或 arXiv:2610.09146v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09146 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yexiao He [查看电子邮件]
[v1]
2026年10月6日星期二 21:41:27 UTC（284 KB）
[v2]
2026年10月16日星期五 17:58:30 UTC（284 KB）
来源：arXiv cs.AI · arxiv.org