arXiv cs.AI· Haenara Shin, Dongjoo Lee, Sungwoo Bae, Kwon Joong Na, Daeseung Lee, Hongyoon Choi·· 11 小时前AI 评分27
VGL-stGen：面向肺部组织学与空间转录组学的共享多模态模型
VGL-stGen: Learning a shared multimodal model for lung histology and spatial transcriptomics
AI 导读
VGL-stGen 是一个从预训练医学视觉语言模型适配而来的多模态大语言模型，使用配对的肺部 H&E 图像与空间转录组数据训练，单个 checkpoint 支持组织与细胞类型分类、基因预测及条件表达补全等十三项任务。任务特定解码可输出分类标签、基因列表和结构化表达水平；固定查询基因身份并自回归预测其水平能改善结构化预测。图像置换实验显示正确配对的 H&E 图像可提供观测表达之外的信息。
正文 · AI 翻译
摘要：VGL-stGen 是一个多模态大语言模型，基于预训练的医学视觉-语言模型，利用配对的肺部 H&E 与空间转录组学及单细胞参考数据改编而成。训练整合了图像-表达与表达-细胞类型配对，基因条件伪标签将转录组细胞类型监督迁移至组织学图像。一个已部署的检查点支持十三项评估任务，涵盖组织与细胞类型分类、基因预测以及基于组织学、细胞身份和观测基因表达组合的条件表达补全。任务特定的解码产生分类标签、基因列表和结构化表达水平。对于条件补全，固定查询基因身份并自回归预测其水平可改善结构化预测。受控适配表明，将监督限制在请求的表达水平 token 上可进一步改善图像条件补全。图像置换实验表明，正确配对的组织学在观测表达之外提供了额外信息。外部分类部分依赖于具有共享注释谱系的计算参考，且部分 H&E 来源在癌症训练或模型开发期间被暴露。在这些条件下，VGL-stGen 展示了医学视觉-语言骨干如何从空间转录组学和组织学中学习，通过共享生成建模连接组织形态与分子状态。
| 评论： | 46 页，18 幅图，16 张表；含附录 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；定量方法 (q-bio.QM) |
| 引用为： | arXiv:2610.28266 [cs.CV] |
| （或 arXiv:2610.28266v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28266 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hongyoon Choi Dr [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 14:22:47 UTC（5,308 KB）
来源：arXiv cs.AI · arxiv.org