arXiv cs.CL· Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang·· 10 天前AI 评分22
超越标题：面向生物医学多模态持续预训练的上下文锚定重建
Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining
AI 导读
研究者提出上下文锚定重建框架，将 PMC-OA 记录转为指代连贯的交错序列，并构建 9.63B token 的 PMC-InterCPT 语料用于生成式医学 MLLM 持续预训练。
正文 · AI 翻译
作者：Guanghao Zhu、Zeyu Liu、Zhitian Hou、Pengkai Wang、Zhijie Sang、Yang Yu、Minheng Ni、Wenjun Wang、Yanggan Gu、Shuo Cai、Congkai Xie、Jianmin Wu、Hongxia Yang
摘要：生物医学图表并非仅靠图注来解释，而是由讨论它们的正文段落来解释。然而，当前的多模态语料库通常将图表简化为孤立的图像-图注对，丢弃了这一关键上下文。现有流程要么省略这一上下文，要么在不强制要求支持每次附加的图表引用的情况下将其附加，这可能产生无支持的图文附加和不连贯的语篇。我们提出上下文锚定重建（context-grounded reconstruction），这是一个基于来源的框架，将 PubMed Central Open Access（PMC-OA）记录转换为指称连贯的交错序列。它恢复图注和源文本，仅通过文章原生的图表引用附加上下文，修复非连续上下文，并剪除无支持的图像。从这些重建序列出发，PMC-InterCPT 首先筛选记录以保证文本质量和医学相关性，然后应用证据感知分配，形成用于生成式医学 MLLM 持续预训练（CPT）的 9.63B token 语料库。在固定监督微调（SFT）下，PMC-InterCPT 相比 token 匹配的原始来源对照，将 Qwen3.5-4B-Base 提升 1.46 个医学平均分和 3.11 个通用/科学平均分，并超越一个规模大 42% 的原始数据运行。增益可迁移至 Qwen3.5-2B-Base 和 LLaVA-OneVision-1.5-4B-Base。受控消融实验表明，上下文锚定重建，而非简单地附加文章上下文，是有用的生物医学多模态 CPT 的核心。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.01049 [cs.CL] |
| （或 arXiv:2606.01049v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.01049 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Guanghao Zhu [查看电子邮件]
[v1]
2026年5月31日星期日 06:38:30 UTC（391 KB）
[v2]
2026年7月31日星期五 09:46:42 UTC（852 KB）
[v3]
2026年10月7日星期三 03:53:17 UTC（852 KB）
来源：arXiv cs.CL · arxiv.org