arXiv cs.AI· Ziran Li, Qiang Wang, Zhengyu Chen, Shanglin Lei, Borun Chen, Jingang Wang, Xunliang Cai·· 9 天前AI 评分23
从文本到视觉迁移了什么？VLM 的能力缩放定律与迁移动态
What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs
AI 导读
研究者提出 Capability-Driven Multimodal Scaling Law，首个跨模型族框架，用 LLM 文本基准经 PCA 提取的能力分数 S 预测 VLM 基准准确率。
正文 · AI 翻译
摘要：选择合适的大语言模型（LLM）骨干是构建视觉语言模型（VLM）时最具决定性的决策，然而这一决策从根本上仍缺乏原则性依据：基于计算量的缩放定律无法跨模型家族泛化，且尚无任何框架能够在训练开始前直接预测 VLM 性能。我们提出能力驱动的多模态缩放定律，这是首个能够从可直接观测的文本能力预测 VLM 基准准确率的跨家族框架。给定通过 PCA 从 LLM 文本基准中提取的低维能力分数 $S$，我们将 VLM 性能建模为 $S$ 的函数，其中包含每个骨干的迁移率以及量化数据缩放效率的吸收率。为拟合和验证该框架，我们在严格受控的配方下，基于涵盖 7 个模型家族的 34 个 LLM 训练了超过 150 个 VLM。在 200 多个文本基准和 50 个多模态基准上的评估表明，该定律能够准确地将迁移率从最多 8B 参数的模型外推到 72B 规模的骨干，高保真地预测完整的 VLM 训练轨迹，并泛化到完全留出的模型家族。除缩放定律之外，我们的分析还揭示出可操作的洞见：某些文本基准与多模态性能呈负相关，暴露出潜在的基准博弈行为；基础 LLM 作为 VLM 骨干优于指令微调版本，因为其吸收率更高且数据缩放衰减更低；不同模型家族在迁移—吸收空间中占据不同位置。该框架将骨干选择从昂贵的经验性扫描转变为有原则的定量决策。代码和数据可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2608.00013 [cs.CL] |
| （或 arXiv:2608.00013v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.00013 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Qiang Wang [查看电子邮件]
[v1]
2026年6月24日星期三 13:23:33 UTC（540 KB）
[v2]
2026年8月24日星期一 15:47:03 UTC（620 KB）
[v3]
2026年10月8日星期四 09:45:01 UTC（620 KB）
来源：arXiv cs.AI · arxiv.org