arXiv cs.CL· Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu·· 9 天前AI 评分24
从零开始的原生多模态预训练如何扩展
Scaling Native Multimodal Pre-Training From Scratch
AI 导读
研究在固定算力预算下考察了 Transformer 视觉语言模型的最优模型规模与 token 数量，发现最小目标损失遵循可预测的算力定律，而算力最优的模型规模与 token 数呈幂律缩放。
正文 · AI 翻译
摘要：尽管大语言模型（LLM）展现出卓越的推理能力，但其对纯文本预训练的依赖限制了对多模态物理世界的感知。原生多模态预训练通过在多模态输入上从头训练模型来规避这一限制，从而实现深度的跨模态整合，并缓解传统晚期融合架构中固有的优化不对称问题。尽管有这些优势，该范式的扩展特性仍未得到充分刻画。为填补这一空白，我们研究了在固定计算预算下训练基于 Transformer 的视觉语言模型的最优模型规模和 token 数量。我们的研究表明，最小目标损失遵循可预测的计算定律，而计算最优的模型规模和 token 数量则按幂律缩放。值得注意的是，语言和多模态目标呈现出不同的分配趋势。在不同数据混合下，语言分配指数处于相近范围。多模态模型分配指数随多模态 token 比例的增加而适度下降，表明分配相对向 token 倾斜。此外，我们的缩放分析得出一条预算补偿规则。具体而言，在固定计算预算下，额外的多模态 token 预算可以抵消因将视觉信息纳入原生多模态预训练而造成的文本效率损失。下游评估进一步表明，原生多模态预训练与空间推理和多模态少样本学习能力的提升相关。总体而言，这项实证研究为可预测地扩展多模态基础模型奠定了必要基础。
| 学科： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2607.22043 [cs.CL] |
| （或使用 arXiv:2607.22043v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.22043 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Haoyuan Wu [查看邮箱]
[v1]
2026年7月24日星期五 07:13:52 UTC（486 KB）
[v2]
2026年10月8日星期四 13:11:37 UTC（513 KB）
来源：arXiv cs.CL · arxiv.org