arXiv cs.CL· Haoyuan Wu, Aoqi Wu, Jiani Hu, Bei Yu·· 3 天前AI 评分31
原生多模态预训练中视觉内容作为可扩展锚点：arXiv 研究揭示视觉信号如何影响扩展行为
More Than Seeing: Vision as Scalable Anchors in Native Multimodal Pre-Training
AI 导读
一项 arXiv 研究通过受控视觉内容消融实验发现，在原生多模态预训练中保留视觉内容可改善图文样本的文本预测，且多模态损失收益随计算量近似呈幂律增长。视觉内容还能提升纯文本描述的空间推理能力，在定位、导航和符号规划任务上增益最持续，同时不改变最优模型规模与数据配比，也不损害纯文本损失和聚合语言分数。
正文 · AI 翻译
摘要：原生多模态预训练在文本和多模态数据上从零开始训练单一模型，使其能够理解语言和视觉输入。然而，视觉信号如何影响缩放行为并支持超越视觉理解的能力仍不清楚。我们通过在不同模型规模和训练预算下进行受控的视觉内容消融来研究这一问题。具体而言，我们将图像嵌入替换为无内容的填充 token 嵌入。保留视觉内容改善了图像-文本示例上的文本预测，但在给定计算预算下并未实质性改变最低的纯文本损失、模型规模与训练数据的最优平衡，或总体语言得分。相对多模态损失收益大致按计算量的幂律增长。为了测试超越理解图像之外的收益，我们仅从文本描述评估空间推理。两种条件都随模型和数据缩放而改善。在最大模型的训练过程中，视觉收益在定位、导航和符号规划方面最为持续，这些任务涉及维持物体配置或组合空间更新；在空间关系、几何和物理常识方面的收益则不太一致。这些发现表明视觉内容是 multimodal 学习的可扩展锚点，其收益超越视觉输入，同时保持总体语言性能。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19443 [cs.CL] |
| （或 arXiv:2610.19443v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19443 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haoyuan Wu [查看电子邮件]
[v1]
2026年10月14日星期三 02:33:34 UTC（450 KB）
来源：arXiv cs.CL · arxiv.org