arXiv cs.AI· Jaedong Hwang, Xiaoqian Shen, Ernie Chang, Changsheng Zhao, Chong Zhou, Saksham Suri, Qi Qian, Zechun Liu, Lemeng Wu, Qinsi Wang, Raghuraman Krishnamoorthi, Wei Wen·· 9 天前AI 评分34
在原始视频上对语言模型进行中期训练
Mid-Training Language Models on Raw Video
AI 导读
研究团队将 Qwen3-1.7B 在 YT-Temporal-1B 的原始无字幕视频片段上进行中期训练，让模型学习预测下一个视觉 token。中期训练后的模型在四个视频基准上平均提升 2.9 分，在十个图像基准上平均提升 5.1 分，涵盖感知、文档和图表任务；14 个文本基准平均分为 48.9，未中期训练的模型为 48.0。
正文 · AI 翻译
作者：Jaedong Hwang、Xiaoqian Shen、Ernie Chang、Changsheng Zhao、Chong Zhou、Saksham Suri、Qi Qian、Zechun Liu、Lemeng Wu、Qinsi Wang、Raghuraman Krishnamoorthi、Wei Wen
摘要：多模态大语言模型主要从配对的图像-文本数据或标注视频中学习，而原始网络视频很少被用于进一步训练已有的语言模型。我们研究原始视频（无字幕、无文本损失）能否作为预训练语言模型的中间训练数据。帧被编码为连续视觉 token，语言模型学习预测下一个视觉 token。我们在 YT-Temporal-1B 的原始片段上对 Qwen3-1.7B 进行中间训练，然后对中间训练后的模型和未经中间训练的模型应用相同的图像-文本指令微调，使二者仅在中间训练上存在差异。中间训练后的模型在四个视频基准上平均高出 2.9 分，在十个图像基准上平均高出 5.1 分，涵盖感知、文档和图表任务。尽管中间训练不包含文本，文本性能仍得以保持，在 14 个文本基准上平均为 48.9，而未经中间训练的模型为 48.0。跨训练分析表明，图像和视频的增益在训练的前 30% 内出现，此后趋于平稳，波动小于 0.5 分。预测字幕未能优于下一视觉 token 预测，表明视频中间训练可以保持纯自监督，而无需自动字幕生成的计算开销或标注噪声。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11019 [cs.CV] |
| （或 arXiv:2610.11019v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11019 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jaedong Hwang [查看邮箱]
[v1]
2026年10月8日星期四 00:03:39 UTC（360 KB）
来源：arXiv cs.AI · arxiv.org