arXiv cs.CL· Daichi Hotta, Yohei Kobashi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo·· 11 小时前AI 评分31
循环计算能否弥补多模态预训练差距？BabyLM 研究给出边界
Loop Before You Leap: What Recurrent Depth Can and Cannot Buy in Data-Limited Pretraining
AI 导读
在 100M 词预算下，12 层堆叠重复四次的循环 Transformer 在同等推理算力下 BLiMP 比标准 48 层模型高 5.4 个百分点，但多模态训练使两种架构的 BLiMP 准确率均下降约 3.8 点，循环结构未能缓解。探索性无图像对照实验得分比纯文本基线低 5.7 点，加入视觉前缀平均提升 1.85 点，但三组随机种子下该对比仍不确定。
正文 · AI 翻译
摘要：在 BabyLM 挑战赛（Klerings 等，2024；Takmaz 等，2025）中，多模态模型的得分往往低于纯文本基线。我们测试额外的循环计算是否有助于缩小这一差距。循环通过复用层来增加计算量，而不增加参数或训练数据。使用同一套实现，我们在 1 亿词预算下比较标准 Transformer 和循环 Transformer，每个主要条件使用三个随机种子。每张图像由冻结的 DINOv2 编码器生成的一个特征向量表示，并用作前缀 token。字幕词计入预算，因此多模态训练也会改变语言数据。在一项预注册的纯文本比较中，在推理计算量匹配的情况下，重复四次的 12 层堆叠比标准的 48 层 Transformer 高出 5.4 个 BLiMP 百分点。然而，多模态训练使两种架构的 BLiMP 准确率都降低约 3.8 个百分点，循环并未带来明显的缓解。一项探索性的循环侧无图像对照实验，使用多模态语言数据和批处理计划进行训练，其得分比纯文本基线低 5.7 个百分点。加入视觉前缀平均使准确率提高 1.85 个百分点，但在三个随机种子下这一对比尚不确定。这些结果表明，语言数据及其呈现方式的变化是性能下降的主要来源。诊断测试表明模型确实使用了视觉信息；在这种单向量接口下，其对语法泛化的贡献仍不确定。
| 评论： | 被 BabyLM Challenge 2026（严格赛道）接收。20 页，5 幅图，12 张表。此版本不再报告研讨会版本中出现的训练时打乱特征对照实验，因为其执行情况无法核实（见局限性） |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06206 [cs.CL] |
| （或 arXiv:2611.06206v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06206 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daichi Hotta [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 09:21:38 UTC（283 KB）
来源：arXiv cs.CL · arxiv.org