循环深度在数据受限预训练中的收益与局限

Daichi Hotta 等作者提交的论文在 BabyLM 的 100M 词预算下测试循环深度能否弥补数据受限预训练中的差距。结果显示，12 层堆叠重复四次的循环 Transformer 在同等推理算力下，BLiMP 比标准 48 层模型高 5.4 个百分点；但多模态训练使两种架构的 BLiMP 准确率均下降约 3.8 点，循环结构未能缓解这一下降。 在探索性无图像对照实验中，得分比纯文本基线低 5.7 点，加入视觉前缀平均提升 1.85 点，但作者称三组随机种子下该对比仍不确定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。