arXiv cs.CL· Ivan Viakhirev, Kirill Borodin, Maxim Abramov, Grach Mkrtchian·· 11 小时前AI 评分27
研究：循环语言模型的深度可复用性取决于训练与推理循环的一致性而非归一化
Agreement rather than normalisation keeps depth reusable in looped language models
AI 导读
循环语言模型的深度可复用性取决于训练循环与推理循环之间的一致性，而非循环步间的状态归一化。在已发布的 Ouro-1.4B 和 Ouro-2.6B 上移除循环边界归一化后，模型在训练预算内即在平衡二分类任务上降至零准确率（随机水平 0.500），但状态范数增长并非原因，范数波动始终在 2.021 倍以内。
正文 · AI 翻译
摘要：循环语言模型重复应用同一组层，而这种设计只有在深度可复用时才有收益：超出训练预算的循环步数在推理时仍须可用。我们追问：这一点究竟依赖于在循环步之间对状态进行归一化（如已发布的 Ouro 模型所做），还是依赖于模型训练时所用的循环与其运行时所用的循环之间的一致性。在已发布的权重上，这种循环边界归一化可以在不增加参数、且读出路径逐位完全相同的情况下被移除，而该操作在单个循环步时是恒等操作，可作为一项实现检查。移除它会使 Ouro-1.4B 和 Ouro-2.6B 在一个平衡二分类任务（随机水平 0.500）上，到训练预算时准确率降为零。状态范数增长——先前解释所预测的失败——并非原因：范数始终保持在 2.021 倍以内，而输出头却锁定到单个错误 token 上。然而，在从头开始、于两个合成任务上训练的 19M 参数模型中（每种配置 16 个随机种子），不带归一化的训练从不比带归一化的训练更差，且外推得更好：两者在训练深度处最接近，并在其两侧分离（超出预算时 Cliff's delta 最高达 0.867）。若保持深度可复用的是这种一致性而非归一化本身，则两项结果都成立。损伤位于读出部分连同该块的最后一层：在从头训练的模型中，在冻结的修改后循环之上重新拟合输出头可恢复三分之一损失的准确率并趋于平台，而连同最后一层块层一起重新拟合则可全部恢复。最后，在相同推理循环次数下比较循环深度与堆叠深度，会因对训练预算的超调量不等而受到混杂；在匹配超调量后，循环的优势在一个任务上消失，在另一个任务上缩小。
| 评论： | ICLR 2027 审稿中 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用格式： | arXiv:2610.31943 [cs.LG] |
| （或本版本的 arXiv:2610.31943v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.31943 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ivan Viakhirev [查看邮箱]
[v1]
2026年10月22日 星期四 21:42:16 UTC（130 KB）
来源：arXiv cs.CL · arxiv.org