循环语言模型深度复用取决于训练推理循环一致

Ivan Viakhirev 等作者提交的论文称，循环语言模型的深度可复用性取决于训练循环与推理循环之间的一致性，而非循环步间的状态归一化。 在已发布的 Ouro-1.4B 和 Ouro-2.6B 上移除循环边界归一化后，模型在训练预算内即在平衡二分类任务上降至零准确率（随机水平 0.500）。作者称，状态范数增长并非原因，范数波动始终在 2.021 倍以内。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。