研究质疑循环语言模型停机头的计算节省

Tsung-Han Wu 等作者发表论文，质疑循环语言模型中 halting head 能否真正节省算力。他们从头预训练最多 1.3B 参数的循环语言模型后发现两个问题：在全部迭代混合训练下，模型预测 token 所需迭代数不到一半，但按标准停止规则，几乎每个 token 仍跑满所有迭代，因为训练从未对 token 实际停止的那一次迭代打分。 作者称，改为对每次迭代打分可修复该问题，但需要强惩罚偏向早停。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。