arXiv cs.CL· Tsung-Han Wu, Minsuk Heo, Kenny Tan·· 11 小时前AI 评分31
循环语言模型中的 halting head 真能省算力吗？研究揭示两个问题
Do Halting Heads Really Save Compute in Looped Language Models?
AI 导读
从头预训练最多 1.3B 参数的循环语言模型后发现，halting head 存在两个问题：在全部迭代混合训练下，模型预测 token 所需迭代数不到一半，但按标准停止规则几乎每个 token 仍跑满所有迭代，因为训练从未对 token 实际停止的那一次迭代打分；改为对每次迭代打分可修复，但需强惩罚偏向早停。
正文 · AI 翻译
摘要：循环语言模型让每个 token 多次经过相同的层，每次运行称为一次迭代。为节省计算，一个额外的层——停止头——在每次迭代后给出该 token 在此停止的概率，使简单的 token 可以提前停止。我们从零开始预训练最多 1.3B 参数的模型，发现两个问题。第一，在全部迭代的混合上训练的停止头预测 token 需要的迭代次数不到一半，但在标准停止规则下 token 几乎每次迭代都会运行，因为这种训练从未对 token 停止的那一次迭代进行评分。改为对每次迭代评分可以解决这个问题，但在我们的运行中，它只有在强烈惩罚提前停止时才有效。第二，节省通常以每个 token 的平均迭代次数来报告，但当序列按批次生成、每批运行到最慢的 token 停止时，没有停止头的模型在该成本下几乎同样好。因此报告的平均值可能夸大节省。我们建议报告 token 实际运行的迭代次数，并附上停止阈值和批次大小，并给出一个在训练停止头之前运行的测试，以界定其收益。
| 评论： | 33 页，6 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32246 [cs.CL] |
| （或 arXiv:2610.32246v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32246 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tsung-Han Wu [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 06:56:48 UTC（189 KB）
来源：arXiv cs.CL · arxiv.org