arXiv cs.CL· Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada·· 6 天前AI 评分44
一模型循环万物：面向语言模型的弹性潜在循环（ELR）
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
AI 导读
研究者提出弹性潜在循环（ELR），让循环语言模型在单次循环时与同规模非循环模型服务成本相同、精度相近，每增加一次循环则用更多推理算力换取更高精度。
正文 · AI 翻译
摘要：潜在循环语言模型重复应用一个共享层块，因此一个检查点可以通过改变循环次数来以推理计算量换取准确率。然而，在单次循环时，此类模型通常远不及同等规模的非循环模型，这种单循环税使得只要延迟重要，单独的非循环模型就是更好的选择。我们提出弹性潜在循环（ELR），一种训练循环语言模型而无需承担这种税的方案。在单次循环时，ELR 模型的部署成本与同等规模的非循环模型相同，且在相同数据上训练可达到相近的准确率。此后每次额外的循环都会以更多推理计算量换取更高的准确率。三项选择使这成为可能：带学习步长的门控状态更新、在每次优化器更新中混合循环次数，以及让每一遍以其循环索引和预算为条件。前两项保持单循环准确率，第三项在每次额外循环时降低损失。混合深度可以在预训练后期引入以限制增加的训练成本，并且在切换时加入零初始化的条件，这种后期调度比从头进行混合深度训练达到更低的损失。在 MoE 模型中，在后几次循环中复用第一次循环的专家路由可将混合深度更新时间缩短 11.7%，且准确率无可测量的变化。在推理时，仅保留最后一次循环的注意力 KV 缓存可将注意力 KV 内存保持在单循环水平，同时保留额外循环的大部分收益。在 4B 稠密和 30B-A3B MoE 混合模型上，ELR 在单次循环时于十项任务平均值上分别比其匹配基线低 0.52 分和高 1.04 分，四次循环则分别增加 7.25 和 4.75 分。贯穿后训练，该方案产出了 Koi-4B，一个单一检查点在单次循环时于 Artificial Analysis Intelligence Index 上估计得分 18，与 Qwen3.5-4B 相当，四次循环时为 29。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12582 [cs.CL] |
| （或 arXiv:2610.12582v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12582 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shantanu Acharya [查看电子邮件]
[v1]
2026年10月8日星期四 18:05:42 UTC（296 KB）
来源：arXiv cs.CL · arxiv.org