arXiv cs.AI· Rhea Sanjay Sukthanker, Pashmina Cameron·· 10 小时前AI 评分31
没有免费的循环：训练后给模型加循环层何时才值回推理算力？
There Is No Free Loop: When Does Looping a Trained Model Pay for Its Inference Compute?
AI 导读
研究对比了在预训练后为模型添加循环层（重复执行部分层）的收益，在 Qwen3 和 Qwen3.5 的 0.8B 至 9B 参数模型上，只有 0.8B 的循环模型同时胜过等参数无循环基线和等 FLOPs 最优无循环用法。
正文 · AI 翻译
摘要：循环（Looping）会重复应用一组层，使每个 token 不止一次地通过该层块。在已训练好的模型上添加循环很有吸引力，因为它不改变参数量，因而也不改变磁盘大小、内存占用和训练成本。但不幸的是，每个生成的 token 都要为循环付出代价。重新应用 N 层中的 m 层会使每个 token 的开销约为原来的 (N+m)/N 倍。模型在大规模预训练期间学到的循环值得付出这一代价，但在预训练之后添加的循环是否值得付出这一成本仍不清楚。我们将一个带循环的模型与两个简单的基线进行比较。首先，我们将其与在相同条件下训练但不带循环的同一模型进行比较（参数量相同）。其次，我们将其与同一模型在相同推理浮点运算量下不带循环的最佳用法进行比较（FLOPs 相同）。在参数量从 0.8B 到 9B 的 Qwen3 和 Qwen3.5 模型中，只有带循环的 0.8B 模型同时优于两个基线。在 4B 和 9B 规模上，带循环的模型未能优于第一个基线，即不带循环训练的同一模型。这并不是因为基准测试太简单，因为在相同的基准测试上，不带循环的 9B 模型得分仍比 4B 模型高出多达 13 分，这表明仍有充足的提升空间。因此，在已预训练的模型中引入循环，只有在参数量预算固定的小模型上才划算。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.42030 [cs.LG] |
| （或 arXiv:2610.42030v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42030 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pashmina Cameron [查看电子邮件]
[v1]
2026年10月30日星期五 16:56:29 UTC（570 KB）
来源：arXiv cs.AI · arxiv.org