arXiv cs.CL· Markus Frey, Behzad Shomali, Joachim Koehler, Mehdi Ali·· 11 小时前AI 评分38
双路径架构：让 LLM 的计算与容量分别扩展
A Dual-Path Architecture for Scaling Compute and Capacity in LLMs
AI 导读
研究者提出双路径块，在单层内并行暴露计算与容量两条扩展轴：深层子层以共享参数重复应用 K 次，宽层子层放大前馈网络仅应用一次，由独立的逐 token 门控融合。在两个 FLOP 预算下，最佳双路径配置在语言建模、常识与数学指标上均超过等 FLOP 的单轴对照组，且比宽度扩展基线少用 17-33% 参数。学到的门控呈现系统性分配：虚词与实词倾向宽路径，标点、符号与算术 token 倾向深路径。
正文 · AI 翻译
摘要：循环 Transformer 多次应用共享块，已成为语言模型中一种参数高效的计算扩展路径。然而，在固定 FLOPs 下，循环模型的容量严格小于基线 Transformer。我们认为，计算量（应用于隐藏状态的顺序操作数）与容量（单步可用的参数）是两条不同的扩展轴，而标准 Transformer 层将二者混为一谈。我们提出一种双路径块，在单层内以并行路径同时暴露这两条轴：一个共享参数、重复应用 $K$ 次的深层子层，以及一个仅应用一次、带有扩大前馈网络的宽层子层，二者由独立的逐 token 门控组合。在两个 FLOP 预算下，最佳双路径配置在综合语言建模、常识和数学指标上均超过等 FLOP 的单轴对照组，同时比宽度扩展基线少用 17-33% 的参数。学习到的门控可直接解释，并显示出系统性的逐 token 分配：功能词和词汇内容倾向于宽路径，而标点、符号和算术 token 倾向于深路径。我们的结果表明，计算与容量可以分别扩展，模型逐 token 地在两者之间取得平衡。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30202 [cs.CL] |
| （或 arXiv:2605.30202v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30202 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Markus Frey [查看邮箱]
[v1]
2026年5月28日星期四 16:41:36 UTC（263 KB）
[v2]
2026年11月4日星期三 13:31:51 UTC（289 KB）
来源：arXiv cs.CL · arxiv.org