arXiv cs.CL· Abdellah Rahmani, Sean McLeish, Ang Li, Sanae Lotfi, Pascal Frossard, Micah Goldblum·· 10 小时前AI 评分38
Library of Layers（LoL）：在推理时自适应排序 Transformer 层
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
AI 导读
研究者提出 Library of Layers（LoL）架构，在推理时动态调整 Transformer 层的执行顺序，仅用一个超参数——全局 transformer 块库的大小——即可在参数复用与稀疏性之间平滑切换，统一覆盖稠密、深度循环和 MoE 三类架构的效率权衡。
正文 · AI 翻译
摘要：计算机程序员将相同的可复用计算原语（例如条件语句或循环）按不同顺序串联起来，以实现不同的算法。相比之下，现有的语言模型架构总是以相同的顺序执行其各层。我们提出层库（Library of Layers，LoL），这是一种在推理过程中动态排列其各层顺序以解决当前问题的架构。LoL 只有一个超参数，即其全局 transformer 块库的大小，这使其能够在参数复用与稀疏性之间无缝转换，将稠密、深度循环和专家混合架构的参数效率与 FLOPs 效率权衡统一到一个家族中。我们表明，在文本数据上预训练时，LoL 的性能与上述三个基线均具有竞争力。在合成的数独和迷宫数据上，我们观察到该模型采用不同的层顺序来实现不同的求解策略，并且我们可以干预路由，迫使模型对某个问题实例应用特定的求解策略。在多语言自然语言环境中，我们发现 LoL 会根据语言和文字系统选择不同的层顺序模式。同样，我们在安全数据上训练 LoL，并对其路由器输出拟合探针，发现这些探针能以高 AUROC 区分安全与不安全的文本。LoL 为这样一个未来提供了路径：模型动态组合自己的计算图，从而实现更高效、更可控的推理。
| 评论： | 32 页，22 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03526 [cs.LG] |
| （或 arXiv:2611.03526v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03526 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sean McLeish [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 17:57:53 UTC（12,686 KB）
来源：arXiv cs.CL · arxiv.org