arXiv cs.AI· Can Jin, Yan Kang, Yifan Gong, Chongjian Ge, Mingze Xu, Yuanjun Xiong, Dimitris N. Metaxas, Hongwu Peng·· 3 天前AI 评分24
ShellElastic：同时最大化更新与超参数迁移的可扩展弹性预训练
ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer
AI 导读
ShellElastic 是一种弹性 Transformer，将隐藏维度组织为稠密核心与逐层外壳，使每个隐藏矩阵呈块下三角结构，一次全宽前向即包含所有子网络的精确隐藏状态，联合训练计算图固定、每步开销约等于单独训练最宽子网络。
正文 · AI 翻译
摘要：基础模型需要支持多样的推理预算，但为每个预算单独训练一个模型会重复预训练工作。弹性模型在一个权重共享的超网络中训练多个嵌套子网络，但现有方案面临三个障碍：每步工作量可变，阻碍分布式扩展；超参数（HP）在不同模型规模间迁移能力有限；无法保证所有子网络同时得到最大程度更新。我们提出 \Ours，一种弹性 transformer，将隐藏维度组织为稠密核心和逐层外壳，使每个隐藏矩阵均为块下三角矩阵。一次全宽度前向传播以前缀形式包含每个子网络的精确隐藏状态，因此联合训练保持固定的计算图，每步成本与单独训练最宽子网络大致相当。我们进一步提出 \muE，将最大更新参数化（\mup）扩展到 \Ours 及其他弹性架构。其缩放规则可证明地使超网络的所有子网络同时得到最大程度更新（\muI），并且在超网络加宽或增加外壳时依然如此；扫描实验证实，在小型非弹性代理上调优的 HP 对弹性模型族和更大的超网络仍接近最优（\mbox{\muT}）。单次 \Ours 运行产生的子网络在参数量匹配时优于 MatFormer 和完全弹性基线，并接近分别训练、合计需要数倍步数的模型。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15124 [cs.LG] |
| （或 arXiv:2610.15124v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15124 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Can Jin [查看邮箱]
[v1]
2026年10月10日星期六 18:56:52 UTC（1,880 KB）
来源：arXiv cs.AI · arxiv.org