arXiv cs.CL· Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Bizhao Shi, Zhuo Xia, Yebin Yang, Yizhou Chen, Yuliang Liu, Yu Cheng, Junchi Yan·· 10 小时前AI 评分38
Hyper-Connections 架构设计研究：简化、稳定性与可扩展性
On the Design of Hyper-Connections: Simplification, Stability, and Scalability
AI 导读
研究系统分析了 Hyper-Connections（HC）架构的组件，提出简化设计 SimpleHC：移除残差混合，并通过共享内存访问简化执行。SimpleHC 在最大测试规模下相比 vanilla 残差基线仅增加 2.4% 端到端训练时间，在 15B 到 30B MoE 模型上保持与 mHC 相当的性能，梯度动态更平滑且在压力下保持稳定。
正文 · AI 翻译
作者：Xiangdong Zhang、Xiaohan Qin、Sunan Zou、Tuo Dai、Bizhao Shi、Zhuo Xia、Yebin Yang、Yizhou Chen、Yuliang Liu、Yu Cheng、Junchi Yan
摘要：Hyper-Connections（HC）架构在前沿语言模型中被越来越多地采用，但其各组件仍未被充分理解，并带来了不可忽视的训练开销。在本工作中，我们系统地研究了 HC 架构，以理解其各组件并找出更简单、更高效的设计。我们发现，不带混合的可学习读/写门控与带固定门控的无约束混合构成了两个有效的交互组：单独使用其中任一组即可达到与 mHC 相当的性能。我们还发现，即使不进行混合，对扩展残差状态的重复访问也是训练开销的主要来源。这些发现促成了 SimpleHC，它通过移除残差混合来简化架构，并通过共享内存访问来简化执行，利用由此产生的加法结构和共享门控输入。层特定的门控共享一个组入口状态，从而实现批量读取和延迟写入；标量校正精确地保留了前序子层的输出贡献。我们的分析支持所保留的残差结构以及共享内存访问的设计。在最大测试规模下，SimpleHC 相较于普通残差基线仅增加 2.4% 的端到端训练时间。当从 15B 扩展到 30B MoE 模型时，它保持了与 mHC 相当的性能，在标准训练过程中表现出更平滑的梯度动态，并在压力条件下保持稳定。我们希望 SimpleHC 能鼓励在基础模型设计中更广泛地追求简洁性，使性能提升在规模化下更易获得且更具实用性。
| 评论： | 代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05984 [cs.LG] |
| （或 arXiv:2611.05984v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05984 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangdong Zhang [查看电子邮件]
[v1]
2026年11月4日星期三 05:22:05 UTC（9,408 KB）
来源：arXiv cs.CL · arxiv.org