arXiv cs.CL· Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu·· 23 小时前AI 评分22
TPHC:用张量并行分组更新改进 Hyper-Connections
TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates
AI 导读
TPHC 将张量并行(TP)分片与 Hyper-Connections 的残差流结合,让每个 TP 分片接收独立的残差流混合、写回时保持各分片输出分离,在不增加注意力或 FFN 子层参数与 FLOPs 的前提下提升残差流更新的表达能力。
正文 · AI 翻译
摘要:Hyper-Connections(HC)将 Transformer 的残差流扩展为 $N$ 条并行流,而流形约束 HC(mHC)在大规模下使其保持稳定。然而,mHC 在超过四条流时收益甚微,部分原因是每个子层只向所有流写入单一输出,限制了它们被差异化更新的程度。在本工作中,我们提出 TPHC,将张量并行(TP)分片与 HC 流相结合,以促进流之间更大的独立性。具体而言,我们将残差流的独立混合路由到每个 TP 分片,并在回写时保持各分片输出相互分离,从而使每条流可以接收这些输出的不同混合。该设计在不增加注意力或 FFN 子层参数或 FLOPs 的情况下,使残差流更新更具表达力。凭借在 TP 下对流分片的原生支持,当两者均使用四条流时,TPHC 在 8B 模型上的训练时间仅比 mHC 多 9%。将流数从四条增加到十六条,其训练时间仅增加 19%。在 100B token 上训练的 1.1B 模型上,在匹配流数 $N\in\{4,8,16\}$ 时,TPHC 相对 mHC 将验证损失降低 0.7-1.0%,并将六个常识推理基准上的平均零样本准确率提高 0.3-0.7 个百分点。我们的代码可在 此 https URL 获取。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.23026 [cs.CL] |
| (或 arXiv:2611.23026v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23026 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:You Wu [查看电子邮件]
[v1]
2026年11月17日星期二 16:31:38 UTC(57 KB)
来源:arXiv cs.CL · arxiv.org