跳到正文
arXiv cs.AI· Biswa Sengupta·· 10 小时前AI 评分32

前沿模型组件能叠加吗?一项小语言模型的重复析因实验

Do Frontier Model Ingredients Add Up? A Replicated Factorial Study of Small Language Models

AI 导读

一项重复析因实验在同一小语言模型、相同数据和训练预算下比较五种改动,发现 MoE 层、Muon 优化器和 Gated DeltaNet 混合架构带来的增益最大,额外归一化也有帮助,而参数预算匹配的注意力门控平均增益很小。各改动的增益大体可以叠加,但重复运行仍能观察到改动之间的小幅交互作用,重复实验还揭示出初次统计估计被判为噪声的收益。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:构建小型语言模型需要选择要组合哪些已发表的改进。我们在同一模型、相同数据和训练预算下比较了五项改动。我们测试选定的组合,并用第二个随机种子重复每一项。混合专家层、Muon 优化和 Gated DeltaNet 混合架构带来最大增益。额外归一化也有帮助,而参数预算匹配的注意力门控平均而言增益很小。这些增益大多可以叠加,但改动之间的小交互作用在重复运行中再次出现。重复运行还揭示出初始统计估计视为噪声的收益。这些发现适用于我们的小模型训练设置;专家模型的总容量也更大。实际经验是:将有望的组件放在一起测试,并在决定保留哪些之前重复比较。
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.24540 [cs.CL]
  (或 arXiv:2611.24540v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24540

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Biswa Sengupta [查看电子邮件]
[v1] 2026年11月18日星期三 14:48:52 UTC(38 KB)

来源:arXiv cs.AI · arxiv.org