arXiv cs.AI· Biswa Sengupta·· 10 小时前AI 评分32
前沿模型组件能叠加吗?一项小语言模型的重复析因实验
Do Frontier Model Ingredients Add Up? A Replicated Factorial Study of Small Language Models
AI 导读
一项重复析因实验在同一小语言模型、相同数据和训练预算下比较五种改动,发现 MoE 层、Muon 优化器和 Gated DeltaNet 混合架构带来的增益最大,额外归一化也有帮助,而参数预算匹配的注意力门控平均增益很小。各改动的增益大体可以叠加,但重复运行仍能观察到改动之间的小幅交互作用,重复实验还揭示出初次统计估计被判为噪声的收益。
正文 · AI 翻译
摘要:构建小型语言模型需要选择要组合哪些已发表的改进。我们在同一模型、相同数据和训练预算下比较了五项改动。我们测试选定的组合,并用第二个随机种子重复每一项。混合专家层、Muon 优化和 Gated DeltaNet 混合架构带来最大增益。额外归一化也有帮助,而参数预算匹配的注意力门控平均而言增益很小。这些增益大多可以叠加,但改动之间的小交互作用在重复运行中再次出现。重复运行还揭示出初始统计估计视为噪声的收益。这些发现适用于我们的小模型训练设置;专家模型的总容量也更大。实际经验是:将有望的组件放在一起测试,并在决定保留哪些之前重复比较。
| 学科: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24540 [cs.CL] |
| (或 arXiv:2611.24540v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24540 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Biswa Sengupta [查看电子邮件]
[v1]
2026年11月18日星期三 14:48:52 UTC(38 KB)
来源:arXiv cs.AI · arxiv.org