跳到正文
热点事件持续更新

小语言模型组件叠加的重复析因实验

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Biswa Sengupta 发表了一项重复析因实验,在同一小语言模型、相同数据和训练预算下比较五种改动。结果显示,MoE 层、Muon 优化器和 Gated DeltaNet 混合架构带来的增益最大,额外归一化也有帮助,而参数预算匹配的注意力门控平均增益很小。 各改动的增益大体可以叠加,但重复运行仍能观察到改动之间的小幅交互作用;重复实验还揭示出,初次统计估计中被判为噪声的收益实际存在。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    前沿模型组件能叠加吗?一项小语言模型的重复析因实验

    一项重复析因实验在同一小语言模型、相同数据和训练预算下比较五种改动,发现 MoE 层、Muon 优化器和 Gated DeltaNet 混合架构带来的增益最大,额外归一化也有帮助,而参数预算匹配的注意力门控平均增益很小。各改动的增益大体可以叠加,但重复运行仍能观察到改动之间的小幅交互作用,重复实验还揭示出初次统计估计被判为噪声的收益。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。