研究者提出MoA与LA混合FFN设计
热点事件持续更新
研究者提出MoA与LA混合FFN设计
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Mingze Wang等作者提出Mixture of Activations（MoA），一种token自适应的前馈网络（FFN）设计：用轻量、依赖输入的门控，把一组激活函数混合起来，同时共享同一组线性投影。作者还给出一个与输入无关的版本，称为可学习激活（LA）。 上述设计出自arXiv cs.AI论文，作者称MoA通过门控按token选择激活函数，LA则把激活函数本身设为可学习参数。报道未给出实验效果或与其他FFN设计的对比结果。
AI 根据报道生成 · 47 分钟前更新
最新进展11月5日 13:00
MoA：面向 LLM 的 token 自适应激活混合 FFN 层设计报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AIMoA：面向 LLM 的 token 自适应激活混合 FFN 层设计
研究者提出 Mixture of Activations（MoA），一种用轻量输入相关门控混合激活函数字典、共享同一线性投影的 token 自适应 FFN 设计，并给出输入无关版本 learnable activations（LA）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。