双路径块架构：计算与容量分轴扩展
热点事件持续更新
双路径块架构：计算与容量分轴扩展
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Markus Frey 等作者提出双路径块架构，在单层内并行设置两条扩展路径：深层子层以共享参数重复应用 K 次，宽层子层将前馈网络放大后仅应用一次，两者由独立的逐 token 门控融合。 作者称，在两个 FLOP 预算下，最佳双路径配置在语言建模、常识与数学指标上均超过同等 FLOP 的单轴对照组，且比宽度扩展基线少用 17-33% 参数。学到的门控呈现系统性分配：虚词与实词倾向宽路径，标点、符号与算术 token 倾向深路径。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
双路径架构：让 LLM 的计算与容量分别扩展报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CL双路径架构：让 LLM 的计算与容量分别扩展
研究者提出双路径块，在单层内并行暴露计算与容量两条扩展轴：深层子层以共享参数重复应用 K 次，宽层子层放大前馈网络仅应用一次，由独立的逐 token 门控融合。在两个 FLOP 预算下，最佳双路径配置在语言建模、常识与数学指标上均超过等 FLOP 的单轴对照组，且比宽度扩展基线少用 17-33% 参数。学到的门控呈现系统性分配：虚词与实词倾向宽路径，标点、符号与算术 token 倾向深路径。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。