研究：稀疏正则促多任务网络自发模块化

Bowen Shi 等作者发表的研究称，稀疏正则化能在不预设模块边界的情况下，促使多任务神经网络自发形成功能模块化。 研究在多任务多层感知机与轻量 Transformer 中识别出紧凑的、按任务选择性的子网络（functional tokens）：选择性保留这些 token 可维持对应任务的表现，同时降低其他任务的性能。研究还发现，这种专门化在训练中优先出现在更深的层。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。