arXiv cs.AI· Bowen Shi, Qi Ouyang, Long Qian·· 11 小时前AI 评分31
稀疏正则化如何让多任务神经网络自发形成功能模块化
Sparsity-driven emergence of functional modularity in multitask neural networks
AI 导读
稀疏正则化能在不预设模块边界的情况下促使多任务神经网络形成功能模块化。研究在多任务多层感知机与轻量 Transformer 中识别出紧凑的任务选择性子网络（functional tokens），选择性保留这些 token 可维持对应任务表现、同时降低其他任务性能，且这种专门化在训练中优先出现在更深的层。
正文 · AI 翻译
摘要：神经网络可以学习多个任务，但学习如何将共享计算组织为专门化且可复用的组件，目前仍知之甚少。在本工作中，我们表明，稀疏性诱导正则化能够促进多任务网络中的功能模块化，而无需预定义模块边界。通过在多层感知机和轻量级 transformer 中进行功能剖析，我们识别出了紧凑的、任务选择性的子网络，称为功能 token。在基于规则的任务族中，选择性保留这些 token 可以保留其相关功能，同时降低其他任务的性能。这种专门化在训练过程中优先在较深层中发展，而较早的层则保留共享计算。正则化强度和形式会影响模块的紧凑性和专门化程度，而任务加权会改变功能分配。此外，提取出的功能 token 可以通过替代路径重新组合，从而在无需重新训练的情况下重建已学习的复合计算，同时保留其连接性和学习到的权重。我们的结果表明，稀疏约束优化不仅塑造参数使用，还塑造所学计算的组织和复用。
| 评论： | 34 页，6 幅图，包括补充信息 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32153 [cs.LG] |
| （或 arXiv:2610.32153v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32153 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bowen Shi [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 04:38:24 UTC（5,601 KB）
来源：arXiv cs.AI · arxiv.org