arXiv cs.AI· Yilang Zhang, Bingcong Li, Niao He, Georgios B. Giannakis·· 1 天前AI 评分34
ANCRe：自适应神经连接重分配实现高效深度扩展
ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling
AI 导读
研究者提出 ANCRe，一个轻量框架，通过参数化并从数据中学习残差连接布局，自适应重分配残差连接，计算与内存开销低于 1%。理论分析证明残差连接布局会从根本上影响收敛行为，甚至造成收敛速率的指数级差距。在 LLM 预训练、扩散模型和深层 ResNet 上的实验显示，相比传统残差连接，ANCRe 能持续加速收敛、提升性能并增强深度效率。
正文 · AI 翻译
摘要：扩展网络深度一直是现代基础模型成功的核心驱动力，然而近期研究表明，深层往往未被充分利用。本文从优化视角重新审视加深神经网络的默认机制，即残差连接。严格的分析证明，残差连接的布局能够从根本上影响收敛行为，甚至导致收敛速率出现指数级差距。受此启发，我们提出了自适应神经连接重分配（ANCRe），这是一个有原则且轻量的框架，可从数据中参数化并学习残差连接。ANCRe 以可忽略的计算和内存开销（$<1\%$）自适应地重分配残差连接，同时更有效地利用网络深度。在大语言模型预训练、扩散模型和深度 ResNet 上的大量数值测试表明，相较于传统残差连接，该方法能够持续加速收敛、提升性能并增强深度效率。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.09009 [cs.LG] |
| （或使用 arXiv:2602.09009v5 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.09009 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Advances in Neural Information Processing Systems, 2026 |
提交历史
来自：Yilang Zhang [查看邮箱]
[v1]
2026年2月9日星期一 18:54:18 UTC（5,679 KB）
[v2]
2026年10月1日星期四 21:55:31 UTC（5,686 KB）
[v3]
2026年10月6日星期二 19:52:15 UTC（5,686 KB）
[v4]
2026年10月13日星期二 21:55:31 UTC（5,689 KB）
[v5]
2026年11月11日星期三 22:03:55 UTC（5,689 KB）
来源：arXiv cs.AI · arxiv.org