arXiv cs.AI· Zirui Peng, Heyi Zheng, Ziming Liu·· 3 天前AI 评分24
重新思考激活函数：降低激活偏置可改善学习
Rethinking Activation Functions: Reducing Bias Can Improve Learning
AI 导读
研究指出 ReLU、GELU、Swish、Sigmoid 等常用激活函数输出以正值为主，产生非零的激活后均值，即"激活偏置"。在受控模型中，激活偏置会加速初期损失下降，但伴随过冲、不平滑轨迹和更陡的损失景观；降低激活偏置虽减慢初期学习，最终损失却更低。在更大的视觉和语言模型上，较小的激活偏置同样与更好的后期性能相关。
正文 · AI 翻译
摘要：许多广泛使用的激活函数，包括 ReLU、GELU、Swish 和 Sigmoid，产生的输出以正值为主，导致激活后的均值非零，我们将其称为激活偏置。尽管这一现象普遍存在，但激活偏置对学习动态的影响仍鲜为人知。通过受控模型，我们表明激活偏置会加速初始损失下降，但伴随超调、非平滑轨迹以及更陡峭的损失景观。这一早期优势还与模型利用编码在激活偏置分量中的任务相关信息相吻合。相比之下，减小激活偏置会减慢初始学习，但最终带来更低的最终损失。在更大的视觉和语言模型上的实验表现出类似的模式：较小的激活偏置与更好的后期性能相关。因此，这一看似微小的特性可能显著改变学习过程，值得在未来的激活函数设计中予以明确考虑。
| 评论： | 26 页，21 幅图，2 张表 |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14500 [cs.LG] |
| （或 arXiv:2610.14500v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14500 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Zirui Peng [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 02:58:15 UTC（7,929 KB）
来源：arXiv cs.AI · arxiv.org