arXiv cs.CL· Faris Alasmary·· 10 小时前AI 评分18
反向传播算法的详细推导：从链式法则到 NumPy 实现
Detailed Derivation of The Backpropagation Algorithm
AI 导读
一篇 41 页教程逐步推导了全连接前馈网络的反向传播算法，网络采用 sigmoid 激活函数和平方误差损失。推导从单个权重的链式法则求导出发，经误差项 δ 得到矩阵形式的四条通用反向传播方程，并扩展到 m 个训练样本与 mini-batch 梯度下降。每条方程均对应 NumPy 实现中的代码行，代码在 AHDBase 手写阿拉伯数字数据集上训练，完整代码随文提供。
正文 · AI 翻译
摘要：反向传播是计算训练神经网络所需梯度的标准方法，但通常以紧凑的向量形式呈现，省略了中间步骤。本教程针对具有 sigmoid 激活函数和平方误差损失的全连接前馈网络，逐步推导反向传播。我们使用一个三层的运行示例，首先通过链式法则追踪单个权重在网络中的路径，对该权重求误差的导数。然后展示如何对所有路径求和，从而得到误差项 $\delta$ 以及矩阵形式的四个通用反向传播方程。每个项都标注了其维度，因此可以检查每个方程的一致性。随后将推导扩展到 $m$ 个训练样本，此时权重梯度变为单个矩阵乘积，偏置项对应于广播。还扩展到小批量梯度下降，包括为什么小批量的梯度能估计完整梯度。批训练和小批量训练都以算法形式给出。最后，每个方程都链接到在 AHDBase 手写阿拉伯数字数据集上训练的 NumPy 实现的对应代码行，并附有完整代码。
| 评论： | 41 页，2 幅图，2 个算法。代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02152 [cs.CL] |
| （或 arXiv:2611.02152v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02152 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Faris Alasmary [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 19:35:16 UTC（23 KB）
来源：arXiv cs.CL · arxiv.org