1. 单层网络反向传播基础解析
反向传播算法是神经网络训练的基石，而理解单层网络的反向传播是掌握深度学习的关键第一步。这个看似简单的例子包含了权重更新、梯度计算等核心概念，是每个AI从业者必须吃透的基础内容。
我经常用这个例子给新人讲解反向传播的本质——它实际上就是链式法则的巧妙应用。通过计算输出误差对每个参数的偏导数，我们可以知道如何调整权重才能减小预测误差。这个过程就像教小孩投篮：先观察球偏离篮筐的方向和距离（计算误差），然后根据这个信息调整手臂的角度和力度（更新权重）。
2. 网络结构与前向传播实现
2.1 最小化网络结构设计
我们构建一个最简单的单层神经网络：
- 输入层：2个节点 (x₁, x₂)
- 输出层：1个节点 (y)
- 权重矩阵：w₁, w₂
- 偏置项：b
- 激活函数：Sigmoid
前向传播公式为：
y = σ(w₁x₁ + w₂x₂ + b)
其中σ表示Sigmoid函数：σ(z) = 1/(1+e⁻ᶻ)
注意：选择Sigmoid是因为它的导数有很好的性质σ'(z)=σ(z)(1-σ(z))，简化了反向传播计算。但在深层网络中要小心梯度消失问题。
2.2 具体参数初始化
假设我们初始化参数为：
- w₁ = 0.5
- w₂ = -0.3
- b = 0.1
输入样本：
- x₁ = 1.0
- x₂ = 0.5
- 真实标签：t = 1
前向传播计算过程：
- 计算加权和：z = w₁x₁ + w₂x₂ + b = 0.5*1.0 + (-0.3)*0.5 + 0.1 = 0.5 - 0.15 + 0.1 = 0.45
- 应用Sigmoid：y = σ(0.45) ≈ 0.6106
3. 反向传播详细推导
3.1 损失函数选择与误差计算
使用平方误差损失函数：
E = ½(y - t)²
当前误差：
E = ½(0.6106 - 1)² ≈ ½(-0.3894)² ≈ 0.0758
我们的目标是通过调整w₁, w₂, b使E最小化。
3.2 梯度计算过程
需要计算∂E/∂w₁, ∂E/∂w₂, ∂E/∂b。根据链式法则：
∂E/∂w₁ = ∂E/∂y * ∂y/∂z * ∂z/∂w₁
逐项计算：
- ∂E/∂y = y - t = 0.6106 - 1 = -0.3894
- ∂y/∂z = y(1-y) = 0.6106*(1-0.6106) ≈ 0.2375
- ∂z/∂w₁ = x₁ = 1.0
因此：
∂E/∂w₁ = (-0.3894) * 0.2375 * 1.0 ≈ -0.0925
同理：
∂E/∂w₂ = (-0.3894) * 0.2375 * 0.5 ≈ -0.0462
∂E/∂b = (-0.3894) * 0.2375 * 1 ≈ -0.0925
3.3 参数更新
设学习率η=0.1，更新规则为：θ_new = θ_old - η*∂E/∂θ
更新后的参数：
w₁' = 0.5 - 0.1*(-0.0925) ≈ 0.50925
w₂' = -0.3 - 0.1*(-0.0462) ≈ -0.29538
b' = 0.1 - 0.1*(-0.0925) ≈ 0.10925
4. 关键实现细节与调试技巧
4.1 梯度检查实践
在实现反向传播时，数值梯度检查是必不可少的调试手段：
计算w₁的数值梯度：
- E(w₁ + ε) = E(0.5 + 0.0001) ≈ 0.0756
- E(w₁ - ε) = E(0.5 - 0.0001) ≈ 0.0760
- 数值梯度 ≈ (0.0756-0.0760)/0.0002 ≈ -0.0923
与解析梯度-0.0925非常接近，验证了我们的推导正确。
4.2 学习率选择策略
学习率对训练效果影响巨大：
- η太大（如0.5）：可能导致震荡甚至发散
- η太小（如0.01）：收敛速度过慢
建议策略：
- 初始尝试0.1
- 观察损失曲线：
- 若震荡→减小η
- 若下降过慢→增大η
- 可尝试自适应学习率方法
5. 常见问题与解决方案
5.1 梯度消失排查
现象：参数更新量极小，网络停止学习
可能原因：
- 初始化权重过小
- 使用了不合适的激活函数(如Sigmoid在极端区域)
解决方案：
- 使用Xavier/Glorot初始化
- 考虑ReLU等现代激活函数
- 增加梯度裁剪
5.2 输出不收敛分析
检查清单：
- 确认数据预处理正确（特别是归一化）
- 验证梯度计算是否正确（梯度检查）
- 调整学习率
- 检查损失函数实现
- 确认没有过拟合（训练/验证损失曲线）
6. 扩展到多层网络的思考
虽然我们演示的是单层网络，但理解这个例子是掌握深层网络的基础。在多层网络中：
- 反向传播从输出层开始，逐层计算梯度
- 每层的梯度计算都遵循相同的链式法则原理
- 需要缓存前向传播的中间结果(z, a)用于梯度计算
实现建议：
- 先确保单层网络理解透彻
- 再尝试增加一个隐藏层
- 使用矩阵运算实现，提高效率
- 引入mini-batch训练
在实际项目中，我们通常不会手动实现这些基础算法，而是使用TensorFlow/PyTorch等框架。但理解底层原理对于调试网络、设计新架构至关重要。