1. 优化算法在深度学习中的核心地位
深度学习的训练过程本质上是一个高维参数空间中的优化问题。我们需要找到一组模型参数,使得损失函数的值尽可能小。这个寻找最优解的过程,就是优化算法发挥作用的地方。
在早期神经网络研究中,随机梯度下降(SGD)是最基础的优化方法。它的思想很简单:计算损失函数关于参数的梯度,然后沿着梯度的反方向更新参数。这种方法直观易懂,但在实际应用中存在几个明显问题:
- 学习率需要手动设置,且对所有参数使用相同的学习率
- 在损失函数曲面不平坦的区域(如峡谷地形)容易震荡
- 对于稀疏数据或不同特征出现频率差异大的情况表现不佳
提示:学习率是深度学习中最重要但也最难设置的超参数之一。它决定了每次参数更新的步长大小。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从SGD到Adam的进化之路
2.1 基础SGD及其局限性
最基本的SGD更新规则可以表示为:
python复制θ = θ - η * ∇J(θ)
其中η是学习率,∇J(θ)是损失函数关于参数θ的梯度。
我在实际项目中发现,纯SGD有三大痛点:
- 在损失函数的某些维度上梯度可能很小,而另一些维度梯度很大,固定学习率难以兼顾
- 容易陷入局部极小值或鞍点(高维空间中更常见)
- 对特征尺度敏感,需要精心设计特征归一化
2.2 Momentum:引入物理动量概念
Momentum方法借鉴了物理学中动量的概念,通过累积之前的梯度来保持更新方向的一致性。其更新规则为:
python复制v = γ * v + η * ∇J(θ)
θ = θ - v
其中γ是动量系数,通常设为0.9。
我在图像分类任务中对比发现,Momentum SGD相比普通SGD有两个优势:
- 在梯度方向一致的维度上加速更新
- 减少震荡,更容易逃离局部极小值
但Momentum仍然使用全局统一的学习率,对于不同参数的重要性差异无法自适应调整。
2.3 AdaGrad:参数自适应学习率
AdaGrad首次尝试为不同参数设置不同的学习率,其核心思想是:对于频繁更新的参数,我们降低其学习率;对于不常更新的参数,我们保持较高的学习率。更新规则为:
python复制cache += (∇J(θ))^2
θ = θ - η * ∇J(θ) / (sqrt(cache) + ε
