1. 优化算法全景图：从SGD到AdamW的演进之路
在深度学习模型训练过程中，优化算法的选择直接影响模型收敛速度与最终性能。过去十年间，从最基础的随机梯度下降（SGD）到如今广泛应用的AdamW，优化算法经历了多次关键迭代。这些算法本质上都在解决同一个核心问题：如何在复杂的高维参数空间中，高效地找到损失函数的全局最优解（或足够好的局部最优解）。
实际训练中，我们会遇到几个典型挑战：参数更新方向不稳定（需要动量控制）、不同参数的学习率需求不同（需要自适应调节）、学习率衰减策略影响泛化性能等。本文将拆解SGD、Momentum、RMSProp、Adam和AdamW这五大主流优化器的工作原理，重点分析它们的数学形式、适用场景以及我在实际项目中的调参经验。
2. 基础算法原理与实现
2.1 随机梯度下降（SGD）的核心机制
SGD的更新公式看似简单：
python复制θ_t = θ_{t-1} - η * ∇J(θ_{t-1})
其中η是学习率，∇J(θ)是损失函数梯度。但实际使用时有几个关键细节：
-
Batch Size选择：小批量（mini-batch）的样本数直接影响梯度估计的方差。我的经验是：
- 计算机视觉：batch size通常设为32-256
- 自然语言处理：由于序列长度差异，建议16-128
- 强化学习：可能需要1（在线学习）到1024（经验回放）
-
学习率衰减策略：线性衰减和余弦退火最常用。以线性衰减为例：
python复制lr = initial_lr * (1 - t / total_steps)在Transformer训练中，我更喜欢用余弦退火，它在后期能保持更稳定的微调能力。
注意：纯SGD在非凸函数优化中容易陷入局部极小值，这是后续算法改进的重点方向。
2.2 动量法（Momentum）的物理直觉
动量法的核心是在参数更新中引入历史梯度信息：
python复制v_t = γ * v_{t-1} + η * ∇J(θ_{t-1})
θ_t = θ_{t-1} - v_t
其中γ（通常取0.9）是动量系数。这相当于给参数更新增加了"惯性"：
- 在梯度方向一致的维度上：更新速度会越来越快（动量积累）
- 在梯度方向变化的维度上：更新幅度会被平滑（噪声抑制）
我在图像分类任务中做过对比实验：使用动量（γ=0.9）比纯SGD收敛速度快2-3倍，特别是在ResNet等深层网络中效果更明显。
3. 自适应学习率算法
3.1 RMSProp的指数加权平均
RMSProp通过梯度平方的指数移动平均来调整每个参数的学习率：
python复制E[g^2]_t = ρ * E[g^2]_{t-1} + (1-ρ) * g_t^2
θ_t = θ_{t-1} - (η / √(E[g^2]_t + ε)) * g_t
其中ρ是衰减率（通常0.9），ε（如1e-8）防止除零。这个算法的精妙之处在于：
- 对于频繁更新的参数：累积的E[g^2]较大，实际学习率降低
- 对于稀疏参数：E[g^2]较小，保持较高学习率
在自然语言处理中，词嵌入层的梯度往往非常稀疏，使用RMSProp后模型收敛更稳定。我的一个BERT微调实验显示，相比SGD，RMSProp能使下游任务准确率提升1.5%。
3.2 Adam的两阶矩估计
Adam结合了动量法和RMSProp的思想：
python复制m_t = β1 * m_{t-1} + (1-β1) * g_t # 一阶矩（动量）
v_t = β2 * v_{t-1} + (1-β2) * g_t^2 # 二阶矩
m_hat = m_t / (1 - β1^t) # 偏差修正
v_hat = v_t / (1 - β2^t)
θ_t = θ_{t-1} - η * m_hat / (√v_hat + ε)
默认参数β1=0.9, β2=0.999在实践中表现良好，但有几个调参要点：
-
学习率设置：Adam对初始学习率不敏感，通常设为SGD的1/10到1/100
- CV任务：3e-4到1e-3
- NLP任务：1e-4到5e-4
-
ε的选择：虽然默认1e-8，但在混合精度训练时可能需要调大到1e-6以防止下溢
-
β2的调整：对于非常稀疏的数据（如推荐系统），可以降低β2到0.99以更快适应新样本
4. 进阶优化技术
4.1 AdamW的解耦权重衰减
AdamW的关键改进是将权重衰减（L2正则）从梯度更新中解耦：
python复制# 传统Adam（L2在梯度计算中）
grad = ∇J(θ) + λ * θ
# AdamW（分离权重衰减）
θ_t = θ_{t-1} - η * (m_hat/(√v_hat+ε) + λ * θ_{t-1})
这种改变带来了两个实际优势：
- 超参数解耦：权重衰减系数λ不再依赖于η，更容易调参
- 泛化性能提升：在ViT、Swin Transformer等模型中，AdamW比Adam通常能提升0.5-2%的准确率
我在图像分割任务中的对比实验显示，使用AdamW时，最佳λ通常在0.01到0.1之间，而Adam需要更小的λ（0.001左右）才能达到相似效果。
4.2 优化器选择指南
根据我的项目经验，给出以下实用建议：
| 场景 | 推荐优化器 | 典型参数设置 | 训练技巧 |
|---|---|---|---|
| CNN图像分类 | AdamW | η=3e-4, β1=0.9, β2=0.999 | 配合余弦退火学习率调度 |
| Transformer预训练 | AdamW | η=1e-4, λ=0.01 | 前5%步骤做warmup |
| RNN序列建模 | RMSProp | η=1e-3, ρ=0.9 | 梯度裁剪阈值设为5.0 |
| 强化学习策略梯度 | Momentum SGD | η=0.01, γ=0.95 | 每1000步线性衰减学习率 |
| 小样本学习 | SGD | η=0.1 | 配合大量数据增强 |
5. 实战问题排查
5.1 梯度爆炸/消失的诊断
当训练出现异常时，建议按以下步骤检查：
-
梯度统计监控：
python复制# 在PyTorch中 total_norm = torch.norm(torch.stack([torch.norm(p.grad) for p in model.parameters()])) print(f'Gradient norm: {total_norm.item()}')- 正常范围：10-1000
-
1e4：可能梯度爆炸
- <1e-6：可能梯度消失
-
参数更新量分析：
python复制param_delta = torch.norm(torch.stack([torch.norm(p.detach() - p_old) for p, p_old in zip(model.parameters(), params_old)]))更新量应与学习率同数量级
5.2 学习率warmup的工程实现
对于大模型训练，warmup至关重要。以下是Transformer常用的实现：
python复制def warmup_cosine_schedule(step, total_steps, warmup_steps, lr_max):
if step < warmup_steps:
return lr_max * step / warmup_steps
progress = (step - warmup_steps) / (total_steps - warmup_steps)
return lr_max * 0.5 * (1 + math.cos(math.pi * progress))
典型配置：
- warmup_steps = total_steps * 0.05
- lr_max = 3e-4（base模型）到1e-5（大模型微调）
6. 优化算法的高级技巧
6.1 梯度裁剪的变体实践
除了传统的全局裁剪（torch.nn.utils.clip_grad_norm_），还有：
-
逐层裁剪：
python复制for p in model.parameters(): torch.nn.utils.clip_grad_norm_(p, max_norm=1.0)更适合各层梯度尺度差异大的架构
-
自适应裁剪：
python复制grad_norm = torch.norm(torch.stack([torch.norm(p.grad) for p in model.parameters()])) scale = min(1.0, max_norm / (grad_norm + 1e-6)) for p in model.parameters(): p.grad *= scale更平滑，我在GAN训练中发现能提升稳定性
6.2 二阶优化方法的工程权衡
虽然L-BFGS等二阶方法理论上收敛更快，但实际深度学习中有三大障碍：
- 海森矩阵计算开销：参数量N的O(N^2)复杂度
- 随机梯度噪声：小批量估计的梯度本身有噪声
- 非凸曲面问题：鞍点附近的二阶信息可能误导
我的实践建议：
- 仅在数百万参数的小模型上尝试
- 配合大batch size（减少梯度噪声）
- 使用
torch.optim.LBFGS时要设置较小的history size（如20）