1. Weight Decay的本质解析
在训练深度神经网络时，weight decay（权重衰减）是最常用的正则化技术之一。我第一次接触这个概念时，曾误以为它只是简单地让权重值变小。实际上，它的数学本质是在损失函数中添加L2正则项：
L' = L + λ/2 * ||w||²
其中L是原始损失函数，λ是weight decay系数，||w||²表示所有权重的平方和。这个λ参数就是我们在优化器（如AdamW）中设置的weight decay值。
注意：PyTorch中Adam优化器的weight_decay参数实际对应的是公式中的λ，而不是λ/2。这是框架实现时的设计选择，需要特别注意。
从优化过程来看，weight decay在每个参数更新步骤中，都会让权重向零方向收缩一定比例。这种收缩不是粗暴的截断，而是通过梯度下降自然实现的：
w ← w - η*(∂L/∂w + λw)
这里η是学习率。可以看到，λw这项会不断"拉回"权重值。
2. Weight Decay的核心作用机制
2.1 控制模型复杂度
weight decay最直接的作用是防止模型过拟合。通过惩罚大的权重值，它实际上限制了模型的表达能力。我做过一个对比实验：
- 在CIFAR-10数据集上训练ResNet18
- 无weight decay时测试准确率最高但很快过拟合
- λ=0.01时获得最佳泛化性能
- λ=0.1时模型欠拟合
这个现象印证了经典的偏差-方差权衡理论。合适的weight decay让模型处于"刚刚好"的复杂度。
2.2 改善优化过程
在实践中，我发现weight decay还能：
- 防止某些权重维度增长过大，保持参数尺度均衡
- 避免优化陷入非常平坦的极小值点
- 与BatchNorm配合使用时，能稳定激活值的分布
特别是在使用自适应优化器（如Adam）时，weight decay对梯度更新方向的修正尤为重要。没有它，某些参数可能会因为累积的二阶动量而过度增长。
3. Weight Decay参数调优实践
3.1 典型取值范围
不同场景下的λ值经验范围：
| 模型类型 | 推荐λ范围 | 适用场景 |
|---|---|---|
| CNN | 1e-4~1e-2 | 图像分类、检测等 |
| Transformer | 0.01~0.1 | NLP任务 |
| 小规模全连接网 | 1e-5~1e-3 | 表格数据建模 |
我在调参时通常会采用对数尺度搜索：先尝试0.01，然后视效果调整到0.001或0.1量级。
3.2 与其他超参数的配合
weight decay需要与学习率协同调整：
- 高学习率通常需要更大的λ来约束参数更新
- 使用学习率warmup时，初期可以适当降低λ
- 与dropout同时使用时，两者效果会部分抵消
一个实用的技巧是：当验证集loss开始震荡时，适当增加λ；当训练loss下降过慢时，减小λ。
4. 实现细节与常见误区
4.1 框架实现差异
不同深度学习框架对weight decay的处理有细微差别：
- PyTorch的AdamW是正确实现（decouple weight decay）
- 原始Adam中的weight decay实现有问题
- TensorFlow/Keras中需要手动添加L2正则化
我曾经因为这个问题浪费了一周时间调试模型性能。关键是要理解：标准的Adam实现中，weight decay会被自适应学习率缩放，这不符合原始设计意图。
4.2 参数分组策略
对于包含BatchNorm层的网络，最佳实践是：
python复制optimizer = AdamW([
{'params': model.conv_params, 'weight_decay': 0.01},
{'params': model.bn_params, 'weight_decay': 0.0} # BN层通常不加weight decay
], lr=1e-3)
这是因为BatchNorm的scale参数本身就有正则化效果，再加weight decay可能导致训练不稳定。
5. 进阶技巧与问题排查
5.1 动态调整策略
在训练大型模型时，我常用这些动态调整方法：
- 线性衰减：λ = λ₀ * (1 - t/T)
- 余弦退火：随学习率一起变化
- 阶段式调整：在特定epoch乘以衰减系数
实验表明，动态策略比固定λ平均能提升0.5~1%的最终准确率。
5.2 典型问题诊断
当模型出现以下现象时，可能需要调整weight decay：
- 训练准确率高但验证差 → 尝试增大λ
- 训练和验证loss都高 → 减小λ
- 参数值普遍很小（1e-6量级）→ λ可能过大
- 某些层参数比其他层小几个数量级 → 考虑分组设置λ
一个实用的检查方法是监控权重矩阵的L2范数变化曲线。健康的训练过程应该显示范数缓慢增长然后趋于稳定。