权重衰减原理与L2正则化技术详解

1. 权重衰减的本质与数学原理

权重衰减（Weight Decay）是机器学习中最常用的正则化技术之一，本质上是通过在损失函数中添加L2范数惩罚项来控制模型复杂度。其数学表达式为：

L'(w) = L(w) + λ/2 * ||w||²

其中L(w)是原始损失函数，λ是正则化系数，||w||²表示权重向量的L2范数平方和。这个附加项会惩罚过大的权重值，促使模型参数趋向于较小的数值。

关键理解：L2正则化在优化过程中等价于每次参数更新时先对权重进行缩放（1-ηλ），再进行常规梯度下降。这种特性使其能有效防止参数爆炸式增长。

2. 权重衰减对训练过程的动态影响

2.1 梯度更新公式的变化

加入权重衰减后，参数的更新公式变为：

w ← (1-ηλ)w - η∇L(w)

这个公式揭示了权重衰减的双重作用：

1. (1-ηλ)项导致权重在每一步更新前先收缩
2. 常规梯度项∇L(w)继续推动权重向损失最小化方向移动

2.2 不同λ值的影响效果

通过实验可以观察到：

• λ=0时：等同于普通训练，容易过拟合
• λ较小时：轻微约束权重幅度，测试误差开始下降
• λ适中时：达到最佳平衡，测试误差最低
• λ过大时：模型欠拟合，训练和测试误差都升高

2.3 与L1正则化的对比

3. 权重衰减的工程实现

3.1 手动实现示例（PyTorch）

python复制def train(lambd):
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    
    for epoch in range(epochs):
        for X, y in train_iter:
            l = loss(net(X, w, b), y) + lambd * l2_penalty(w)
            l.sum().backward()
            sgd([w, b], lr, batch_size)

3.2 框架内置实现

主流深度学习框架都提供了权重衰减的便捷实现：

python复制# PyTorch
optimizer = torch.optim.SGD([
    {"params":net[0].weight,'weight_decay': wd},
    {"params":net[0].bias}], lr=lr)

# TensorFlow
model.add(tf.keras.layers.Dense(
    1, kernel_regularizer=tf.keras.regularizers.l2(wd)))

3.3 实现注意事项

1. 通常不对偏置项(bias)应用权重衰减
2. λ需要与学习率η协同调参
3. 批量归一化层通常也不加权重衰减
4. 实际实现时注意权重衰减项不要重复计算

4. 权重衰减的实战效果分析

4.1 不同λ值的训练曲线

通过实验可以得到典型的学习曲线：

• λ=0：训练损失快速下降，测试损失后期上升（过拟合）
• λ=3：训练损失下降较慢，但测试损失稳定在较低水平

4.2 权重分布变化

观察训练后的权重分布：

• 无正则化时：部分权重绝对值很大
• 适当权重衰减：权重集中在0附近小范围
• 过度正则化：所有权重被压缩到接近0

5. 权重衰减的理论解释

5.1 贝叶斯视角

权重衰减等价于给参数施加高斯先验（最大后验估计MAP），其中λ控制先验分布的精度。

5.2 优化理论视角

L2正则化使优化问题变得强凸，改善条件数，使优化过程更稳定。

5.3 泛化误差分析

通过限制假设空间的复杂度（通过权重范数），降低VC维，从而提升泛化能力。

6. 高级技巧与注意事项

6.1 与其他正则化的配合

• 与Dropout：可以同时使用，但需要调小λ
• 与早停：形成双重保护，防止过拟合
• 与数据增强：互补的正则化策略

6.2 参数选择经验

1. 初始尝试λ∈[1e-4, 1e-2]
2. 学习率越大，对应λ可以稍大
3. 深层网络需要更小的λ
4. 小数据集需要更大的λ

6.3 常见陷阱

1. 忘记关闭验证集的权重衰减
2. 与自适应优化器（如Adam）配合时的特殊处理
3. 不同层使用相同λ可能导致次优结果
4. 在迁移学习中需谨慎调整预训练层的λ

在实际项目中，我发现权重衰减虽然简单，但需要配合仔细的验证集监控。一个实用的技巧是开始时设置λ=0训练几个epoch，观察过拟合程度后再决定正则化强度。另外，当使用批量归一化时，权重衰减的效果会有所减弱，这时可能需要适当增大λ值。