孙秀龙1. 权重衰减的本质与数学原理
权重衰减（Weight Decay）是机器学习中最经典的正则化技术之一，本质上等同于L2正则化。它的核心思想是通过在损失函数中添加一个与权重相关的惩罚项，来控制模型的复杂度。
1.1 L2正则化的数学形式
对于一个标准的损失函数L(θ)，加入L2正则化后的目标函数变为：
code复制J(θ) = L(θ) + λ/2 * ||θ||²
其中：
- θ表示模型的所有可训练参数
- λ是控制正则化强度的超参数
- ||θ||²是参数向量的L2范数平方
注意：这里的1/2系数是为了求导后的表达式更简洁，实际不影响算法本质
1.2 梯度下降中的权重衰减
在梯度下降过程中，参数的更新公式会变为：
code复制θ ← θ - η*(∇L(θ) + λθ)
可以重写为：
code复制θ ← (1 - ηλ)θ - η∇L(θ)
这清晰地展示了权重衰减如何在每一步更新时"缩小"权重值。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 权重衰减的实际影响
2.1 对训练过程的影响
- 防止过拟合：通过限制权重的大小，使模型不会过度依赖少数特征
- 改善数值稳定性：避免权重值变得过大导致数值计算问题
- 隐式特征选择：自动降低不重要特征的权重
2.2 对模型性能的影响
| 场景 | 无权重衰减 | 适当权重衰减 | 过强权重衰减 |
|---|---|---|---|
| 训练误差 | 低 | 中等 | 高 |
| 测试误差 | 高 | 低 | 高 |
| 权重分布 | 分散 | 集中 | 趋近0 |
3. 权重衰减的实现细节
3.1 参数初始化考虑
在使用权重衰减时，建议：
- 初始化权重不宜过小
- 偏置项(bias)通常不应用权重衰减
- 不同层可以使用不同的衰减系数
3.2 学习率与衰减系数的平衡
两者存在相互作用关系：
code复制有效学习率 = η / (1 + ηλ)
实践中建议：
- 先确定合适的学习率η
- 再通过验证集调整λ
- 典型λ范围：1e-4到1e-2
4. 权重衰减的变体与比较
4.1 L1正则化（Lasso回归）
与L2正则化的关键