跌停1. Weight Decay 基础概念解析
Weight Decay（权重衰减）是机器学习模型训练过程中最常用的正则化技术之一。我第一次接触这个概念是在训练一个过拟合严重的图像分类模型时，当验证集准确率停滞不前而训练集指标持续上升时，导师建议我"试试调大weight decay参数"。这个看似简单的调整最终让模型验证准确率提升了12个百分点。
从数学角度看，weight decay本质上是在原始损失函数中添加了一个L2正则化项。具体来说，假设原始损失函数为L(θ)，那么加入weight decay后的新损失函数变为：
L'(θ) = L(θ) + λ/2 * ||θ||²
其中θ表示模型的所有可训练参数，λ就是我们要讨论的weight decay系数。这个λ参数控制着正则化项的强度，决定了我们希望模型参数保持多小的幅度。
注意：weight decay与L2正则化在深度学习框架中的实现存在细微差别。在SGD优化器中，weight decay是直接对参数进行比例衰减（θ = θ - λθ），而L2正则化是在梯度中添加λθ项。虽然数学效果相似，但在使用自适应优化器时这两种实现会产生不同影响。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Weight Decay 的核心作用机制
2.1 防止过拟合的原理剖析
Weight decay之所以能防止过拟合，核心在于它限制了模型参数的搜索空间。想象你正在训练一个神经网络来识别猫狗图片。没有weight decay时，模型可能会找到一组"极端"参数，这些参数在训练数据上表现完美但对噪声过于敏感。加上weight decay后，相当于告诉模型："我不相信那些特别大的参数值，请尽量保持参数小而精"。
从贝叶斯角度看，这相当于给参数施加了高斯先验分布，认为参数应该集中在0附近。这种偏好简单模型的倾向正是防止过拟合的关键。
2.2 对优化过程的影响
在实际训练中，weight decay会改变优化轨迹。以SGD为例，参数更新公式变为：
θ_{t+1} = θ_t - η(∇L(θ_t) + λθ_t)
其中η是学习率。可以看到，weight decay项λθ_t会持续将参数向0方向拉动。这种拉力会产生几个重要影响：
- 限制参数幅度：防止某些参数变得过大而主导整个模型行为
- 提高泛化性：迫使模型学习更鲁棒的特