1. 权重初始化:神经网络训练的隐形推手
第一次训练神经网络时,我盯着屏幕上那条纹丝不动的损失曲线整整两小时,直到发现所有隐藏层的输出值都是完全相同的——这就是权重初始化不当的经典症状。权重初始化看似只是训练前的一个简单步骤,实则决定了神经网络能否顺利开启学习之旅。就像给汽车点火时,火花塞的初始火花强度直接影响发动机能否正常启动。
在深度学习中,权重初始化需要同时解决两个矛盾:既要保持前向传播中激活值的合理分布,又要避免反向传播时梯度的消失或爆炸。2010年Xavier初始化方法提出前,研究者们常采用简单的均匀分布或正态分布初始化,导致深层网络训练成功率不足30%。而合理的初始化方案能使网络在初始阶段就具备良好的信号传递特性,将训练成功率提升至90%以上。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 权重初始化的核心原理
2.1 前向传播的信号保持
假设我们有一个5层全连接网络,每层有100个神经元,使用tanh激活函数。如果权重初始值过小(如标准差0.01的正态分布),经过连续矩阵乘法后,信号会指数级衰减。实验显示,第5层神经元的输入值标准差会缩小到初始值的10^-5倍,导致所有神经元输出趋近于0,这种现象称为"神经元死亡"。
反之,若初始值过大(如标准差1的正态分布),tanh函数会迅速进入饱和区,此时梯度接近于0。在MNIST数据集上的测试表明,这种情况下第一轮迭代的权重更新量会比合理初始化小1000倍。
2.2 反向传播的梯度流动
考虑一个简单的全连接层:y = Wx + b。反向传播时,梯度∂L/∂x = W^T · ∂L/∂y。如果W的元素均值为0、方差为σ²,则梯度方差将放大为σ²·n·Var(∂L/∂y),其中n是输入维度。当σ²·n > 1时,梯度逐层爆炸;当σ²·n < 1时,梯度逐层消失。
在ResNet-50上的实测数据显示,使用标准差为√(2/n)的He初始化时,第50层的梯度范数保持在首层的0.8-1.2倍之间;而使用标准差为0.01的初始化时,梯度范数衰减到10^-15量级。
3. 主流初始化方法实现细节
3.1 Xavier/Glorot初始化
推导过程基于线性激活函数的假设:
- 假设权重w_{ij}独立同分布,均值为0,方差为Var(w)
- 输入x_j独立同分布,均值为0,方差为Var(x)
