深度学习中BatchNorm与LayerNorm的核心区别与应用场景

1. 归一化技术的基本概念与作用

在深度神经网络训练过程中，归一化技术扮演着至关重要的角色。想象一下，如果我们让一群运动员在完全不同的赛道上训练（有的在沙滩，有的在塑胶跑道，有的在水泥地），然后突然让他们在同一条赛道上比赛，结果肯定不公平。神经网络中的神经元也面临类似问题——不同层的输入数据分布差异巨大，导致训练过程不稳定。归一化技术就是为了解决这个"内部协变量偏移"问题而诞生的。

归一化的核心思想是对神经网络的中间层输出进行标准化处理，使其均值接近0，方差接近1。这样做有三个主要好处：首先，它使得每层的输入数据分布相对稳定，允许使用更大的学习率；其次，它减轻了梯度消失/爆炸问题；最后，它对模型参数初始化不那么敏感，提高了训练稳定性。

在计算机视觉领域，BatchNorm（批量归一化）曾长期占据主导地位。它的工作原理是对一个batch内所有样本的同一特征通道进行归一化。举个例子，如果我们处理一批32张RGB图像，BatchNorm会对这32张图片的R通道、G通道、B通道分别计算均值和方差，然后进行归一化。这种方法在CNN中表现出色，因为它保持了空间位置间的独立性。

然而，当Transformer架构在NLP领域大放异彩后，LayerNorm（层归一化）逐渐成为主流选择。与BatchNorm不同，LayerNorm是对单个样本的所有特征进行归一化。还是以图像为例，它会对一张图片的所有像素值（不考虑通道）计算均值和方差。这种特性使它在处理变长序列数据时具有天然优势。

关键理解：BatchNorm是"跨样本单特征"归一化，LayerNorm是"单样本跨特征"归一化。这个根本区别决定了它们在不同场景下的适用性。

2. BatchNorm的运作机制与局限性

2.1 BatchNorm的数学原理

BatchNorm的计算过程可以分为几个清晰步骤。对于一个batch中的特征数据x ∈ R^(B×H)（B是batch大小，H是特征维度），BatchNorm的操作是：

1. 计算batch内每个特征维度上的均值：
   μ = (1/B) ∑ x_i

2. 计算batch内每个特征维度上的方差：
   σ² = (1/B) ∑ (x_i - μ)²

3. 对特征进行归一化：
   x̂ = (x - μ) / √(σ² + ε)