NLP中Layer Normalization的优势与Transformer实践

1. 为什么NLP领域偏爱Layer Normalization？

在深度神经网络训练过程中，Normalization（归一化）技术起着至关重要的作用。Batch Normalization（BN）和Layer Normalization（LN）是两种最常用的归一化方法，但在自然语言处理（NLP）领域，特别是Transformer架构中，LN几乎成为了标配。这背后有着深刻的数学原理和工程考量。

1.1 Batch Normalization的工作原理与局限

Batch Normalization的核心思想是对每个特征维度在batch维度上进行归一化。具体来说，对于一个batch中的N个样本，BN会计算每个特征维度上的均值和方差：

μ = (1/N)Σx_i
σ² = (1/N)Σ(x_i - μ)²

然后将特征值标准化为：
x̂ = (x - μ)/√(σ² + ε)

最后通过可学习的参数γ和β进行缩放和平移：
y = γx̂ + β

这种设计在计算机视觉（CV）任务中表现出色，但在NLP场景下却面临严重问题：

1. Batch依赖问题：BN需要足够大的batch size才能准确估计统计量，而NLP任务中由于序列长度差异，实际有效batch size往往很小
2. 推理不一致性：训练时使用batch统计量，推理时使用移动平均，这在变长序列中会导致统计量不匹配
3. 序列长度敏感：不同样本的序列长度差异会导致padding部分污染统计量计算

1.2 Layer Normalization的适应性优势

Layer Normalization采取了完全不同的归一化维度 - 它在单个样本的feature维度上进行归一化。对于具有T个时间步、D维特征的输入，LN的计算方式为：

μ = (1/D)Σx_i
σ² = (1/D)Σ(x_i - μ)²

这种设计带来了几个关键优势：

1. 序列长度无关性：无论输入序列多长，都在特征维度归一化，与序列长度无关
2. Batch独立性：单个样本内部完成归一化，不依赖batch内其他样本
3. 推理一致性：训练和推理时的计算方式完全相同，没有统计量偏差

实践提示：在PyTorch中，LN的实现会自动处理不同长度的序列，这是其适合NLP任务的重要特性。

2. Transfor