神经网络激活函数详解：从Sigmoid到GELU

1. 神经网络基础与激活函数的重要性

在深入探讨Transformer架构之前，我们需要先理解神经网络的基本工作原理。神经网络本质上是对人脑神经元工作方式的数学建模，而激活函数则是这个模型中最为关键的组件之一。

1.1 神经网络的基本结构

一个典型的神经网络由三层组成：输入层、隐藏层和输出层。输入层负责接收原始数据，隐藏层进行特征提取和转换，输出层产生最终结果。每一层由多个神经元（节点）组成，神经元之间通过带有权重的连接进行信息传递。

以处理文本"Hello world"为例，假设我们将其分词为两个token："Hello"和"world"。每个token会被转换为一个300维的词向量，那么输入层将由两个节点组成，每个节点对应一个300维的向量。这个向量会通过权重矩阵传递给隐藏层的神经元。

1.2 激活函数的本质作用

激活函数在神经网络中扮演着非线性转换器的角色。如果没有激活函数，无论神经网络有多少层，最终都只能表示线性变换，无法学习复杂的非线性关系。激活函数的主要作用包括：

1. 引入非线性：使网络能够学习和表示复杂函数
2. 决定神经元是否应该被激活：根据输入信号的强度决定输出
3. 帮助控制输出范围：如Sigmoid将输出限制在0-1之间

注意：选择不当的激活函数可能导致梯度消失或爆炸问题，严重影响训练效果。例如，Sigmoid函数在输入值较大或较小时梯度接近于0，会导致反向传播时梯度消失。

2. 常见激活函数详解

2.1 Sigmoid函数

Sigmoid函数是最早被广泛使用的激活函数之一，其数学表达式为：

σ(x) = 1 / (1 + e^-x)

Sigmoid函数将输入值压缩到(0,1)区间，适合用于输出概率的场景。然而它存在几个明显缺点：

1. 梯度消失问题：当输入值很大或很小时，梯度接近于0
2. 输出不以0为中心：这可能导致后续层的输入总是正数
3. 计算涉及指数运算：相对计算成本较高

在实际应用中，Sigmoid主要用于二分类问题的输出层，而很少用于隐藏层。

2.2 Tanh函数

Tanh（双曲正切）函数是Sigmoid的改进版，数学表达式为：

tanh(x) = (e^x - e^-x)/(e^x + e^-x)

Tanh将输入值压缩到(-1,1)区间，解决了Sigmoid输出不以0为中心的问题。但它仍然存在梯度消失的问题。Tanh在RNN等序列模型中应用较多。

2.3 ReLU函数

ReLU（Rectified Linear Unit）是目前最常用的激活函数，其定义为：

ReLU(x) = max(0, x)

ReLU的优势包括：

1. 计算简单，没有指数运算
2. 在正区间不会出现梯度消失
3. 有助于稀疏激活（部分神经元输出为0）

但ReLU也有"神经元死亡"问题：一旦输入为负，梯度永远为0，神经元可能永远无法激活。针对这个问题，发展出了几种ReLU变体。

2.4 Leaky ReLU

Leaky ReLU是对ReLU的改进，定义如下：

LeakyReLU(x) = max(αx, x)，其中α是一个小的正数（如0.01）

Leaky ReLU解决了"神经元死亡"问题，因为负输入时也有小的梯度。参数α通常设为0.01，也可以作为可学习参数。

2.5 ELU函数

ELU（Exponential Linear Unit）是另一种ReLU的改进，定义如下：

ELU(x) = x if x > 0 else α(e^x - 1)

ELU结合了ReLU和Leaky ReLU的优点：

1. 负区间平滑收敛到-α
2. 输出均值接近0，有助于加快学习
3. 对噪声更具鲁棒性

但ELU的计算涉及指数运算，相对更耗资源。

2.6 GELU函数

GELU（Gaussian Error Linear Unit）是Transformer等先进模型中常用的激活函数，其定义为：

GELU(x) = xΦ(x)，其中Φ(x)是标准正态分布的累积分布函数

GELU可以看作是ReLU的平滑版本，它根据输入值的大小决定是否激活神经元，但不是简单的阈值判断。GELU在BERT、GPT等Transformer模型中表现优异。

3. 激活函数的数学实现与可视化

3.1 Python实现示例

以下是各种激活函数的Python实现代码：

python复制import numpy as np
import math
from scipy.special import erf

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def tanh(x):
    return np.tanh(x)

def relu(x):
    return np.maximum(0, x)

def leaky_relu(x, alpha=0.01):
    return np.where(x > 0, x, alpha * x)

def elu(x, alpha=1.0):
    return np.where(x > 0, x, alpha * (np.exp(x) - 1))

def gelu(x):
    return 0.5 * x * (1 + erf(x / np.sqrt(2)))

3.2 GELU函数的深入解析

GELU函数的数学表达式可以展开为：

GELU(x) = xP(X ≤ x) = xΦ(x) = x[1 + erf(x/√2)]/2

其中erf是误差函数，定义为：

erf(x) = (2/√π)∫₀ˣ e^-t² dt

这个积分表示标准正态分布曲线下从0到x的面积。我们可以用数值积分来验证：

python复制from scipy.integrate import quad

def normal_pdf(x):
    return np.exp(-x**2/2)/np.sqrt(2*np.pi)

x = 1.5
area, _ = quad(normal_pdf, -np.inf, x)
print(f"Φ({x}) = {area}")  # 应接近0.9332

3.3 激活函数可视化比较

通过绘制这些函数的图像，我们可以直观比较它们的行为：

python复制import matplotlib.pyplot as plt

x = np.linspace(-4, 4, 500)
plt.figure(figsize=(10,6))
plt.plot(x, sigmoid(x), label='Sigmoid')
plt.plot(x, tanh(x), label='Tanh')
plt.plot(x, relu(x), label='ReLU')
plt.plot(x, leaky_relu(x), label='Leaky ReLU')
plt.plot(x, elu(x), label='ELU')
plt.plot(x, gelu(x), label='GELU', linewidth=3)
plt.title('Activation Functions Comparison')
plt.legend()
plt.grid(True)
plt.show()

从图像可以看出：

1. Sigmoid和Tanh是S型曲线，输出有界
2. ReLU及其变体在正区间线性增长
3. GELU是ReLU的平滑版本，在负区间有渐变

4. 激活函数在Transformer中的应用

4.1 Transformer中的前馈网络

Transformer中的前馈网络(FFN)通常采用以下结构：

FFN(x) = max(0, xW₁ + b₁)W₂ + b₂

这里使用的激活函数是ReLU。但在更先进的模型中，GELU逐渐成为首选，如GPT和BERT系列模型。

4.2 激活函数选择的实践经验

根据实际应用经验，激活函数的选择应考虑以下因素：

1. 任务类型：分类任务输出层常用Sigmoid或Softmax
2. 网络深度：深层网络避免使用Sigmoid/Tanh以防梯度消失
3. 稀疏性需求：ReLU类函数能产生稀疏激活
4. 计算资源：GELU/ELU比ReLU计算成本高

在Transformer架构中，GELU通常表现优于ReLU，因为：

1. 更平滑的过渡使训练更稳定
2. 对噪声更鲁棒
3. 在负区间保留部分信息而非完全截断

4.3 梯度特性比较

激活函数的梯度特性直接影响反向传播的效果：

python复制def sigmoid_grad(x):
    s = sigmoid(x)
    return s * (1 - s)

def relu_grad(x):
    return (x > 0).astype(float)

def gelu_grad(x):
    return 0.5 * (1 + erf(x/np.sqrt(2))) + x * normal_pdf(x)

x = np.linspace(-3, 3, 500)
plt.figure(figsize=(10,6))
plt.plot(x, sigmoid_grad(x), label='Sigmoid')
plt.plot(x, relu_grad(x), label='ReLU')
plt.plot(x, gelu_grad(x), label='GELU')
plt.title('Activation Function Gradients')
plt.legend()
plt.grid(True)
plt.show()

从梯度图像可以看出：

1. Sigmoid梯度在两端快速衰减
2. ReLU梯度在正区间恒为1，负区间为0
3. GELU梯度在负区间平滑过渡

5. 激活函数的高级话题

5.1 自适应激活函数

近年来，一些可学习的自适应激活函数被提出，如：

1. Swish：f(x) = xσ(βx)，其中β是可学习参数
2. Mish：f(x) = xtanh(softplus(x))
3. PReLU：Leaky ReLU中α作为可学习参数

这些函数试图结合现有激活函数的优点，并通过学习过程自动调整参数。

5.2 初始化与激活函数的配合

激活函数的选择会影响权重初始化的策略：

1. 使用Sigmoid/Tanh时，应采用Xavier/Glorot初始化
2. 使用ReLU及其变体时，应采用He初始化
3. 使用GELU时，初始化策略介于两者之间

正确的初始化可以防止训练初期的梯度消失或爆炸问题。

5.3 激活函数的数值稳定性

实现激活函数时需要考虑数值稳定性：

1. Sigmoid实现应对大负数返回0，大正数返回1
2. Tanh实现应处理极端输入值
3. GELU中的erf计算需要高精度实现

例如，稳定的Sigmoid实现：

python复制def stable_sigmoid(x):
    mask = x >= 0
    pos = 1 / (1 + np.exp(-x[mask]))
    neg = np.exp(x[~mask]) / (1 + np.exp(x[~mask]))
    result = np.empty_like(x)
    result[mask] = pos
    result[~mask] = neg
    return result

6. 实践建议与常见问题

6.1 如何选择激活函数

根据实践经验，推荐以下选择策略：

1. 隐藏层：
   • 默认选择：GELU（Transformer）、ReLU（CNN）
   • 备选：Leaky ReLU、Swish
2. 输出层：
   • 二分类：Sigmoid
   • 多分类：Softmax
   • 回归：线性（无激活）或Sigmoid（限定范围）

6.2 常见问题排查

1. 梯度消失：

   • 现象：深层网络训练停滞
   • 解决方案：改用ReLU/GELU，检查初始化，添加残差连接

2. 神经元死亡（ReLU）：

   • 现象：部分神经元永远输出0
   • 解决方案：改用Leaky ReLU/GELU，降低学习率

3. 输出爆炸：

   • 现象：激活值越来越大
   • 解决方案：添加归一化层，调整初始化

6.3 性能优化技巧

1. 融合操作：将激活函数与前一层线性变换融合，减少内存访问
2. 向量化实现：使用SIMD指令加速计算
3. 查表法：对Sigmoid等函数预先计算常用值

例如，融合的GELU实现：

python复制def fused_gelu_linear(x, w, b):
    linear = np.dot(x, w) + b
    return 0.5 * linear * (1 + erf(linear / np.sqrt(2)))

理解激活函数的工作原理和特性对于设计和优化神经网络至关重要。在Transformer架构中，GELU因其平滑性和表现力成为主流选择，但应根据具体任务和架构进行实验验证。