1. 循环神经网络基础概念
循环神经网络(RNN)是处理序列数据的经典架构,其核心思想是通过引入"记忆"机制来捕捉时间维度上的依赖关系。与传统前馈神经网络不同,RNN通过循环连接使信息能够在网络内部持续流动,这种特性使其特别适合处理语音、文本、时间序列等具有时序特征的数据。
RNN的基本计算单元在每个时间步t接收当前输入xₜ和上一时刻的隐藏状态hₜ₋₁,通过以下公式计算当前状态:
code复制hₜ = f(Wₕₕ·hₜ₋₁ + Wₓₕ·xₜ + bₕ)
oₜ = g(Wₕₒ·hₜ + bₒ)
其中f和g是非线性激活函数(如tanh或ReLU),W表示权重矩阵,b是偏置项。这种结构使RNN能够理论上记忆任意长度的历史信息,但在实际应用中会遇到梯度消失/爆炸问题。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 序列建模的核心挑战
2.1 梯度消失与爆炸问题
在训练RNN时,需要通过时间反向传播(BPTT)算法计算梯度。考虑一个长度为T的序列,损失函数L对参数W的梯度包含T项的连乘积:
code复制∂L/∂W = Σ(∂L/∂oₜ · ∂oₜ/∂hₜ · Π(∂hₖ/∂hₖ₋₁) · ∂hₜ/∂W)
其中雅可比矩阵∂hₖ/∂hₖ₋₁的谱半径决定了梯度衰减速度。当谱半径>1时会发生梯度爆炸,<1时则会出现梯度消失。实验表明,在标准RNN中,梯度在传播约5-10个时间步后就会变得极小或极大。
2.2 长期依赖建模困境
由于梯度问题,基本RNN实际上难以学习长距离依赖。例如在文本生成任务中,模型可能无法正确关联相隔较远的动词与主语。数学上可以证明,当序列长度超过20时,标准RNN的梯度信号几乎完全消失,导致参数更新失效。
3. 时间反向传播算法详解
3.1 BPTT计算过程
BPTT算法通过展开计算图将RNN视为深度前馈网络,其核心步骤包括:
- 前向传播:按时间顺序计算并保存每个时间步的隐藏状态hₜ和输出oₜ
- 反向传播:从最后时间步T开始,计算损失对各参数的梯度
- 参数更新:累积所有时间步的梯度并更新网络参数
关键计算公式:
code复制∂L/∂hₜ = Wₕₒᵀ·∂L/∂oₜ + Wₕₕᵀ·∂L/∂hₜ₊₁·f'(zₜ)
∂L/∂Wₕₕ = Σ(∂L/∂hₜ·hₜ₋₁ᵀ)
∂L/∂Wₓₕ = Σ(∂L/∂hₜ·xₜᵀ)
