markdown复制## 1. 循环神经网络基础解析
### 1.1 序列建模的核心挑战
处理序列数据时,传统神经网络存在两个致命缺陷:无法处理可变长度输入,且忽视时间步之间的关联性。想象你要预测句子中的下一个单词——"天空飘着白色的___",正确答案"云朵"的预测必须依赖前文"白色"这个特征,而普通前馈网络每个时间步都是独立计算。
循环神经网络通过引入"记忆"机制突破了这个限制。其核心设计是在隐藏层间建立循环连接,使网络能够保留历史信息。具体实现是通过隐藏状态h_t这个动态更新的向量,它像移动硬盘一样携带之前所有时间步的压缩信息。
> 关键洞察:RNN的参数量不随序列长度增加而增长,所有时间步共享同一组权重矩阵。这种参数共享特性使其能处理任意长度的序列,也是区别于CNN等架构的本质特征。
### 1.2 RNN的数学本质
用公式描述RNN的计算过程:
h_t = tanh(W_{ih} * x_t + W_{hh} * h_{t-1} + b_h)
y_t = softmax(W_{ho} * h_t + b_o)
code复制
其中:
- W_{ih}是输入到隐藏层的权重矩阵
- W_{hh}是隐藏层间的递归权重矩阵
- tanh激活函数将输出约束在[-1,1]区间
这个看似简单的结构却产生了惊人的效果。以文本生成为例,当我们用RNN逐字生成时,h_t会编码前面所有字符的语义和语法信息。比如生成到"artificial"后,h_t已经携带"这是科技类文本"的上下文,使后续更可能生成"intelligence"而非"flower"。
### 1.3 时间反向传播(BPTT)的困境
RNN训练采用特殊的BPTT算法,其梯度计算涉及递归权重的连乘:
∂h_t/∂h_k = ∏{i=k}^{t-1} (diag(tanh'(Wh_i)) * W_{hh})
code复制
当序列较长时,tanh导数(0,1]区间的连乘会导致梯度指数级衰减(消失)或爆炸。这就是传统RNN难以学习长距离依赖的根本原因。例如在"那只猫...被狗追得跑丢了"的句子中,动词"跑丢"与主语"猫"可能相隔数十个词,梯度信号难以跨越如此长的距离。
## 2. LSTM:长短期记忆网络详解
### 2.1 门控机制的革新设计
LSTM通过三个精妙设计的门
