Mr pretty1. 循环神经网络基础架构解析
循环神经网络（RNN）作为序列建模的奠基性架构，其核心在于引入"时间维度"的概念。想象你正在阅读一本小说，理解当前段落时需要记住前文的情节——这正是RNN处理时序数据的核心思想。网络内部通过隐藏状态（hidden state）实现信息传递，数学表达为：
h_t = σ(W_hh·h_{t-1} + W_xh·x_t + b_h)
其中σ常选用tanh激活函数，这种设计使得网络能够：
- 保留历史信息（通过W_hh权重矩阵）
- 融合当前输入（通过W_xh权重矩阵）
- 通过非线性变换增强表达能力
实际工程中需注意：原始RNN使用tanh时容易出现梯度消失，建议初始学习率设为0.001-0.01范围
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LSTM的长短期记忆机制拆解
2.1 门控结构实现原理
长短期记忆网络（LSTM）通过三个精密设计的门控单元解决原始RNN的长期依赖问题：
- 遗忘门：决定丢弃哪些历史信息
f_t = σ(W_f·[h_{t-1}, x_t] + b_f) - 输入门：控制新信息的写入
i_t = σ(W_i·[h_{t-1}, x_t] + b_i)
Ĉ_t = tanh(W_C·[h_{t-1}, x_t] + b_C) - 输出门：调节最终输出内容
o_t = σ(W_o·[h_{t-1}, x_t] + b_o)
2.2 细胞状态更新公式
记忆细胞（cell state）的更新过程体现LSTM的核心创新：
C_t = f_t ⊙ C_{t-1} + i_t ⊙ Ĉ_t
h_t = o_t ⊙ tanh(C_t)
工程实践发现：初始化遗忘门偏置b_f为1.0可有效缓解初始阶段的梯度消失
3. 双向LSTM的时空建模能力
3.1 前向与后向网络协同
双向LSTM（BiLSTM）通过并行运行两个LSTM层捕获完整上下文：
- 前向层处理t=1→T序列
- 后向层处理t=T→1序列
最终输出通过concat或求和方式融合：
h_t = [h_t^{→}, h_t^{←}]
3.2 数学表达完整推导
设前向LSTM输出为h_t^f，后向为h_t^b，则：
y_t = σ(W_y·[h_t^f, h_t^b] + b_y)