1. 从RNN到Transformer:序列建模的进化之路
2017年那会儿,我还在用LSTM做新闻标题生成,每次训练都要等上大半天。直到Transformer论文《Attention is All You Need》横空出世,整个NLP领域就像被按下了快进键。现在回头看,RNN系列模型就像是用算盘做微积分——理论上可行,但效率实在感人。
传统RNN处理序列数据时,就像一个人逐字背诵文章:必须严格按照顺序进行,且背到后面时前面的细节已经模糊。这种序列依赖性导致两个致命问题:一是无法并行计算(必须等前一个时间步完成才能处理下一个),二是长距离依赖难以捕捉(梯度消失问题)。我在2016年用双向LSTM做专利文本分类时,当段落超过500词时准确率就会明显下降。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. RNN的结构困境与改良尝试
2.1 经典RNN的数学本质
RNN的核心公式看似简单:
code复制h_t = σ(W_h·h_{t-1} + W_x·x_t + b)
其中σ通常是tanh激活函数。但就是这个循环结构带来了根本性限制。我在金融时间序列预测项目中实测发现,当序列长度超过30步时,梯度回传的有效信息量会衰减90%以上。
经验之谈:使用梯度裁剪(Gradient Clipping)可以缓解梯度爆炸,但对梯度消失帮助有限
2.2 LSTM的改良与局限
LSTM通过引入门控机制(输入门、遗忘门、输出门)试图解决长程依赖问题:
code复制f_t = σ(W_f·[h_{t-1}, x_t] + b_f)
i_t = σ(W_i·[h_{t-1}, x_t] + b_i)
o_t = σ(W_o·[h_{t-1}, x_t] + b_o)
虽然比基础RNN强,但在处理超长文本(如法律文书)时仍然力不从心。更糟的是,其计算复杂度是O(n^3),当序列长度翻倍时,计算时间会增加近10倍。
2.3 注意力机制的曙光
2014年Bahdanau提出的注意力机制给了我们新思路。在机器翻译任务中,模型可以动态关注源语言的不同部分。但此时的注意力还是与RNN耦合使用,就像给马车装上喷气引擎——架构不匹配限制了性能提升。
3. Transformer的革命性突破
3.1 自注意力机制详解
Transformer的核心创新是Scaled
