1. Transformer 生成过程全解析
1.1 从文本到 Token 的转换过程
当我们把一段文本输入到 Transformer 模型时,第一步要做的就是将人类可读的文本转换为机器可以处理的数字形式。这个过程称为 tokenization(分词)。想象一下,就像把一篇文章拆解成一个个乐高积木块,每个积木块都有自己独特的形状和编号。
具体来说,tokenizer 会执行以下操作:
- 将输入字符串按特定规则分割(可能是按词、子词或字符)
- 通过预定义的词表将每个 token 映射为唯一的整数 ID
- 输出一个 token ID 序列
注意:不同的 tokenizer 策略会显著影响模型性能。比如 BPE(Byte Pair Encoding)算法可以很好地处理罕见词和未登录词。
在实际操作中,我们经常会遇到这样的问题:同一个单词可能有不同的分词结果。例如"unhappiness"可能被分成"un"、"happiness"两个 token,而"happiness"本身可能又被进一步拆分。这种嵌套式的分词方式需要特别注意。
1.2 嵌入层:从离散到连续的魔法
得到 token ID 序列后,我们需要将这些离散的整数转换为连续的向量表示。这就是 embedding 层的职责。你可以把它想象成一个巨大的查询表:
python复制embedding_table = torch.randn(vocab_size, hidden_dim) # 可训练参数
token_embeddings = embedding_table[token_ids] # 查表操作
这个嵌入表本质上是一个可训练矩阵,其维度为 [vocab_size, hidden_dim]。其中:
- vocab_size 是词表大小(通常是几万到几十万)
- hidden_dim 是模型隐藏层维度(如 768、1024 等)
经验分享:嵌入层的初始化非常重要。实践中我们通常会使用较小的标准差(如 0.02)来初始化,避免初始梯度爆炸。
1.3 Transformer 的前向传播之旅
现在,我们的 token 已经变成了漂亮的向量形式,可以开始真正的 Transformer 之旅了。这些向量会依次通过多个 Transformer 层(通常 12-24 层),每层都包含两个核心组件:
- 多头自注意力机制(Multi-Head Self-Attention)
- 前馈神经网络(Feed Forward Network)
每个组件都遵循相同的结构范式:
code复制输入 → 子层计算 → 残差连接 → 层归一化
这种设计有几个关键优势:
- 残差连接缓解了深度网络的梯度消失问题
- 层归一化使训练更加稳定
- 模块化设计便于扩展和调整
