1. 从Sequential到Transformer的探索之旅
那天我在PyTorch文档里看到nn.Sequential的示例代码时,突然冒出一个大胆的想法——既然这个容器能把各种神经网络层像串糖葫芦一样简单串联起来,那岂不是可以用来构建Transformer?毕竟Transformer的各个组件,什么线性层、softmax、前馈网络,不都是现成的模块吗?
这个天真的想法很快就被现实狠狠教育了。当我真正开始尝试用Sequential拼装Transformer时,发现事情远没有想象中那么简单。标准Transformer中那些看似简单的组件,在实际组合时会产生各种"化学反应",让简单的线性堆叠变得不可能。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Sequential的局限与Transformer的复杂性
2.1 Sequential的本质特点
nn.Sequential是PyTorch中最基础的模型容器,它的设计哲学极其简单:数据从第一层流入,严格按定义顺序通过每一层,最后从最后一层流出。这种线性流水线式的结构,非常适合LeNet、MLP这类简单的前馈网络。
python复制# 典型的Sequential用法示例
model = nn.Sequential(
nn.Linear(784, 256),
nn.ReLU(),
nn.Linear(256, 10)
)
但Transformer完全打破了这种线性假设。让我们看看Transformer中那些让Sequential束手无策的特性:
2.2 Transformer的三大结构特征
残差连接:这是最直接的"非线性"设计。在标准的Transformer块中,输入会同时流向两个路径:一个经过复杂的子层变换,另一个则直接"跳过"这个子层。最后两个路径的输出会相加。
python复制# 残差连接的伪代码实现
def transformer_block(x):
# 路径1:经过子层变换
path1 = sublayer(layernorm(x))
# 路径2:直接跳过
path2 = x
return path1 + path2
多分支运算:在多头注意力机制中,输入会被同时投影到Q、K、V三个不同的空间。这三个投影是并行进行的,而不是顺序执行。
动态计算图:Transformer中的很多操作(如掩码处理、张量相加)需要根据输入动态决定计算路径,这与Sequential的静态定义方式相矛盾。
3. Transformer模块的拆解与实现
3.1 文本与位置信息嵌入
任何Transformer模型的起点都是将离散的token转换为连续的向量表示。这部分包含两个关键组件:
Token Embedding:简单的查找表,将每个token映射到一个固定维度的向量。
python复制class TokenEmbedding(nn.Module):
def __init__(self, vocab_size, d_model):
super().__init__()
self.emb = nn.Embedding(vocab_size, d_model)
def forward(self, x):
return self.emb(x) # (B,T) -> (B,T,D)
位置编码:Transformer不像RNN那样有内置的顺序处理能力,所以需要显式地注入位置信息。正弦位置编码是原始论文采用的方法。
python复制class SinusoidalPositionalEncoding(nn.Module):
def __init__(self, d_model, max_len=2048):
super().__init__()
position = torch.arange(max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
pe = torch.zeros(max_len, d_model)
pe[:, 0::2] = torch.sin(position * div_term)
pe[:, 1::2] = torch.cos(position * div_term)
self.register_buffer('pe', pe.unsqueeze(0))
def forward(self, x):
return x + self.pe[:, :x.size(1), :]
注意:位置编码通常被实现为固定的(非可学习的)缓冲区,这是因为它本质上是一种确定性的位置表示方法,不需要通过训练来调整。
3.2 注意力机制的核心实现
多头注意力是Transformer最具标志性的组件。虽然PyTorch提供了现成的nn.MultiheadAttention实现,但理解其内部机制至关重要。
python复制class MultiHeadAttention(nn.Module):
def __init__(self, d_model, nhead, dropout=0.1):
super().__init__()
self.d_k = d_model // nhead
self.nhead = nhead
