1. 为什么我们需要"手撕"Transformer?
在自然语言处理领域,Transformer架构已经成为了事实上的标准。但很多人在使用BERT、GPT这些现成模型时,往往只停留在调包和微调的层面。三年前我第一次接触Transformer时,就被它的精妙设计所震撼——但直到我真正用代码从头实现它,那些论文中的公式才真正活了起来。
"手撕"Transformer意味着不使用任何现成的深度学习框架(如TensorFlow/PyTorch),仅用基础矩阵运算实现所有核心组件。这个过程就像拆解一块精密的瑞士手表,能让你真正理解:
- 自注意力机制如何动态分配权重
- 位置编码为何能替代RNN的时序处理
- 残差连接和层归一化如何解决深层网络训练难题
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基础架构拆解
2.1 输入编码层实现
我们先从最基础的输入处理开始。假设我们的输入句子是"I love NLP",经过分词和词表映射后得到token IDs [10, 23, 45]。传统做法会直接使用Embedding层,但我们要手动实现:
python复制import numpy as np
# 词表大小设为10000,向量维度512
vocab_size = 10000
d_model = 512
# 随机初始化词嵌入矩阵(实际应用会用预训练值)
embedding_matrix = np.random.randn(vocab_size, d_model) * 0.01
# 输入句子编码
input_ids = np.array([10, 23, 45])
input_embeddings = embedding_matrix[input_ids] # 形状(3, 512)
关键细节:初始化时的0.01缩放因子非常重要,可以防止初始阶段梯度爆炸
2.2 位置编码的数学实现
Transformer抛弃了RNN的循环结构,改用位置编码(Positional Encoding)来注入序列顺序信息。其公式为:
$$
PE_{(pos,2i)} = \sin(pos/10000^{2i/d_{model}}) \
PE_{(pos,2i+1)} = \cos(pos/10000^{2i/d_{model}})
$$
对应的Python实现:
python复制def positional_encoding(max_len, d_model):
pe = np.zeros((max_len, d_model))
position = np.arange(0, max_len).reshape(-1, 1)
div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))
pe[:, 0::2] = np.sin(position * div_term)
pe[:, 1::2] = np.cos(position * div_term)
return pe
# 为我们的3个token添加位置编码
max_len = 100
pe = positional_encoding(max_len, d_model)
input_embeddings += pe[:len(input_ids)]
实测发现,当序列长度超过训练时的最大长度时,这种编码方式仍能保持较好的外推性。
3. 自注意力机制核心实现
3.1 QKV矩阵计算
自注意力的关键在于计算查询(Query)、键(Key)和值(Value)矩阵。假设我们有8个头(head),每个头维度64:
python复制n_heads = 8
d_k = d_v = d_model // n_heads # 64
# 初始化权重矩阵
W_Q = np.random.randn(d_model, d_k * n_heads) * 0.01
W_K = n
