1. Transformer模型架构解析与Java实现
Transformer模型自2017年由Vaswani等人提出后,已成为自然语言处理领域的基石架构。本章将深入剖析Transformer的核心组件,并展示如何在Java环境中使用PyTorch实现完整的Transformer模型。
1.1 模型整体架构
Transformer采用经典的编码器-解码器结构,其核心创新在于完全基于注意力机制,摒弃了传统的循环和卷积操作。编码器负责将输入序列转换为高级特征表示,解码器则利用这些表示生成目标序列。
编码器由N个相同层堆叠而成(原论文N=6),每层包含:
- 多头自注意力机制
- 前馈神经网络
- 残差连接和层归一化
解码器同样由N个相同层组成,但比编码器多一个注意力子层:
- 带掩码的多头自注意力
- 编码器-解码器注意力
- 前馈神经网络
- 残差连接和层归一化
1.2 输入表示处理
1.2.1 词嵌入实现
在Java中使用PyTorch实现词嵌入层:
java复制// 词嵌入层实现
public class TokenEmbedding extends Module {
private final EmbeddingImpl embedding;
public TokenEmbedding(long vocabSize, long dModel) {
super("TokenEmbedding");
this.embedding = register_module("embedding",
new EmbeddingImpl(vocabSize, dModel));
}
public Tensor forward(Tensor input) {
// 输入形状: [batch_size, seq_len]
// 输出形状: [batch_size, seq_len, d_model]
return embedding.forward(input).mul(
torch.sqrt(torch.tensor(dModel, torch.ScalarType.Float)));
}
}
关键点:
- 嵌入维度d_model通常设为512或768
- 初始化后乘以√d_model以保持数值稳定性
- 实际应用中需处理OOV词(如使用子词切分)
1.2.2 位置编码详解
位置编码为模型提供序列顺序信息,其数学表达式为:
PE(pos,2i) = sin(pos/10000^(2i/d_model))
PE(pos,2i+1) = cos(pos/10000^(2i/d_model))
Java实现方案:
java复制public class PositionalEncoding extends Module {
private final DropoutImpl dropout;
private final Tensor pe; // 位置编码缓存
public PositionalEncoding(long dModel, double dropout, long maxLen) {
super("PositionalEncoding");
this.dropout = register_module("dropout", new DropoutImpl(dropout));
// 计算位置编码
Tensor position = torch.arange(maxLen).unsqueeze(1);
Tensor divTerm = torch.exp(torch.arange(0, dModel, 2)
.mul(-Math.log(10000.0) / dModel));
pe = torch.zeros(maxLen, dModel);
pe.put(new TensorIndexVector(
new TensorIndex(torch.empty()),
new TensorIndex(new Slice(0, null, 2))
), torch.sin(position.mul(divTerm)));
pe.put(new TensorIndexVector(
new TensorIndex(torch.empty()),
new TensorIndex(new Slice(1, null, 2))
), torch.cos(position.mul(divTerm)));
pe = pe.unsqueeze(0);
register_buffer("pe", pe);
}
public Tensor forward(Tensor x) {
x = x.add(pe.slice(1, 0, x.size(1), 1));
return dropout.forward(x);
}
}
实际应用中,对于超过max_len的序列,可以考虑:
- 截断处理
- 动态扩展位置编码
- 使用相对位置编码方案
1.3 注意力机制实现
1.3.1 缩放点积注意力
数学表达式:
Attention(Q,K,V) = softmax(QK^T/√d_k)V
Java实现核心逻辑:
java复制private static Tensor scaledDotProductAttention(
Tensor q, Tensor k, Tensor v, Tensor mask) {
long d_k = q.size(-1);
Tensor scores = torch.matmul(q, k.transpose(-2, -1))
.div(Math.sqrt(d_k));
if (mask != null) {
scores = scores.maskedFill(mask.eq(0), Double.NEGATIVE_INFINITY);
}
Tensor weights = torch.softmax(scores, -1);
return torch.matmul(weights, v);
}
1.3.2 多头注意力实现
java复制public class MultiHeadAttention extends Module {
private final LinearImpl Wq, Wk, Wv, Wo;
private final long numHeads, dK, dV;
public MultiHeadAttention(long dModel, long numHeads, double dropout) {
super("MultiHeadAttention");
this.numHeads = numHeads;
this.dK = dModel / numHeads;
this.dV = dModel / numHeads;
Wq = register_module("Wq", new LinearImpl(dModel, dModel));
Wk = register_module("Wk", new LinearImpl(dModel, dModel));
Wv = register_module("Wv", new LinearImpl(dModel, dModel))
