基于Attention机制的Seq2Seq神经机器翻译实战

1. 项目概述：基于Seq2Seq的神经机器翻译实战

上周刚完成一个电商多语言商品描述的翻译需求，用的是最基础的Seq2Seq模型。这周准备带大家升级到带Attention机制的版本，用PyTorch实现一个中英翻译器。这个架构在2014年由Bahdanau提出后，已经成为NLP领域的经典方案，比传统统计机器翻译效果提升明显。

我选这个案例有三个原因：首先Attention机制现在遍地开花（Transformer/BERT都基于此）；其次PyTorch的实现比TensorFlow更直观；最后这个N9周作业来自某高校NLP课程，经过教学验证。我们会从数据预处理开始，完整走通训练、预测全流程，重点解析Attention的计算过程。

2. 核心组件拆解

2.1 Seq2Seq基础架构

典型的编码器-解码器结构，我用过的最简实现包含：

• 编码器：双向LSTM处理源语言序列
• 解码器：单向LSTM生成目标语言序列
• 上下文向量：编码器最后隐状态作为解码器初始状态

去年处理客服对话时发现，这种结构在长句子表现很差。比如"这款手机的OLED屏幕在强光下依然清晰可见，但续航时间比前代缩短了约15%"翻译到第20个词时，模型已经记不住开头"OLED"这个关键信息了。

2.2 Attention机制原理

Attention的本质是动态权重计算。在解码器每个时间步：

1. 计算当前解码器隐状态与所有编码器隐状态的相似度（常用点积、加性或乘性注意力）
2. 用softmax归一化得到注意力权重
3. 加权求和编码器隐状态得到上下文向量

这就像翻译时先扫视原文重点部分再下笔。我测试过，加入Attention后BLEU值能提升30%以上，特别是对长文本。

2.3 PyTorch关键模块

python复制class Attention(nn.Module):
    def __init__(self, hidden_dim):
        super().__init__()
        self.attn = nn.Linear(hidden_dim * 2, hidden_dim)
        self.v = nn.Linear(hidden_dim, 1, bias=False)
        
    def forward(self, hidden, encoder_outputs):
        # hidden: [1,batch,hid_dim] 
        # encoder_outputs: [seq_len,batch,hid_dim]
        seq_len = encoder_outputs.shape[0]
        hidden = hidden.repeat(seq_len, 1, 1)
        energy = torch.tanh(self.attn(torch.cat((hidden, encoder_outputs), dim=2))) 
        attention = self.v(energy).squeeze(2)
        return F.softmax(attention, dim=0)

3. 完整实现流程

3.1 数据准备

建议使用WMT2017中英数据集，处理时注意：

• 统一繁体转简体（用opencc工具）
• 过滤长度差超过1.5倍的句对
• 构建词汇表时保留至少出现5次的词

python复制# 数据加载示例
train_iter = torchtext.legacy.data.BucketIterator(
    dataset=train_data,
    batch_size=32,
    sort_key=lambda x: len(x.src),
    device=device
)

3.2 模型训练技巧

• 学习率 warmup：前4000步线性增加学习率
• 标签平滑：设置ε=0.1缓解过拟合
• 梯度裁剪：阈值设为5防止梯度爆炸

重要提示：batch内按源序列长度降序排列，并开启pack_padded_sequence，训练速度可提升3倍

3.3 预测过程实现

解码时采用beam search要注意：

• beam width=5时效果和速度平衡较好
• 长度惩罚系数α一般取0.6
• 避免重复n-gram设置no_repeat_ngram_size=3

python复制def translate(model, src_sentence):
    model.eval()
    tokens = preprocess(src_sentence)
    src_tensor = torch.LongTensor(tokens).unsqueeze(1).to(device)
    with torch.no_grad():
        encoder_outputs, hidden = model.encoder(src_tensor)
    trg_indexes = [SOS_token]
    for _ in range(max_len):
        trg_tensor = torch.LongTensor([trg_indexes[-1]]).to(device)
        with torch.no_grad():
            output, hidden = model.decoder(trg_tensor, hidden, encoder_outputs)
        pred_token = output.argmax(1).item()
        trg_indexes.append(pred_token)
        if pred_token == EOS_token:
            break
    return postprocess(trg_indexes)

4. 实战问题排查

4.1 常见错误对照表

4.2 性能优化记录

• 将nn.LSTM换成nn.GRU后训练速度提升40%，BLEU下降约2点
• 使用混合精度训练后显存占用减少35%
• 对中文按字切分比按词切分最终效果更好

5. 扩展应用方向

这个Attention模块稍作修改就能用于其他任务：

• 文本摘要（替换编码器为BERT）
• 语音识别（编码器改用CNN+RNN）
• 图像描述生成（编码器用ResNet）

最近在尝试结合copy机制处理稀有词，比如把"Transformer"这样的专有名词直接复制到输出。一个实用的trick是在注意力权重上叠加一个基于词频的偏置项。