基于Transformer的英中机器翻译系统实现与优化

1. 项目概述

这个基于Transformer的英中机器翻译系统是我在自然语言处理课程中的实践项目。作为一名长期从事NLP研究的工程师，我想通过这个项目分享如何从零开始构建一个完整的机器翻译系统。不同于简单的模型调用，我们将深入探讨Transformer架构的每个细节，并解决小数据集训练中的实际问题。

机器翻译技术的发展经历了三个阶段：早期基于规则的方法需要人工编写大量语法规则；统计机器翻译(SMT)利用双语语料库进行概率建模；而2014年提出的神经机器翻译(NMT)采用端到端学习。2017年Google提出的Transformer架构彻底改变了NLP领域，它摒弃了传统的循环结构，完全基于注意力机制，成为当今BERT、GPT等大模型的基础。

2. 核心架构设计

2.1 Transformer模型解析

Transformer的核心创新在于其注意力机制。与传统RNN不同，它能够直接建模任意两个词之间的关系，无论它们在序列中的距离有多远。我们的实现包含以下关键组件：

1. 多头注意力机制：将输入投影到多个子空间，分别计算注意力后拼接结果。这种设计允许模型在不同表示子空间中关注不同信息。

python复制class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.d_model = d_model
        self.num_heads = num_heads
        self.d_k = d_model // num_heads
        
        self.W_q = nn.Linear(d_model, d_model)
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        self.W_o = nn.Linear(d_model, d_model)
        
    def forward(self, q, k, v, mask=None):
        batch_size = q.size(0)
        
        # 线性投影并分头
        q = self.W_q(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
        k = self.W_k(k).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
        v = self.W_v(v).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
        
        # 计算缩放点积注意力
        scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.d_k)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attn = F.softmax(scores, dim=-1)
        
        # 合并多头结果
        output = torch.matmul(attn, v).transpose(1, 2).contiguous()
        output = output.view(batch_size, -1, self.d_model)
        return self.W_o(output)

2. 位置编码：由于Transformer没有循环结构，需要通过位置编码注入序列顺序信息。我们使用正弦和余弦函数的组合：

pyth复制