1. Seq2Seq模型架构解析
在自然语言处理领域,序列到序列(Sequence-to-Sequence,简称Seq2Seq)模型已经成为处理动态序列生成任务的标准架构。我第一次接触这个模型是在2016年做机器翻译项目时,当时就被它处理变长序列的优雅方式所吸引。
1.1 核心结构与工作原理
Seq2Seq模型本质上是一个编码器-解码器架构,由两个主要部分组成:
- 编码器:负责将输入序列(如中文句子)编码为一个固定维度的上下文向量(context vector)
- 解码器:基于这个上下文向量逐步生成目标序列(如英文句子)
这种架构之所以强大,是因为它能够处理输入和输出长度不一致的情况——这正是翻译任务的核心特点。在实际项目中,我通常会选择LSTM或GRU作为基础单元,相比普通RNN,它们能更好地捕捉长距离依赖关系。
技术细节:编码器最后时间步的隐藏状态包含了整个输入序列的语义信息,这个"上下文向量"实际上是对输入序列的一种分布式表示。
1.2 编码器实现细节
以PyTorch为例,编码器的典型实现如下:
python复制class Encoder(nn.Module):
def __init__(self, vocab_size, embed_size, hidden_size):
super().__init__()
self.embedding = nn.Embedding(vocab_size, embed_size)
self.rnn = nn.LSTM(embed_size, hidden_size, batch_first=True)
def forward(self, x):
embedded = self.embedding(x) # (batch, seq_len) -> (batch, seq_len, embed_size)
outputs, (hidden, cell) = self.rnn(embedded)
return hidden, cell
这里有几个关键点需要注意:
- 嵌入层将离散的词索引映射为连续的向量表示
- LSTM处理变长序列时,实际应考虑使用pack_padded_sequence处理填充部分
- 最终返回的是LSTM的最终隐藏状态,它将作为解码器的初始状态
1.3 解码器工作机制
解码器的运作方式更为复杂,它采用自回归(autoregressive)方式生成序列:
python复制class Decoder(nn.Module):
def __init__(self, vocab_size, embed_size, hidden_size):
super().__init__()
self.embedding = nn.Embedding(vocab_size, embed_size)
self.rnn = nn.LSTM(embed_size, hidden_size, batch_first=True)
self.fc = nn.Linear(hidden_size, vocab_size)
def forward(self, x, hidden, cell):
x = x.unsqueeze(1) # (batch) -> (batch, 1)
embedded = self.embedding(x)
ou
