1. Seq2Seq 架构概述
Seq2Seq(Sequence to Sequence)模型是自然语言处理领域的重要架构,专门用于处理输入序列和输出序列长度不一致的任务。这种架构最早由Google在2014年提出,现已成为机器翻译、文本摘要、对话系统等任务的基础模型。
1.1 序列建模的基本类型
在深入Seq2Seq之前,我们需要了解RNN和LSTM处理序列数据的三种基本模式:
-
多对一(Many-to-One):将整个输入序列压缩成单个特征向量。典型应用包括:
- 文本分类(判断文章情感倾向)
- 情感分析(确定评论的正负面)
- 视频动作识别(根据帧序列判断动作类型)
-
多对多对齐(Many-to-Many, Aligned):为输入序列的每个时间步生成对应的输出。常见场景有:
- 词性标注(为每个单词标注词性)
- 命名实体识别(识别文本中的人名、地名等)
- 语音识别(将音频帧序列转为文字)
-
一对多(One-to-Many):从单个输入生成变长序列。典型例子:
- 图像描述生成(根据图片生成文字描述)
- 音乐生成(根据种子生成旋律)
- 故事续写(给定开头续写完整故事)
1.2 Seq2Seq的特殊性
Seq2Seq处理的是**多对多不对齐(Many-to-Many, Unaligned)**任务,其特点是:
- 输入输出序列长度可变且不固定
- 序列元素间没有严格的位置对应关系
- 需要理解整个输入语义后再生成输出
最典型的例子是机器翻译:
- 输入:"我爱人工智能"(3个词)
- 输出:"I love artificial intelligence"(4个词)
- 中英文单词间没有一一对应关系
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Seq2Seq核心组件
2.1 编码器(Encoder)
编码器的作用是将输入序列压缩为一个固定长度的上下文向量(Context Vector)。这个过程类似于人类阅读句子后形成记忆和理解。
技术实现细节:
- 输入序列经过词嵌入层转换为稠密向量
- RNN/LSTM按时间步处理序列,更新隐藏状态
- 对于标准RNN:$h_t = f(h_{t-1}, x_t)$
- 对于LSTM:$(h_t, c_t) = \text{LSTM}((h_{t-1}, c_{t-1}), x_t)$
- 最终隐藏状态作为整个序列的语义表示
关键设计选择:
- 单向vs双向:双向LSTM能捕获前后文信息,但需要处理最终状态的合并
- 多层结构:深层网络能学习更抽象的特征表示
- 注意力机制(后续改进):动态关注输入序列的不同部分
2.2 解码器(Decoder)
解码器接收上下文向量,逐步生成输出序列。这个过程模拟人类组织语言表达思想的过程。
工作流程:
- 用编码器的最终状态初始化解码器状态
- 以开始符
作为第一个输入 - 每个时间步:
- 根据当前输入和状态生成新词
- 更新RNN状态
- 将预测词作为下一步输入(自回归)
- 遇到结束符
停止生成
关键技术:
- 教师强制(Teacher Forcing):训练时混合使用真实标签和模型预测
- 束搜索(Beam Search):推理时保留多个候选序列
- 注意力机制:动态参考输入序列的不同部分
3. PyTorch实现详解
3.1 编码器实现
python复制class Encoder(nn.Module):
def __init__(self, vocab_size, hidden_size, num_layers):
super(Encoder, self).__init__()
self.embedding = nn.Embedding(vocab_size, hidden_size)
self.rnn = nn.LSTM(
input_size=hidden_size,
hidden_size=hidden_size,
num_layers=num_layers,
batch_first=True,
bidirecti
