1. Transformer模型实现详解:从理论到代码实践
最近在复现Transformer模型时,发现很多教程要么过于理论化,要么代码实现不够完整。今天我想分享一个完整的Transformer实现过程,从数据准备到模型训练,再到预测评估,手把手带你理解这个革命性的模型架构。
Transformer最初由Google在2017年提出,彻底改变了自然语言处理领域的格局。与传统的RNN和CNN不同,它完全基于注意力机制,能够并行处理序列数据,同时捕捉长距离依赖关系。下面我们就从最基础的部分开始,逐步构建一个完整的Transformer模型。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据准备与预处理
2.1 数据集生成
我们首先构建一个简单的音标到字母的映射任务。这个任务虽然简单,但足以展示Transformer的核心机制:
python复制# 定义音标和字母列表
soundmark = ['ei', 'bi:', 'si:', 'di:', 'i:', 'ef', 'dʒi:', 'eit∫', 'ai', 'dʒei',
'kei', 'el', 'em', 'en', 'əu', 'pi:', 'kju:', 'ɑ:', 'es', 'ti:',
'ju:', 'vi:', 'd∧blju:', 'eks', 'wai', 'zi:']
alphabet = ['a','b','c','d','e','f','g','h','i','j','k','l','m',
'n','o','p','q','r','s','t','u','v','w','x','y','z']
# 生成带噪声的训练数据
t = 1000 # 样本总数
r = 0.9 # 正确映射概率
seq_len = 6 # 序列长度
src_tokens, tgt_tokens = [],[]
for i in range(t):
src, tgt = [],[]
for j in range(seq_len):
ind = random.randint(0,25)
src.append(soundmark[ind])
# 90%概率正确映射,10%概率随机噪声
tgt.append(alphabet[ind] if random.random() < r else alphabet[random.randint(0,25)])
src_tokens.append(src)
tgt_tokens.append(tgt)
提示:在实际NLP任务中,这种噪声模拟了真实场景中的拼写错误或翻译偏差,有助于提高模型的鲁棒性。
2.2 词表构建
Transformer需要将文本转换为数字表示,因此我们需要构建词表:
python复制class Vocab:
def __init__(self, tokens):
self.tokens = tokens
# 特殊token
self.token2index = {'<pad>': 0, '<bos>': 1, '<eos>': 2, '<unk>': 3}
# 按词频排序添加普通token
self.token2index.update({
token: index+4 for index, (token, freq) in enumerate(
sorted(Counter(flatten(self.tokens)).items(),
key=lambda x: x[1], reverse=True))
})
self.index2token = {v:k for k,v in self.token2index.items()}
def __getitem__(self, query):
if isinstance(query, str):
return self.token2index.get(query, 3) # 未知词返回<unk>
elif isinstance(query, int):
return self.index2token.get(query, '<unk>')
elif isinstance(query, (list, tuple)):
return [self.__getitem__(item) for item in query]
def __len__(self):
return len(self.index2token)
特殊token的作用:
<pad>:用于填充不等长序列<bos>:标记序列开始<eos>:标记序列结束<unk>:处理未见过的词
2.3 数据加载器
将数据转换为PyTorch的DataLoader格式:
python复制# 添加特殊token并转换为tensor
encoder_input = torch.tensor([src_vocab[line + ['<pa
