何之源1. PyTorch自然语言处理基础入门
自然语言处理（NLP）是人工智能领域的重要分支，PyTorch作为当前最流行的深度学习框架之一，为NLP任务提供了强大的支持。本章将介绍使用PyTorch进行NLP的基础知识，包括文本表示、计算图和PyTorch张量操作等核心概念。
1.1 自然语言处理概述
自然语言处理（NLP）是让计算机理解、解释和生成人类语言的技术。像Siri、Alexa和谷歌翻译这些我们熟知的AI产品，其核心技术都依赖于NLP。NLP的核心挑战在于如何将人类语言转换为计算机能够处理的数值表示。
传统NLP方法主要依赖统计技术和语言学规则，而现代方法则更多使用深度学习技术。深度学习在NLP中的应用始于2008-2010年，此后迅速发展，在机器翻译、情感分析、问答系统等任务上取得了突破性进展。
1.2 监督学习范式
监督学习是NLP中最常用的机器学习范式，其核心要素包括：
- 观察（x）：输入数据，如文本句子或文档
- 目标（y）：对应的标签或真实值
- 模型（f）：数学函数，将输入x映射到预测值ŷ
- 参数（w）：模型的权重，需要在训练中优化
- 损失函数（L）：衡量预测值与真实值差异的函数
监督学习的目标是通过优化模型参数w，最小化所有训练样本的累积损失。常用的优化方法是随机梯度下降（SGD）及其变种，如Adam等。
1.3 文本编码方法
1.3.1 单热编码(One-Hot)
单热编码是最简单的文本表示方法。对于词汇表V中的每个词，分配一个|V|维的向量，其中只有对应词的位置为1，其余为0。
例如，对于句子"Time flies like an arrow"，处理后词汇表为：{time, fruit, flies, like, a, an, arrow, banana}，则"time"的编码为[1,0,0,0,0,0,0,0]。
单热编码简单直观，但存在维度高、无法表达语义关系等缺点。
1.3.2 TF-IDF表示
TF-IDF（词频-逆文档频率）是一种常用的文本表示方法，能够反映词语在文档中的重要性。
- 词频(TF)：词w在文档中出现的频率
- 逆文档频率(IDF)：log(总文档数/包含w的文档数)
- TF-IDF：TF与IDF的乘积
TF-IDF能够降低常见词的权重，提高稀有但重要词的权重。下面是使用sklearn计算TF-IDF的示例：
python复制from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ['Time flies like an arrow.',
'Fruit flies like a banana.']
tfidf_vectorizer = TfidfVectorizer()
tfidf = tfidf_vectorizer.fit_transform(corpus).toarray()
1.4 计算图与PyTorch基础
1.4.1 计算图概念
计算图是深度学习框架的核心抽象，它将数学表达式表示为有向无环图。PyTorch采用动态计算图，相比静态图框架（如TensorFlow 1.x）更加灵活。
一个简单表达式y=wx+b的计算图如下：
code复制x → * → z → + → y
w ↗ b ↗
1.4.2 PyTorch张量操作
PyTorch的张量(tensor)是其核心数据结构，类似于NumPy数组但支持GPU加速和自动微分。
创建张量：
python复制import torch
# 创建未初始化的张量
x = torch.Tensor(2, 3)
# 创建随机张量
x = torch.rand(2, 3) # 均匀分布
x = torch.randn(2, 3) # 正态分布
# 创建全零/全一张量
x = torch.zeros(2, 3)
x = torch.ones(2, 3)
x.fill_(5) # 填充为5
张量运算：
python复制# 基本运算
x + y # 加法
torch.add(x, y) # 等价于x+y
x * y # 逐元素乘法
torch.mm(x, y) # 矩阵乘法
# 维度操作
x.sum(dim=0) # 沿第0维求和
x.transpose(0, 1) # 转置
自动微分：
python复制x = torch.ones(2, 2, requires_grad=True)
y = (x + 2) * (x + 5) + 3
z = y.mean()
z.backward() # 自动计算梯度
print(x.grad) # 查看梯度
1.5 传统NLP技术回顾
1.5.1 文本预处理
- 分词(Tokenization)：将文本分割成单词或子词单元
- 词干提取(Stemming)：去除词缀得到词干
- 词形还原(Lemmatization)：将词还原为词典形式
python复制import spacy
nlp = spacy.load('en')
doc = nlp(u"he was running late")
for token in doc:
print(token, token.lemma_)
1.5.2 语言分析技术
- 词性标注(POS Tagging)：标记词语的语法类别
- 命名实体识别(NER)：识别文本中的人名、地名等
- 句法分析(Parsing)：分析句子语法结构
python复制doc = nlp(u"Mary slapped the green witch.")
for token in doc:
print(token.text, token.pos_) # 词性标注
for ent in doc.ents:
print(ent.text, ent.label_) # 命名实体识别
1.6 实践建议
-
文本表示选择：对于简单任务，TF-IDF等传统方法可能足够；复杂任务则需要使用词嵌入或深度模型。
-
PyTorch使用技巧：
- 使用
requires_grad=True启用自动微分 - 利用GPU加速计算：
x = x.to('cuda') - 注意张量的数据类型和形状
- 使用
-
NLP预处理：
- 根据任务需求选择合适的分词粒度
- 考虑是否需要进行词形还原或词干提取
- 对于社交媒体文本，需要特殊处理话题标签、表情符号等
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 神经网络基础组件
2.1 感知机：最简单的神经网络
感知机是最简单的神经网络单元，可以视为一个二分类器：
python复制import torch
import torch.nn as nn
class Perceptron(nn.Module):
def __init__(self, input_dim):
super(Perceptron, self).__init__()
self.fc = nn.Linear(input_dim, 1)
def forward(self, x):
return torch.sigmoid(self.fc(x))
感知机由输入层和输出层组成，使用sigmoid等激活函数实现非线性变换。虽然简单，但多个感知机构成了更复杂神经网络的基础。
2.2 激活函数
激活函数引入非线性，使神经网络能够学习复杂模式。常用激活函数包括：
-
Sigmoid：将输出压缩到(0,1)，适合二分类
python复制
torch.sigmoid(x) -
Tanh：输出范围(-1,1)，比sigmoid更优
python复制
torch.tanh(x) -
ReLU：简单高效，缓解梯度消失
python复制
torch.relu(x) -
Softmax：多分类输出概率分布
python复制torch.softmax(x, dim=1)
2.3 损失函数
损失函数衡量模型预测与真实值的差距：
-
交叉熵损失：分类任务常用
python复制
nn.CrossEntropyLoss() -
均方误差：回归任务常用
python复制
nn.MSELoss() -
二元交叉熵：二分类任务
python复制
nn.BCELoss()
2.4 优化器
优化器用于更新模型参数，常见的有：
-
SGD：基础优化器，可加动量
python复制torch.optim.SGD(model.parameters(), lr=0.01) -
Adam：自适应学习率，效果稳定
python复制torch.optim.Adam(model.parameters(), lr=0.001) -
RMSprop：适合非平稳目标
python复制
torch.optim.RMSprop(model.parameters())
2.5 训练流程示例
python复制# 定义模型
model = Perceptron(input_dim=100)
criterion = nn.BCELoss()
optimizer = torch.optim.Adam(model.parameters())
# 训练循环
for epoch in range(10):
for x, y in dataloader:
optimizer.zero_grad()
outputs = model(x)
loss = criterion(outputs, y)
loss.backward()
optimizer.step()
3. 关键技术与注意事项
3.1 词嵌入技术
词嵌入是将词语映射到低维连续向量空间的技术，能够捕捉语义关系。PyTorch提供nn.Embedding层实现：
python复制embedding = nn.Embedding(vocab_size, embedding_dim)
embedded = embedding(input_tokens)
3.2 序列建模
对于序列数据（如文本），常用RNN、LSTM或Transformer：
python复制lstm = nn.LSTM(input_size=100, hidden_size=50, num_layers=2)
output, (hidden, cell) = lstm(input_sequence)
3.3 实践建议
- 数据预处理：文本清洗、标准化、分词要一致
- 批量归一化：加速训练，提高稳定性
- 梯度裁剪：防止梯度爆炸
- 学习率调度：动态调整学习率提高收敛
- 早停机制：防止过拟合
3.4 常见问题排查
-
梯度消失/爆炸：
- 使用ReLU等激活函数
- 添加批量归一化层
- 使用LSTM/GRU代替普通RNN
-
过拟合：
- 增加Dropout层
- 添加L2正则化
- 扩大训练数据集
-
训练不稳定：
- 梯度裁剪
- 调整学习率
- 尝试不同的优化器
4. 总结与进阶方向
本章介绍了PyTorch在NLP中的基础应用，包括文本表示、神经网络组件和训练流程。掌握这些基础知识后，可以进一步学习：
- 预训练模型：如BERT、GPT等Transformer架构
- 注意力机制：提升长序列建模能力
- 迁移学习：将预训练模型适配到特定任务
- 模型压缩：知识蒸馏、量化等技术
PyTorch的灵活性和丰富的生态系统使其成为NLP研究和应用的理想选择。通过结合传统NLP技术和现代深度学习方法，可以构建强大的自然语言处理系统。