作者小怪兽1. 情感分类任务代码实战概述
情感分类是自然语言处理（NLP）中最基础也最具实用价值的任务之一。简单来说，就是让机器学会判断一段文字表达的情绪是正面、负面还是中性。这个看似简单的任务，在实际应用中却有着广泛的价值——从电商评论分析到社交媒体舆情监控，从客服对话质检到市场调研报告生成，都离不开情感分类技术的支持。
我在过去三年里为多家企业部署过情感分析系统，发现即使是相同的算法，在不同场景下的表现可能天差地别。比如餐饮评论中的"火爆"通常表示正面评价，但在电子产品评论中可能暗示设备发热问题。这种领域适应性正是情感分类实战中最具挑战性的部分。
本次实战将使用PyTorch框架，从数据准备到模型部署完整走通全流程。不同于大多数教程只演示理想数据集上的表现，我会重点分享如何处理真实场景中的脏数据、类别不平衡等实际问题。我们采用的模型架构是BERT+BiLSTM的混合结构，这种组合在我经手的商业项目中验证过效果优于单一模型。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与数据预处理
2.1 开发环境配置
推荐使用Python 3.8+版本，过新的Python版本可能会遇到某些库的兼容性问题。以下是必须安装的核心库及其特定版本：
bash复制pip install torch==1.12.1 transformers==4.25.1 scikit-learn==1.0.2
pip install pandas==1.5.0 numpy==1.23.4 tqdm==4.64.1
注意：transformers库建议锁定4.25版本，新版BERT的tokenizer行为有细微变化可能导致预处理不一致
对于GPU加速，需要额外安装对应CUDA版本的PyTorch。可以通过以下命令检查CUDA可用性：
python复制import torch
print(torch.cuda.is_available()) # 应返回True
print(torch.cuda.get_device_name(0)) # 显示GPU型号
2.2 数据收集与清洗
理想的情感分析数据集应包含三个关键维度：
- 文本内容
- 情感标签（建议采用三级：-1负面，0中性，1正面）
- 领域标识（可选，用于领域适配）
实战中可以使用SST-2（Stanford Sentiment Treebank）作为基准数据集，但更推荐爬取真实场景数据。以电商评论为例，原始数据通常需要以下清洗步骤：
python复制def clean_text(text):
# 移除HTML标签
text = re.sub(r'<[^>]+>', '', text)
# 处理特殊编码字符
text = text.replace('&', '&').replace('<', '<')
# 合并连续标点
text = re.sub(r'([!?.])\1+', r'\1', text)
# 去除无意义重复字符
text = re.sub(r'([a-z])\1{2,}', r'\1', text)
return text.strip()
2.3 标签分布分析与处理
真实数据常遇到类别不平衡问题。假设我们得到如下分布：
- 正面：65%
- 中性：25%
- 负面：10%
这种情况可以采用以下策略组合：
- 过采样少数类：使用SMOTE算法生成合成样本
- 损失函数加权：给负面样本分配更高权重
- 数据增强：对负面样本进行同义词替换等操作
python复制from imblearn.over_sampling import SMOTE
sampler = SMOTE(sampling_strategy={-1:2000, 0:3000, 1:4000})
X_resampled, y_resampled = sampler.fit_resample(X, y)
3. 模型架构设计与实现
3.1 BERT特征提取层
我们使用BERT-base作为基础模型，关键配置如下：
python复制from transformers import BertModel, BertTokenizer
bert_model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# 冻结前6层参数
for param in bert_model.parameters():
param.requires_grad = False
for i in range(6,12):
for param in bert_model.encoder.layer[i].parameters():
param.requires_grad = True
这种部分微调策略在实践中能有效防止小数据集上的过拟合。输入文本需要特殊处理：
python复制inputs = tokenizer(
text,
max_length=128,
padding='max_length',
truncation=True,
return_tensors='pt'
)
3.2 BiLSTM上下文编码器
BERT输出接双向LSTM捕获长距离依赖：
python复制class BiLSTM(nn.Module):
def __init__(self, input_dim, hidden_dim, num_layers):
super().__init__()
self.lstm = nn.LSTM(
input_size=input_dim,
hidden_size=hidden_dim,
num_layers=num_layers,
bidirectional=True,
batch_first=True
)
def forward(self, x):
out, _ = self.lstm(x)
return out[:, -1, :] # 取最后时刻的隐藏状态
关键参数选择依据：
- hidden_dim设为384（与BERT隐藏层768维对齐）
- num_layers设为2（超过3层容易梯度消失）
3.3 注意力机制增强
在BiLSTM后加入注意力层聚焦关键情感词：
python复制class Attention(nn.Module):
def __init__(self, dim):
super().__init__()
self.query = nn.Linear(dim, dim)
def forward(self, x):
Q = self.query(x)
weights = torch.softmax(Q, dim=1)
return torch.sum(weights * x, dim=1)
4. 训练策略与调优技巧
4.1 分层学习率设置
不同网络层使用差异化的学习率：
python复制optimizer = torch.optim.AdamW([
{'params': bert_model.parameters(), 'lr': 2e-5},
{'params': lstm.parameters(), 'lr': 1e-3},
{'params': attention.parameters(), 'lr': 1e-3}
])
4.2 动态批次采样
根据句子长度智能分组，减少padding浪费：
python复制from torch.utils.data import Sampler
class LengthBatchSampler(Sampler):
def __init__(self, lengths, batch_size):
indices = np.argsort(lengths)
self.batches = [
indices[i:i+batch_size]
for i in range(0, len(indices), batch_size)
]
def __iter__(self):
return iter(self.batches)
4.3 对抗训练增强
添加FGM对抗训练提升模型鲁棒性：
python复制class FGM():
def __init__(self, model):
self.model = model
self.backup = {}
def attack(self, epsilon=0.3):
for name, param in self.model.named_parameters():
if param.requires_grad:
self.backup[name] = param.data.clone()
norm = torch.norm(param.grad)
if norm != 0:
r_at = epsilon * param.grad / norm
param.data.add_(r_at)
def restore(self):
for name, param in self.model.named_parameters():
if param.requires_grad:
param.data = self.backup[name]
在训练循环中调用：
python复制fgm = FGM(model)
loss.backward()
fgm.attack() # 在梯度上施加扰动
loss_adv = model(inputs).loss
loss_adv.backward()
fgm.restore() # 恢复参数
optimizer.step()
5. 模型评估与部署
5.1 多维度评估指标
除了准确率，还应关注：
python复制from sklearn.metrics import classification_report
report = classification_report(
y_true,
y_pred,
target_names=['负面', '中性', '正面'],
output_dict=True
)
macro_f1 = report['macro avg']['f1-score']
neg_recall = report['负面']['recall'] # 对负面评论的召回率
5.2 模型轻量化部署
使用ONNX转换减少推理时延：
python复制torch.onnx.export(
model,
dummy_input,
"sentiment.onnx",
input_names=["input_ids", "attention_mask"],
output_names=["logits"],
dynamic_axes={
'input_ids': {0: 'batch'},
'attention_mask': {0: 'batch'},
'logits': {0: 'batch'}
}
)
5.3 持续学习策略
上线后通过主动学习持续优化：
python复制def get_uncertain_samples(pool_data, batch_size=100):
probs = model.predict_proba(pool_data)
entropy = -np.sum(probs * np.log(probs), axis=1)
return np.argsort(entropy)[-batch_size:]
6. 典型问题与解决方案
6.1 情感极性反转问题
案例："这手机好得让我不敢相信"
- 解决方案：增加反讽检测子模块
python复制class IronyDetector(nn.Module):
def __init__(self, hidden_dim):
super().__init__()
self.dense = nn.Linear(hidden_dim*3, 1)
def forward(self, bert_out, lstm_out):
features = torch.cat([
bert_out.mean(dim=1),
bert_out.max(dim=1)[0],
lstm_out
], dim=1)
return torch.sigmoid(self.dense(features))
6.2 领域适应难题
跨领域性能下降的解决方法：
- 领域对抗训练（DANN）
- 预训练时加入领域标识符
- 少量目标领域数据微调
6.3 处理短文本策略
针对微博等短文本的改进：
- 引入外部知识库增强
- 使用字符级和词级双通道输入
- 增加emoji情感词典特征
在实际项目中，最耗时的往往不是模型开发，而是数据质量的把控。我曾遇到一个案例：标注团队将"价格高得离谱"错误标记为正面评价，导致模型在价格敏感型商品上完全失效。后来我们建立了三重质检机制：自动规则过滤+交叉人工校验+模型预测验证，将标注错误率控制在0.5%以下。