1. 项目背景与核心价值
在电商平台和社交媒体爆发的时代，用户每天产生数以亿计的评论文本数据。这些数据中蕴含着消费者对产品、服务的真实情感倾向，但传统人工分析方法难以处理如此庞大的数据量。这正是我们选择"基于情感分析的个性化推荐"作为毕业设计课题的根本原因——通过深度学习技术挖掘文本情感特征，构建更精准的推荐系统。
这个项目的独特价值在于将NLP情感分析与推荐系统相结合。不同于传统协同过滤仅依赖用户行为数据，我们的方案能捕捉"用户为什么喜欢/不喜欢"的深层原因。例如当用户评论"手机续航差但拍照很棒"时，系统能识别出对拍照功能的强烈正向情感，后续优先推荐高像素机型。
2. 技术架构设计
2.1 整体技术栈
项目采用分层架构设计：
- 数据层：使用Scrapy爬取京东/淘宝商品评论（约50万条），通过MongoDB存储非结构化数据
- 分析层：
- 情感分析模块：基于PyTorch实现的BERT模型
- 用户画像模块：Spark处理用户历史行为数据
- 推荐层：混合矩阵分解与深度神经网络推荐算法
- 展示层：Flask后端+ECharts可视化大屏
2.2 关键模型选型
在情感分析模块的模型选择上，我们对比了三种方案：
- 传统机器学习方法（TF-IDF+朴素贝叶斯）
- 准确率仅82%（F1值0.79）
- 无法处理"这手机烂得与众不同"等反语
- LSTM神经网络
- 准确率提升至88%
- 但训练时间长达6小时/epoch
- BERT-wwm-ext模型
- 最终采用方案
- 准确率92.7%（F1值0.91）
- 支持动态词向量处理一词多义
实测发现：当使用NVIDIA T4 GPU加速时，BERT模型的训练时间从CPU环境的18小时缩短至2.3小时，batch_size可提升至256。
3. 情感分析模块实现细节
3.1 数据预处理流程
python复制# 典型预处理代码示例
def text_clean(text):
text = re.sub(r'@\w+', '', text) # 去除@提及
text = re.sub(r'#\w+', '', text) # 去除话题标签
text = re.sub(r'https?://\S+', '', text) # 去除URL
return text.strip()
# 使用jieba进行细粒度分词
tokenizer = lambda x: [word for word in jieba.lcut(x) if word not in stopwords]
3.2 模型训练关键参数
yaml复制# bert_config.yaml
batch_size: 32
max_seq_length: 128
learning_rate: 3e-5
num_train_epochs: 4
warmup_proportion: 0.1
3.3 混合推荐策略
采用加权融合策略：
- 情感权重（40%）：根据评论情感强度计算
- 行为权重（30%）：点击/购买/收藏等行为
- 协同过滤（30%）：用户相似度矩阵
4. 典型问题与解决方案
4.1 数据不平衡问题
电商评论中存在明显的长尾分布：
- 正向评论占比78%
- 负向评论仅15%
- 中立评论7%
解决方案：
- 采用类别权重调整：
python复制class_weight = torch.tensor([1.0, 3.0, 1.5]) # 负样本权重x3 - 使用Focal Loss缓解样本不均衡：
python复制criterion = FocalLoss(gamma=2, alpha=[0.2, 0.6, 0.2])
4.2 冷启动问题
对于新用户或新商品，采用三级降级策略：
- 优先使用文本情感分析结果
- 次选同类目平均情感分
- 最后采用热度推荐
5. 效果评估与优化
5.1 评估指标对比
| 模型类型 | 准确率 | 召回率 | F1值 | 响应时间 |
|---|---|---|---|---|
| 传统方法 | 82.1% | 80.3% | 0.79 | 50ms |
| LSTM | 88.4% | 86.7% | 0.87 | 120ms |
| BERT-base | 91.2% | 90.8% | 0.90 | 200ms |
| BERT-wwm-ext | 92.7% | 92.5% | 0.91 | 210ms |
5.2 部署优化技巧
- 使用ONNX将PyTorch模型转换为推理优化格式
bash复制torch.onnx.export(model, inputs, "model.onnx", opset_version=11) - 采用Triton推理服务器实现：
- 动态批处理
- 模型并行
- 峰值QPS提升3倍
6. 答辩准备建议
6.1 重点展示内容
- 对比实验设计：突出BERT模型的选择依据
- 创新点说明：情感权重与行为数据的融合策略
- 商业价值分析：可量化的点击率提升数据（实测CTR+18%）
6.2 可能质疑与回应
Q：为什么不用更简单的RNN模型？
A：经AB测试，RNN对长文本情感倾向判断准确率下降明显。当评论超过50字时，BERT的准确率优势从3%扩大到7.2%。
在实际部署中发现，当使用NVIDIA T4显卡进行推理时，可以通过FP16精度将响应时间从210ms降低到150ms，同时保持98%的准确率。这个发现为后续优化提供了重要方向——通过混合精度计算实现效率与精度的平衡。