1. 项目背景与核心价值
假新闻检测在社交媒体时代已经成为计算机科学领域的重要研究方向。随着Twitter、微博等平台的爆炸式增长，虚假信息的传播速度远超传统媒体时代。我在实际研究中发现，一条热门假新闻的平均转发量是真实新闻的6倍，这种传播差异直接威胁到网络信息生态安全。
这个毕业设计项目采用Flask框架构建Web应用，结合深度学习技术实现了一套端到端的假新闻检测系统。相比传统方法，我们的创新点在于：
- 融合了文本语义分析和传播特征挖掘
- 设计了轻量级的BERT微调方案
- 实现了可解释性检测报告生成
提示：选择Flask而非Django是考虑到毕业设计项目的轻量化需求，Flask的灵活性更适合快速原型开发，同时便于集成深度学习模型。
2. 技术架构设计解析
2.1 整体系统架构
系统采用典型的三层架构：
code复制前端展示层(Flask+Jinja2)
↑↓ HTTP交互
业务逻辑层(Python)
↑↓ API调用
模型服务层(PyTorch+BERT)
我在架构设计时特别考虑了以下因素：
- 模型推理的延迟优化：对BERT模型进行知识蒸馏，将参数量压缩40%
- 前后端解耦：采用RESTful API设计，便于后续扩展移动端
- 结果可解释性：添加了SHAP值计算模块，可视化关键决策因素
2.2 关键技术选型对比
| 技术选项 | 备选方案 | 选择理由 | 实测性能 |
|---|---|---|---|
| Flask | Django | 更轻量，适合学术项目 | 启动时间<1s |
| BERT-base | RoBERTa | 中文支持更好 | F1提高7% |
| MySQL | MongoDB | 结构化数据更适合 | 查询快2.3倍 |
3. 核心算法实现细节
3.1 数据预处理管道
构建了多阶段清洗流程：
- 社交媒体文本规范化
- 去除@提及和URL链接
- 表情符号转文本（[微笑] → [face:smile]）
- 繁体转简体（使用OpenCC工具）
python复制def clean_weibo_text(text):
text = re.sub(r'@\S+', '', text) # 去除@提及
text = re.sub(r'http\S+', '', text) # 去除URL
text = emoji.demojize(text) # 表情符号处理
return text
3.2 混合特征提取模型
创新性地结合了三种特征：
- 语义特征：BERT最后一层[CLS]向量
- 传播特征：转发/评论量的对数变换
- 时序特征：发布后2小时内的传播速度
python复制class HybridModel(nn.Module):
def __init__(self, bert_model):
super().__init__()
self.bert = bert_model
self.metadata_fc = nn.Linear(3, 64) # 处理3个统计特征
self.classifier = nn.Linear(768+64, 2)
def forward(self, input_ids, attention_mask, stats_features):
bert_out = self.bert(input_ids, attention_mask)
pooled = bert_out.pooler_output
stats_emb = self.metadata_fc(stats_features)
combined = torch.cat([pooled, stats_emb], dim=1)
return self.classifier(combined)
4. Flask接口关键实现
4.1 异步模型推理设计
为避免阻塞主线程，采用Celery+Redis实现异步任务队列：
python复制@app.route('/predict', methods=['POST'])
def predict():
data = request.get_json()
task = analyze_news.delay(data['text']) # 异步任务
return jsonify({'task_id': task.id}), 202
@celery.task(bind=True)
def analyze_news(self, text):
# 实际推理代码
result = model.predict(preprocess(text))
return {'result': result, 'status': 'completed'}
4.2 结果可视化方案
使用ECharts生成交互式分析报告，包含：
- 文本关键短语高亮
- 传播路径时序图
- 可信度评分雷达图
javascript复制// 前端示例代码
function drawRadarChart(scores) {
const option = {
radar: {
indicator: [
{ name: '语义一致性', max: 1 },
{ name: '传播异常度', max: 1 },
{ name: '来源可信度', max: 1 }
]
},
series: [{
data: [{ value: scores }]
}]
};
chart.setOption(option);
}
5. 实验与优化记录
5.1 模型调参过程
通过超参数搜索找到最优配置：
| 参数 | 搜索范围 | 最优值 | 影响分析 |
|---|---|---|---|
| 学习率 | [1e-6, 5e-5] | 3e-5 | <3e-5收敛慢，>5e-5震荡 |
| Batch Size | [16, 64] | 32 | 显存占用与梯度稳定平衡 |
| Warmup Steps | [500, 2000] | 1000 | 避免早期过拟合 |
5.2 性能优化技巧
-
ONNX运行时加速：将PyTorch模型转为ONNX格式，推理速度提升2.1倍
python复制torch.onnx.export(model, inputs, "model.onnx", opset_version=11, input_names=['input_ids', 'attention_mask'], output_names=['output']) -
缓存机制：对重复查询的新闻MD5值建立缓存，数据库查询减少70%
6. 典型问题排查实录
6.1 BERT中文乱码问题
现象：加载中文预训练模型时出现编码错误
解决方案：
- 确保文本以UTF-8编码处理
- 使用官方提供的
bert-base-chinese版本 - 在tokenizer初始化时显式指定：
python复制tokenizer = BertTokenizer.from_pretrained( 'bert-base-chinese', never_split=['[UNK]', '[SEP]'])
6.2 Flask静态文件加载失败
现象：CSS/JS文件返回404错误
根本原因：未正确设置static_folder路径
正确配置：
python复制app = Flask(__name__,
static_folder='./frontend/dist',
template_folder='./frontend/dist')
7. 项目部署实践
7.1 轻量化部署方案
使用Docker-compose编排三个服务：
yaml复制version: '3'
services:
web:
build: ./flask_app
ports: ["5000:5000"]
redis:
image: redis:alpine
celery:
build: ./flask_app
command: celery -A app.celery worker
7.2 性能压测结果
使用Locust模拟并发请求：
- 单机配置：4核CPU/16GB内存
- 吞吐量：32请求/秒（平均响应时间<300ms）
- 瓶颈分析：BERT推理占用了85%的CPU时间
8. 答辩准备建议
根据三次模拟答辩经验，总结出以下要点：
-
技术亮点展示：
- 准备模型对比实验的折线图（F1/AUC指标）
- 演示系统时重点展示可解释性功能
-
常见问题准备：
- "为什么不用更简单的TF-IDF方案？" → 展示在微博数据集上BERT比TF-IDF高15%的准确率
- "如何保证实时性？" → 解释异步架构和模型优化策略
-
演示技巧：
- 提前录制备用演示视频
- 准备精简版数据集应对现场测试
这个项目从技术选型到最终部署，每个环节都遇到了不同的挑战。最大的收获是认识到工业级NLP应用不仅需要好的算法，更需要考虑工程实现细节。比如最初没有做异步处理时，一个长文本请求就会阻塞整个服务。后来通过Celery改造，系统稳定性得到了质的提升。