1. 项目背景与核心挑战
垃圾信息过滤是互联网时代的基础需求之一。根据最新统计,全球每天发送的垃圾邮件超过3000亿封,垃圾短信数量更是难以估量。我的毕业设计选择了这个既经典又具有现实意义的课题——构建一个高效的垃圾信息分类系统。
这个项目的核心在于处理两类典型场景:邮件和短信。虽然同属文本分类范畴,但二者存在显著差异。邮件通常包含更丰富的文本特征(主题、正文、附件等),而短信则受限于160字符长度,需要更精细的特征提取方法。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术方案选型与对比
2.1 特征工程实现
文本分类的首要挑战是特征表示。我对比了三种主流方案:
-
词袋模型(BoW):
- 实现简单,适合初步验证
- 使用sklearn的CountVectorizer
- 示例代码:
python复制from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer(max_features=5000) X = vectorizer.fit_transform(texts)
-
TF-IDF加权:
- 考虑词频和逆文档频率
- 能有效降低常见词的权重
- 参数调优重点:max_df/min_df
-
词嵌入(Word2Vec):
- 使用预训练的300维词向量
- 对短文本效果提升明显
- 需要处理OOV问题
实际测试发现,对短信分类任务,TF-IDF+Bigram的组合效果最佳,准确率达到89.2%
2.2 算法模型对比实验
我系统测试了五种经典算法:
| 算法 | 准确率 | 训练速度 | 可解释性 | 适合场景 |
|---|---|---|---|---|
| 朴素贝叶斯 | 86.5% | 最快 | 高 | 基线模型 |
| 逻辑回归 | 88.7% | 快 | 中 | 生产环境 |
| 随机森林 | 89.1% | 中等 | 中 | 特征交互强 |
| SVM | 90.3% | 慢 | 低 | 小样本 |
| LSTM |
