1. 项目概述
这个项目实现了一个基于贝叶斯算法的评论分类系统。作为一名长期从事NLP开发的工程师，我发现贝叶斯分类器在文本分类任务中有着独特的优势——它计算高效、实现简单，特别适合处理短文本分类问题。在实际应用中，我们经常需要对用户评论进行自动分类，比如区分正面/负面评价，或者按主题归类。这个项目就是针对这类需求的一个完整实现方案。
贝叶斯分类的核心思想是通过计算词语在不同类别中出现的概率，来判断新文本最可能属于哪个类别。相比深度学习模型，它的优势在于不需要大量训练数据，在小样本场景下表现优异。我在电商平台的评论分析项目中多次使用这个方法，效果稳定可靠。
2. 核心原理与技术选型
2.1 贝叶斯定理基础
贝叶斯分类器的数学基础是贝叶斯定理：
P(A|B) = P(B|A) * P(A) / P(B)
在文本分类场景中，可以理解为：
P(类别|文本) = P(文本|类别) * P(类别) / P(文本)
其中：
- P(类别)是先验概率，即训练集中各类别出现的频率
- P(文本|类别)是似然概率，表示某类文本中出现当前文本的概率
- P(类别|文本)是我们要求的后验概率
实际操作中，我们会假设文本中的词语相互独立（朴素贝叶斯假设），这样可以将文本概率拆解为词语概率的乘积。
2.2 多项式与伯努利模型选择
贝叶斯文本分类主要有两种实现方式：
-
多项式模型(MultinomialNB)：
- 考虑词语出现频率
- 适合处理长文本或词语重复出现的情况
- 计算时使用词频作为特征值
-
伯努利模型(BernoulliNB)：
- 只考虑词语是否出现(0/1)
- 适合短文本分类
- 对否定词处理更好
经过对比测试，对于评论这类短文本，我选择了伯努利模型，因为：
- 评论通常较短，词语重复少
- 否定词(如"不推荐")对情感判断很重要
- 计算效率更高
2.3 特征工程处理
文本分类的效果很大程度上取决于特征处理。本项目采用了以下关键步骤：
-
分词处理：
- 中文使用jieba分词
- 英文使用NLTK的word_tokenize
- 保留标点符号（对情感分析很重要）
-
停用词过滤：
- 使用扩展的停用词表
- 但保留情感词(如"好","差")
-
词干提取(英文)：
- 使用Porter Stemmer
- 如"running"→"run"
-
特征选择：
- 使用TF-IDF筛选关键特征
- 保留top 5000个特征词
3. 系统实现细节
3.1 数据准备与清洗
我收集了约10万条电商评论作为训练数据，包含：
- 正面评价：6万条
- 负面评价：4万条
数据清洗步骤：
python复制def clean_text(text):
# 去除特殊字符
text = re.sub(r'[^\w\s]', '', text)
# 统一小写
text = text.lower()
# 去除数字
text = re.sub(r'\d+', '', text)
return text
注意：清洗时要保留情感词和否定词，如"不喜欢"中的"不"不能去掉
3.2 模型训练代码
使用scikit-learn实现的核心代码：
python复制from sklearn.naive_bayes import BernoulliNB
from sklearn.feature_extraction.text import TfidfVectorizer
# 特征提取
vectorizer = TfidfVectorizer(
max_features=5000,
stop_words=stop_words,
tokenizer=tokenizer
)
X_train = vectorizer.fit_transform(train_texts)
# 模型训练
model = BernoulliNB(alpha=1.0)
model.fit(X_train, train_labels)
关键参数说明：
- alpha: 平滑参数，防止零概率问题
- fit_prior: 是否考虑类别先验概率
- binarize: 二值化阈值
3.3 预测与评估
预测新评论：
python复制def predict(text):
cleaned = clean_text(text)
vec = vectorizer.transform([cleaned])
return model.predict(vec)[0]
评估指标：
python复制from sklearn.metrics import classification_report
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
典型评估结果：
code复制 precision recall f1-score support
0 0.89 0.91 0.90 4000
1 0.93 0.92 0.93 6000
accuracy 0.92 10000
macro avg 0.91 0.91 0.91 10000
weighted avg 0.92 0.92 0.92 10000
4. 性能优化技巧
4.1 处理数据不平衡
评论数据通常不平衡（正面多于负面），解决方法：
- 调整类别权重：
python复制model = BernoulliNB(class_prior=[0.4, 0.6])
- 过采样少数类：
python复制from imblearn.over_sampling import RandomOverSampler
ros = RandomOverSampler()
X_res, y_res = ros.fit_resample(X_train, y_train)
4.2 提升特征质量
- 添加n-gram特征：
python复制vectorizer = TfidfVectorizer(ngram_range=(1,2))
- 使用自定义词典：
python复制jieba.load_userdict("my_dict.txt")
- 加入情感词典：
python复制positive_words = load_words("pos_words.txt")
vectorizer.vocabulary_.update({w:1 for w in positive_words})
4.3 模型融合
结合多个模型提升效果：
python复制from sklearn.ensemble import VotingClassifier
ensemble = VotingClassifier(
estimators=[
('nb', BernoulliNB()),
('svm', LinearSVC()),
('lr', LogisticRegression())
],
voting='soft'
)
5. 常见问题与解决方案
5.1 预测结果不稳定
可能原因：
- 训练数据不足
- 特征过于稀疏
解决方案：
- 增加训练数据量
- 调整alpha平滑参数
- 减少特征维度
5.2 否定词处理不当
例如将"不好"误判为正面。
解决方法：
- 添加否定词规则：
python复制def handle_negation(text):
words = text.split()
for i, w in enumerate(words):
if w in NEGATION_WORDS and i+1 < len(words):
words[i+1] = "NOT_" + words[i+1]
return " ".join(words)
5.3 新词识别问题
对于未登录词(OOV)处理不佳。
解决方案：
- 定期更新词典
- 使用字符级n-gram：
python复制vectorizer = TfidfVectorizer(analyzer='char', ngram_range=(3,5))
6. 实际应用案例
6.1 电商评论分类
部署在电商平台的效果：
- 每日处理100万+评论
- 准确率92%，召回率90%
- 节省人工审核成本70%
6.2 社交媒体舆情监测
应用于微博数据：
- 实时分类情感倾向
- 识别热点话题
- 异常情绪预警
6.3 客户服务工单分类
自动将客服工单分到不同部门：
- 技术问题 → 技术部
- 支付问题 → 财务部
- 物流问题 → 物流部
分类准确率达到88%，大幅提升处理效率。
7. 部署与性能优化
7.1 生产环境部署
使用Flask构建API服务：
python复制from flask import Flask, request
app = Flask(__name__)
@app.route('/predict', methods=['POST'])
def predict():
text = request.json['text']
# 预测逻辑
return {'label': pred}
if __name__ == '__main__':
app.run(host='0.0.0.0', port=5000)
7.2 性能优化技巧
- 特征哈希：
python复制from sklearn.feature_extraction.text import HashingVectorizer
vectorizer = HashingVectorizer(n_features=2**18)
- 模型量化：
python复制import joblib
joblib.dump(model, 'model.joblib', compress=3)
- 批量预测：
python复制def batch_predict(texts):
vecs = vectorizer.transform(texts)
return model.predict(vecs)
7.3 监控与迭代
建立监控系统跟踪：
- 每日准确率变化
- 预测延迟
- 新词出现频率
每月更新一次模型，保持效果稳定。