1. 贝叶斯分类器家族全解析
贝叶斯分类器这个大家族里,最出名的当属"朴素贝叶斯"(Naive Bayes)。它之所以被称为"朴素",是因为做了一个非常大胆的假设:所有特征之间相互独立。这个假设在现实中几乎不可能完全成立,但神奇的是,这种"天真"的算法在实际应用中却表现出色。
1.1 朴素贝叶斯的三大变种
根据特征数据类型的不同,朴素贝叶斯主要分为三种实现方式:
高斯朴素贝叶斯(Gaussian Naive Bayes):
- 适用场景:特征是连续数值且符合正态分布
- 典型应用:身高体重预测、温度变化分析
- 核心公式:P(x_i|y) = (1/√(2πσ_y²)) * exp(-(x_i-μ_y)²/(2σ_y²))
- 实际案例:预测用户信用评分时,收入、年龄等连续变量就适合用高斯分布建模
多项式朴素贝叶斯(Multinomial Naive Bayes):
- 适用场景:离散型计数特征
- 典型应用:文本分类(如垃圾邮件识别)
- 核心特点:使用词频作为特征权重
- 实战技巧:通常会结合TF-IDF进行特征加权
- 示例:在新闻分类中,"体育"类文档中"比赛"一词的出现次数可能明显高于"财经"类
伯努利朴素贝叶斯(Bernoulli Naive Bayes):
- 适用场景:二元特征(存在/不存在)
- 典型应用:短文本分类、用户行为分析
- 核心区别:只关心特征是否出现,不关心出现次数
- 实际案例:判断推文是否包含敏感词时,只需要知道某个词是否出现,不需要统计出现次数
重要提示:选择哪种变种不是靠猜测,而是要通过数据分析确定特征分布。一个简单的方法是绘制特征的直方图或Q-Q图,观察其分布形态。
1.2 进阶版贝叶斯分类器
当数据特征之间存在明显相关性时,可以考虑更复杂的贝叶斯模型:
贝叶斯网络(Bayesian Network):
- 核心优势:用有向无环图表示特征间的依赖关系
- 典型结构:节点表示变量,边表示依赖关系
- 应用场景:医疗诊断(症状与疾病间的复杂关系)
- 实现难点:需要领域知识确定网络结构,或使用结构学习算法
- 计算复杂度:随网络复杂度指数级增长
TAN分类器(Tree-Augmented Naive Bayes):
- 设计思路:在朴素贝叶斯
