璐寶1. 贝叶斯决策论：从概率视角看机器学习分类问题
贝叶斯决策论是统计模式识别中的核心理论框架，它为我们提供了一种基于概率的分类决策方法。想象你是一名医生，面对一位患者的检查报告，你需要判断他是否患有某种疾病。贝叶斯决策论就是帮你做出这种决策的数学工具。
1.1 基本概念与公式推导
贝叶斯决策论的核心是贝叶斯公式：
P(ω_j|x) = [P(x|ω_j)P(ω_j)] / P(x)
其中：
- ω_j 表示第j类
- x 是特征向量
- P(ω_j|x) 是后验概率（在观察到x后，属于ω_j类的概率）
- P(x|ω_j) 是类条件概率（在ω_j类中观察到x的概率）
- P(ω_j) 是先验概率（ω_j类出现的概率）
- P(x) 是证据因子（在所有类中观察到x的概率）
在实际应用中，我们通常忽略P(x)，因为它对所有类别都是相同的。因此，决策规则简化为选择使P(x|ω_j)P(ω_j)最大的类别。
1.2 最小错误率与最小风险决策
贝叶斯决策论有两种主要形式：
-
最小错误率分类器：
选择使后验概率P(ω_j|x)最大的类别，这样可以最小化分类错误率。 -
最小风险分类器：
引入损失函数λ(α_i|ω_j)，表示当真实类别为ω_j时采取决策α_i的代价。选择使条件风险R(α_i|x)=Σ_j λ(α_i|ω_j)P(ω_j|x)最小的决策。
提示：在实际应用中，当不同类别的错误分类代价不同时（如医疗诊断中假阴性和假阳性的代价不同），最小风险分类器更为适用。
1.3 贝叶斯决策论的实际应用挑战
虽然贝叶斯决策论提供了最优的决策框架，但在实际应用中面临几个主要挑战：
- 如何获取准确的先验概率P(ω_j)？
- 如何估计类条件概率P(x|ω_j)？
- 当特征维度很高时，如何有效计算这些概率？
这些问题引出了我们接下来要讨论的参数估计方法——极大似然估计。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 极大似然估计：从数据中学习概率分布参数
极大似然估计(Maximum Likelihood Estimation, MLE)是统计学中最常用的参数估计方法之一。它的基本思想很简单：选择使观察到的数据最有可能出现的参数值。
2.1 基本原理与数学表达
给定独立同分布(i.i.d.)的样本集D={x_1, x_2, ..., x_n}，假设它们来自某个参数为θ的概率分布，则似然函数定义为：
L(θ;D) = P(D|θ) = ∏_{i=1}^n P(x_i|θ)
极大似然估计就是找到使L(θ;D)最大的θ值：
θ_MLE = argmax_θ L(θ;D)
由于连乘可能导致数值下溢，我们通常使用对数似然函数：
ℓ(θ;D) = log L(θ;D) = Σ_{i=1}^n log P(x_i|θ)
2.2 常见分布的MLE示例
2.2.1 伯努利分布
对于伯努利分布P(x=1)=θ, P(x=0)=1-θ，其MLE为：
θ_MLE = (Σx_i)/n
即样本中"1"出现的比例。
2.2.2 高斯分布
对于一维高斯分布N(μ,σ²)，其MLE为：
μ_MLE = (1/n)Σx_i
σ²_MLE = (1/n)Σ(x_i - μ_MLE)²
2.3 MLE的优缺点分析
优点：
- 直观且易于理解
- 在大样本下具有良好性质（一致性、渐近正态性）
- 计算通常相对简单
缺点：
- 可能过拟合，特别是样本量较小时
- 对模型假设敏感（如果模型假设错误，估计会偏差）
- 当存在隐变量时，直接MLE可能难以计算
3. EM算法：处理含有隐变量的参数估计问题
期望最大化(Expectation-Maximization, EM)算法是解决含有隐变量(latent variables)的参数估计问题的强大工具。它在许多机器学习模型中都有应用，如高斯混合模型、隐马尔可夫模型等。
3.1 EM算法的基本思想
EM算法用于解决这样的问题：我们想用MLE估计模型参数，但数据中存在未观察到的隐变量。算法通过迭代以下两步来求解：
- E步(Expectation)：基于当前参数估计，计算隐变量的期望
- M步(Maximization)：基于E步的结果，最大化完整数据的对数似然
3.2 EM算法的数学推导
设观测数据为X，隐变量为Z，参数为θ。我们想最大化观测数据的对数似然：
ℓ(θ;X) = log P(X|θ) = log ∫ P(X,Z|θ)dZ
由于直接优化这个边际似然困难，EM算法通过优化下界来间接优化它：
Q(θ|θ^(t)) = E_{Z|X,θ^(t)}[log P(X,Z|θ)]
算法迭代进行：
- E步：计算Q(θ|θ^(t))
- M步：θ^(t+1) = argmax_θ Q(θ|θ^(t))
3.3 EM算法的收敛性
EM算法的一个重要性质是它保证每次迭代都不会降低对数似然：
ℓ(θ^(t+1);X) ≥ ℓ(θ^(t);X)
这是因为EM算法实际上是在最大化对数似然的下界。然而，它可能收敛到局部极大值而非全局极大值。
3.4 EM算法在高斯混合模型中的应用
高斯混合模型(GMM)是EM算法的经典应用场景。一个GMM可以表示为：
P(x) = Σ_{k=1}^K π_k N(x|μ_k,Σ_k)
其中π_k是混合系数，N(x|μ_k,Σ_k)是第k个高斯分量。
E步：计算每个数据点属于每个分量的后验概率（责任值）
γ(z_nk) = π_k N(x_n|μ_k,Σ_k) / Σ_j π_j N(x_n|μ_j,Σ_j)
M步：基于责任值更新参数
μ_k = (1/N_k)Σ_n γ(z_nk)x_n
Σ_k = (1/N_k)Σ_n γ(z_nk)(x_n-μ_k)(x_n-μ_k)^T
π_k = N_k/N
其中N_k = Σ_n γ(z_nk)
注意：在实际实现中，为了防止数值不稳定，通常会对协方差矩阵添加小的正则化项。
4. 三种方法的联系与比较
4.1 理论联系
这三种方法构成了统计机器学习的重要基础：
- 贝叶斯决策论提供了最优分类的理论框架
- 极大似然估计提供了参数估计的基本方法
- EM算法扩展了MLE，使其能处理含有隐变量的情况
它们之间的关系可以表示为：贝叶斯决策论需要概率模型→概率模型需要参数估计→当存在隐变量时，参数估计需要EM算法。
4.2 实际应用中的选择
在实际项目中如何选择这些方法：
- 完全监督学习：当所有变量都可观测且标记数据充足时，直接使用MLE
- 半监督/无监督学习：当存在隐变量或缺失数据时，使用EM算法
- 决策阶段：使用贝叶斯决策论进行分类决策
4.3 性能与复杂度比较
| 方法 | 计算复杂度 | 适用场景 | 主要限制 |
|---|---|---|---|
| 贝叶斯决策论 | 低 | 分类决策 | 需要准确概率估计 |
| 极大似然估计 | 中 | 参数估计 | 需要完整观测数据 |
| EM算法 | 高 | 含隐变量估计 | 可能收敛到局部最优 |
5. 实战建议与常见问题
5.1 实现EM算法的实用技巧
-
初始化策略：
- 对GMM，可以使用k-means聚类结果初始化
- 多次随机初始化以避免局部最优
- 可以使用层次聚类等方法获得更好的初始值
-
收敛判断：
- 设置对数似然变化的阈值
- 设置最大迭代次数
- 监控参数变化幅度
-
数值稳定性：
- 使用对数概率避免数值下溢
- 对协方差矩阵添加正则化项
- 实现时使用稳定的数学库
5.2 常见问题与解决方案
问题1：EM算法收敛慢
- 解决方案：尝试更好的初始化，或使用加速EM算法变种
问题2：协方差矩阵奇异
- 解决方案：添加小的对角矩阵λI，或使用对角协方差矩阵
问题3：如何选择混合分量数K
- 解决方案：使用交叉验证或信息准则（BIC/AIC）
问题4：MLE过拟合
- 解决方案：使用正则化或贝叶斯方法（如MAP估计）
5.3 实际项目中的经验分享
-
特征缩放很重要：特别是对于基于距离的模型如GMM，不同尺度的特征会导致问题
-
维度诅咒：高维数据下，高斯分布的大部分概率质量集中在薄壳上，可能导致模型失效
-
可视化是关键：在低维空间可视化EM算法的中间结果，有助于理解算法行为
-
并行化：E步的计算可以很容易地并行化，这对大规模数据集很重要
-
模型检查：定期检查学习到的参数是否合理（如协方差矩阵的条件数）