贝叶斯决策与EM算法：统计学习核心方法解析

1. 贝叶斯决策论基础与核心思想

贝叶斯决策论是统计决策理论的重要分支，它为我们提供了一套在不确定性条件下进行最优决策的数学框架。这套理论的核心在于将先验知识与观测数据相结合，通过概率计算来量化决策风险。

1.1 基本概念与数学表达

贝叶斯决策论建立在三个关键概率概念之上：

• 先验概率P(ω)：在观测数据前对各类别出现概率的初始认知
• 类条件概率密度p(x|ω)：在特定类别下观测到特征x的概率分布
• 后验概率P(ω|x)：观察到特征x后，样本属于各类别的修正概率

决策规则可表示为：
ω* = argmax P(ω|x) = argmax p(x|ω)P(ω)

这个看似简单的公式蕴含着深刻的统计思想：它告诉我们如何将先验知识与新观测证据有机结合，做出最优判断。

1.2 损失函数与风险最小化

在实际应用中，不同类型的错误决策可能带来不同的代价。为此我们引入损失函数λ(α|ω)，表示当真实类别为ω时采取决策α带来的损失。此时决策目标变为最小化期望风险：

R(α|x) = Σ λ(α|ω)P(ω|x)

特别地，当采用0-1损失函数时（正确决策损失为0，错误为1），贝叶斯决策退化为最大后验概率决策。

实际应用中，准确估计损失函数往往比估计概率分布更困难。在医疗诊断等场景中，误诊和漏诊的代价差异巨大，需要谨慎设定损失函数。

1.3 判别函数与决策边界

对于多类分类问题，我们为每个类别ω定义判别函数g(x)：
g_i(x) = p(x|ω_i)P(ω_i)

决策边界则是判别函数相等的点集：
g_i(x) = g_j(x)

这些边界将特征空间划分为不同的决策区域。在正态分布假设下，决策边界可能是线性或二次曲面，这解释了为什么贝叶斯分类器能产生复杂的非线性决策边界。

2. 极大似然估计原理与实现

极大似然估计(MLE)是参数估计最常用的方法之一，其核心思想非常直观：选择使观测数据出现概率最大的参数值。

2.1 似然函数构建

给定独立同分布样本D={x_1,...,x_n}，似然函数定义为：
L(θ;D) = Π p(x_i|θ)

对数似然函数通常更便于计算：
l(θ;D) = Σ log p(x_i|θ)

2.2 求解方法与示例

以正态分布为例，假设样本来自N(μ,σ^2)，其对数似然函数为：
l(μ,σ^2) = -n/2 log(2π) - n/2 log(σ^2) - 1/(2σ^2) Σ(x_i-μ)^2

对μ和σ^2分别求导并令导数为零，可得经典估计量：
μ̂ = (1/n)Σx_i
σ̂^2 = (1/n)Σ(x_i-μ̂)^2

2.3 实际应用中的注意事项

1. 样本量不足时MLE可能严重偏离真实值
2. 对于复杂模型，似然函数可能有多个局部极大值
3. 某些边界情况可能导致似然函数无界（如高斯混合模型中方差趋于零）
4. 可通过增加正则化项或使用贝叶斯方法来缓解过拟合

在文本分类中，当某个词在训练集的某类中未出现时，MLE会给出零概率估计，这显然不合理。这时需要采用平滑技术，这实际上引入了先验信息。

3. EM算法原理与推导

EM算法是处理含有隐变量概率模型参数估计的强大工具，特别适用于数据不完整或存在缺失值的情况。

3.1 算法框架与直观理解

EM算法通过迭代两步交替进行：
E步：基于当前参数θ^t，计算隐变量的期望
M步：最大化完全数据的对数似然期望

这种"猜测-修正"的过程逐步提高似然函数值，最终收敛到局部极大值。

3.2 数学推导与收敛性

对于隐变量模型，观测数据似然：
p(X|θ) = Σ p(X,Z|θ)

直接优化困难，转而优化下界：
Q(θ|θ^t) = E[log p(X,Z|θ)|X,θ^t]

可以证明每次迭代都使似然函数不减：
log p(X|θ^{t+1}) ≥ log p(X|θ^t)

3.3 高斯混合模型(GMM)示例

GMM的概率密度函数：
p(x) = Σ π_k N(x|μ_k,Σ_k)

EM算法在GMM中的应用：

1. E步：计算后验概率γ(z_nk)
   γ(z_nk) = π_k N(x_n|μ_k,Σ_k) / Σ π_j N(x_n|μ_j,Σ_j)

2. M步：更新参数
   N_k = Σ γ(z_nk)
   μ_k = (1/N_k) Σ γ(z_nk)x_n
   Σ_k = (1/N_k) Σ γ(z_nk)(x_n-μ_k)(x_n-μ_k)^T
   π_k = N_k/N

4. 三大方法的联系与比较

4.1 理论层面的关联

贝叶斯决策论提供了决策框架，MLE和EM都是参数估计方法。当采用MLE估计类条件概率时，二者自然结合。EM则可视为MLE的扩展，处理含有隐变量的情况。

4.2 应用场景对比

4.3 实际应用中的组合使用

在文本分类的典型流程中：

1. 用MLE或EM估计词频概率（类条件概率）
2. 统计各类文档频率作为先验概率
3. 应用贝叶斯决策规则进行分类

这种组合充分利用了各种方法的优势，在实践中表现优异。

5. 实现细节与优化技巧

5.1 数值稳定性处理

概率计算中常遇到极小数值，直接计算会导致下溢。实用技巧：

• 使用对数概率进行计算
• 在EM算法中引入下界调整
• 对高斯分布计算使用Cholesky分解

例如，计算后验概率时使用log-sum-exp技巧：
log p(x) = log Σ exp(log π_k + log N(x|μ_k,Σ_k))

5.2 初始化策略

EM算法对初始值敏感，好的初始化能：

• 加速收敛
• 避免陷入不良局部最优
• 提高最终解质量

常用初始化方法：

1. 使用k-means聚类中心作为高斯混合模型的初始均值
2. 随机选取数据点子集作为初始中心
3. 基于领域知识的特定初始化

5.3 收敛判断与停止准则

避免无谓迭代的实用准则：

1. 相对对数似然变化：Δl/l < ε
2. 参数变化量：||θ^{t+1}-θ^t|| < ε
3. 最大迭代次数限制
4. 验证集性能不再提升

实际应用中，建议同时监控多个指标，并保存中间结果。我曾遇到因ε设置过小导致额外数百次迭代却无实质改进的情况。

6. 常见问题与解决方案

6.1 奇异矩阵问题

在高斯混合模型中，当某个簇样本不足时，协方差矩阵可能变为奇异。解决方法：

1. 添加正则化项：Σ_k + εI
2. 约束为对角协方差矩阵
3. 使用更简单的分布假设

6.2 过拟合问题

特别是当模型复杂而数据不足时容易发生。对策包括：

1. 引入先验分布（转为贝叶斯估计）
2. 使用交叉验证选择模型复杂度
3. 添加模型复杂度惩罚项（如BIC）

6.3 类别不平衡处理

当各类别样本数差异巨大时，MLE倾向于偏向多数类。解决方案：

1. 在贝叶斯框架中调整先验
2. 对少数类样本加权
3. 采用分层抽样
4. 使用F1-score等不平衡指标评估

7. 进阶话题与扩展方向

7.1 在线EM算法

传统EM需要全部数据，在线版本允许数据流式到达：

1. 使用指数衰减的遗忘因子
2. 基于随机梯度的变体
3. 适用于大规模数据场景

7.2 变分贝叶斯方法

将EM中的点估计扩展为分布估计：

1. 近似计算后验分布
2. 自动确定模型复杂度
3. 避免过拟合

7.3 深度生成模型中的EM

现代深度生成模型（如VAE）可视为EM思想的延伸：

1. 编码器实现E步近似
2. 解码器参数通过M步优化
3. 结合神经网络强大的表示能力

在实际项目中，我通常会先尝试传统方法建立baseline，再根据问题特点逐步引入更复杂的模型。这种渐进式方法能有效控制风险，并帮助理解每个组件的实际贡献。