Panda Brick1. 高斯混合模型基础解析
1.1 从单高斯到混合高斯
在概率统计领域，高斯分布（又称正态分布）是最基础也最重要的分布之一。单高斯分布的概率密度函数可以表示为：
f(x) = \frac{1}{\sigma \sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}
这个看似简单的公式蕴含着丰富的信息：μ决定了分布的中心位置，σ控制了分布的离散程度。在实际应用中，我们经常会遇到数据呈现多峰分布的情况。比如在分析人群身高时，男性和女性的身高分布会形成两个明显的高峰。
这就是高斯混合模型（GMM）的用武之地。GMM通过将多个高斯分布线性组合，能够灵活地拟合各种复杂的数据分布。其数学表达式为：
p(x|θ) = ∑_{k=1}^K π_k N(x|μ_k,Σ_k)
其中K表示混合的高斯分量数量，π_k是第k个分量的混合系数（满足∑π_k=1），μ_k和Σ_k分别是该分量的均值和协方差矩阵。
在实际应用中，选择合适的K值至关重要。K太小会导致模型欠拟合，无法捕捉数据的真实结构；K太大则可能导致过拟合，增加计算复杂度。
1.2 GMM的参数意义与物理解释
每个参数在GMM中都有明确的物理意义：
- 混合系数π_k：表示第k个高斯分量在整个模型中的权重，可以理解为该分量生成数据的先验概率
- 均值μ_k：决定该高斯分量中心点的位置
- 协方差Σ_k：控制该分量的形状和方向
以电商用户行为分析为例：
- 可能有3个分量分别对应"浏览型"、"购买型"和"收藏型"用户
- π_k可以表示各类用户在总体中的比例
- μ_k可以表示每类用户的典型行为特征
- Σ_k则反映了每类用户行为的变异程度
1.3 似然函数与参数估计挑战
给定数据集X={x_1,...,x_N}，GMM的似然函数为：
L(θ) = ∏{i=1}^N ∑^K π_k N(x_i|μ_k,Σ_k)
取对数后得到对数似然函数：
log L(θ) = ∑{i=1}^N log(∑^K π_k N(x_i|μ_k,Σ_k))
这个形式带来了三个主要问题：
- log内部有sum运算，导致导数复杂
- 参数间相互耦合，难以直接优化
- 目标函数非凸，存在多个局部极值
正是这些挑战促使了EM算法