线性判别分析(LDA)原理与推导详解

1. 线性判别分析（LDA）核心原理与推导

线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的监督学习算法，主要用于分类和降维任务。其核心思想是通过线性投影，将高维数据映射到低维空间，同时最大化类间距离和最小化类内距离。

1.1 基本概念与数学表示

给定二分类数据集D={(x_i, y_i)}，其中y_i∈{0,1}，定义以下关键统计量：

• X_i：第i类样本集合
• μ_i：第i类样本均值向量
• Σ_i：第i类样本协方差矩阵

当我们将数据投影到直线w上时，会产生以下关键投影结果：

1. 类中心投影：w^Tμ_0和w^Tμ_1
2. 类内离散度：w^TΣ_0w和w^TΣ_1w

1.2 协方差与散度矩阵详解

协方差矩阵是LDA分析中的核心概念，它量化了数据各维度间的相关性：

单属性方差计算：
Var(A_j) = 1/(m_i-1) * Σ(x∈X_i)(A_j(x)-μ_i,j)^2

两属性协方差计算：
Cov(A_j,A_k) = 1/(m_i-1) * Σ(x∈X_i)(A_j(x)-μ_i,j)(A_k(x)-μ_i,k)

完整协方差矩阵：
Σ_i = 1/(m_i-1) * Σ(x∈X_i)(x-μ_i)(x-μ_i)^T

实际应用中，当样本量m_i较小时，分母使用m_i-1（无偏估计）；大样本时可简化为m_i

1.3 优化目标构建

LDA的目标是找到投影方向w，使得：

1. 类间散度最大化：||w^Tμ_0 - w^Tμ_1||²
2. 类内散度最小化：w^TΣ_0w + w^TΣ_1w

通过结合这两个目标，得到广义瑞利商：
J = (w^TS_b w)/(w^TS_w w)

其中：

• 类间散度矩阵：S_b = (μ_0-μ_1)(μ_0-μ_1)^T
• 类内散度矩阵：S_w = Σ_0 + Σ_1

2. LDA求解过程详解

2.1 问题转化与约束处理

观察到J对w的尺度不变性（即kw与w产生相同的J值），我们可以添加约束条件：
w^T S_w w = 1

此时优化问题转化为：
max w^T S_b w
s.t. w^T S_w w = 1

2.2 拉格朗日乘子法应用

构建拉格朗