1. 支持向量机(SVM)理论基础解析
支持向量机(Support Vector Machine,SVM)作为机器学习领域的经典算法,以其优秀的泛化能力和数学美感著称。本章将深入剖析SVM的核心理论,从间隔最大化原理到对偶问题转化,再到核技巧的应用,为读者构建完整的知识体系。
1.1 间隔与支持向量:SVM的几何基础
1.1.1 最大间隔分类器的直观理解
在样本空间中,存在无数个能够将两类样本分开的线性超平面。然而,不同超平面的泛化性能存在显著差异。SVM的核心思想是寻找那个能够最大化分类间隔的超平面——即位于两类样本"正中间"的划分边界。
这个选择背后有着深刻的统计学习理论支撑:最大化间隔等价于最小化VC维,从而提升模型的泛化能力。在实际应用中,这意味着即使测试数据出现轻微扰动,最大间隔分类器仍能保持较好的分类效果。
1.1.2 关键数学概念定义
线性超平面的数学表示:
在d维样本空间中,超平面可表示为:
wᵀx + b = 0
其中:
- w = (w₁, w₂, ..., w_d)ᵀ 是法向量,决定超平面方向
- b 是位移项,控制超平面位置
- x = (x₁, x₂, ..., x_d)ᵀ 是样本特征向量
支持向量的定义:
支持向量是距离超平面最近的样本点,它们决定了超平面的最终位置。数学上,支持向量满足:
wᵀx_i + b = ±1
其中+1对应正类支持向量,-1对应负类支持向量。
1.2 点到超平面距离的详细推导
理解样本点到超平面的距离计算是掌握SVM的关键。这个距离公式的推导基于向量投影原理:
- 在超平面上任取一点x₀,满足wᵀx₀ + b = 0
- 构造向量x - x₀
- 计算该向量在法向量w方向上的投影长度:
r = |wᵀ(x - x₀)| / ||w|| - 利用wᵀx₀ = -b的性质,最终得到距离公式:
r = |wᵀx + b| / ||w||
这个推导过程中有几个关键细节需要注意:
- 分子取绝对值保证距离非负
- 分母||w||起到归一化作用,消除法向量长度的影响
- 支持向量到超平面的距离恰好是1/||w||
1.3 间隔最大化与优化问题构建
SVM的目标是最大化分类间隔,而间隔定义为两类支持向量到超平面
