1. 支持向量机:机器学习中的数学之美
在深度学习大行其道的今天,支持向量机(SVM)依然以其优雅的数学形式和坚实的理论基础,在机器学习领域占据着独特地位。我第一次接触SVM时,就被它严密的数学推导所震撼——这不像神经网络那样像个"黑盒子",SVM的每个决策边界都有精确的数学解释。
提示:理解SVM需要一定的数学基础,特别是线性代数和优化理论。但别担心,我会用最直观的方式带你理解核心概念。
SVM的核心思想非常简单:找到一个最优的超平面,将不同类别的数据分开。但这个"最优"的定义非常巧妙——它指的是间隔(margin)最大的那个分界面。想象你在划分两个国家的边界,SVM会找到最"中立"的那条线,让两国都尽可能远离边界。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 最大间隔分类器
2.1 从感知机到SVM
感知机(Perceptron)是最简单的线性分类器,它只需要找到一个能分开数据的超平面。但这样的解通常不唯一——稍微旋转或平移超平面,可能仍然能正确分类所有训练样本。
SVM对此提出了一个更聪明的标准:不仅要能分开数据,还要让这个分界面距离两类数据都尽可能远。这就是最大间隔原则。
数学上,我们定义间隔为支持向量到超平面的最小距离。对于线性可分的情况,SVM的优化目标是:
maxw,b 2/||w||
s.t. yi(w^Txi + b) ≥ 1, ∀i
这个约束条件确保所有样本都被正确分类,并且距离超平面至少1/||w||的距离。
2.2 支持向量的重要性
有趣的是,最终决定分类超平面的只是少数几个样本点——这些被称为支持向量。它们就像"边界守卫",是距离分界面最近的样本点。其他远离分界面的样本点,即使删除也不会影响模型。
这种稀疏性(sparsity)是SVM的一大特点。在实际应用中,这意味着:
- 模型更高效:预测时只需要考虑支持向量
- 对噪声更鲁棒:远离边界的异常点不会影响模型
- 内存更友好:可以只存储支持向量而非全部训练数据
3. 对偶问题与优化
3.1 为什么要用对偶形式
原始问题直接优化w和b看似简单,但SVM通常转化为对偶问题来求解。这样做有几个重要原因:
- 对偶问题的变量数目等于样本数,当特征维度很高时更高效
- 自然地引入了核技巧(kernel trick)的可能性
- 更容易处理非线性
