1. 支持向量机核心原理剖析
支持向量机(Support Vector Machine, SVM)是一种基于统计学习理论的监督学习算法,其核心思想是通过寻找最优超平面来实现分类或回归任务。与神经网络不同,SVM直接构建决策边界而不需要复杂的网络结构。
1.1 线性可分情况下的最优超平面
对于线性可分数据集,SVM的目标是找到一个分离超平面,使得两类样本到该超平面的最小距离(即间隔)最大化。这个最优超平面可以表示为:
code复制w·x + b = 0
其中w是法向量,b是位移项。支持向量是距离超平面最近的样本点,它们决定了超平面的位置。间隔的计算公式为:
code复制间隔 = 2/||w||
因此,最大化间隔等价于最小化||w||。这导出了SVM的基本优化问题:
code复制min 1/2 ||w||²
s.t. y_i(w·x_i + b) ≥ 1, ∀i
1.2 非线性情况与核技巧
当数据线性不可分时,SVM通过核函数将原始特征空间映射到高维空间。常用的核函数包括:
- 线性核:K(x_i, x_j) = x_i·x_j
- 多项式核:K(x_i, x_j) = (γx_i·x_j + r)^d
- RBF核(高斯核):K(x_i, x_j) = exp(-γ||x_i - x_j||²)
- Sigmoid核:K(x_i, x_j) = tanh(γx_i·x_j + r)
其中RBF核是最常用的选择,它只有一个参数γ需要调节,且能处理复杂的非线性关系。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. SVM模型构建实战
2.1 数据准备与预处理
以scikit-learn中的乳腺癌数据集为例:
python复制from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
data = load_breast_cancer()
X = data.data
y = data.target
# 数据标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = sca
