1. 线性分类算法概述
在机器学习领域,线性分类是最基础也是最重要的分类方法之一。作为一名从业多年的机器学习工程师,我经常需要向团队新人解释这两种经典算法的核心原理和实现细节。今天,我将从工程实践的角度,深入剖析逻辑回归和支持向量机(SVM)这两大算法。
线性分类器的核心思想是通过一个线性决策边界将不同类别的数据分开。在实际应用中,我们通常会遇到两类问题:二分类和多分类。逻辑回归和SVM都能很好地处理这些问题,但它们的数学原理和优化目标却大不相同。
提示:理解线性分类器的关键在于把握三个核心要素 - 决策函数、损失函数和优化方法。这也是本文的组织逻辑。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 逻辑回归深度解析
2.1 从线性回归到逻辑回归
很多人第一次听到"逻辑回归"这个名字时都会感到困惑 - 明明是分类算法,为什么叫"回归"?这要从它的发展历史说起。
逻辑回归的前身是线性回归,后者通过最小二乘法拟合数据点。线性回归的输出是连续的数值,公式为:
python复制y = θ₀ + θ₁x₁ + θ₂x₂ + ... + θₙxₙ
其中θ是模型参数,x是特征。但当我们用线性回归做分类时,会遇到两个主要问题:
- 输出范围不受限(-∞到+∞),而概率需要在[0,1]区间
- 对异常值敏感,可能导致预测概率超出合理范围
解决方案是引入sigmoid函数(也叫逻辑函数):
python复制σ(z) = 1 / (1 + e^{-z})
这个S型函数将任意实数映射到(0,1)区间,完美解决了概率输出的问题。当z=0时,σ(z)=0.5;z越大越接近1,z越小越接近0。
2.2 损失函数的选择与推导
逻辑回归使用对数损失函数(log loss),这个选择背后有着深刻的数学原理。让我们从概率角度来理解:
假设我们的预测概率为ŷ=P(y=1|x),那么样本属于其真实标签的概率可以表示为:
python复制P(y|x) = ŷ^y * (1-ŷ)^(1-y)
这个公式的巧妙之处在于它同时涵盖了y=1和y=0两种情况。为了找到最优参数θ,我们使用最大似然估计,即最大化所有样本的联合概率。
实际操作中,我们通常最小化负对数似然(因为对数函数单调递增,且将连乘转为求和):
python复制L(θ) = -Σ[y
