1. 最近邻分类器基础概念
最近邻分类器(Nearest Neighbor Classifier)是机器学习中最简单直观的非参数分类算法之一。它的核心思想可以用一句老话来概括——"物以类聚"。想象你在超市里看到一个不认识的水果,如果它长得像苹果,闻起来像苹果,摸起来也像苹果,那你大概率会认为它就是苹果。这就是最近邻分类器的工作原理。
算法的工作流程异常简单:
- 存储所有训练样本及其标签(这被称为"记忆"阶段)
- 对新样本,计算它与所有训练样本的距离
- 找出距离最近的训练样本(即"最近邻")
- 将新样本分类为该最近邻的类别
这种方法的优势在于:
- 不需要复杂的模型训练过程
- 可以适应任何形状的决策边界
- 理论上有证明当训练样本足够多时,错误率不会超过最优分类器的两倍
但它的缺点同样明显:
- 需要存储全部训练数据,内存消耗大
- 预测时需要计算新样本与所有训练样本的距离,计算成本高
- 对噪声和异常值敏感
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. K近邻算法详解
2.1 从1-NN到K-NN的演进
基础的最近邻分类器实际上是K-NN在K=1时的特例。1-NN最大的问题是它对噪声过于敏感——就像班级里投票时只听取一个人的意见,这个人如果恰好是个"怪人",整个决策就会被带偏。
K-NN算法对此做了改进:
- 同样存储所有训练样本
- 对新样本,找出K个最近的训练样本(而不仅是一个)
- 让这K个邻居投票决定新样本的类别(多数表决)
K值的选择至关重要:
- K太小(如K=1):模型复杂度过高,容易过拟合,对噪声敏感
- K太大:模型过于简单,可能欠拟合,忽略数据中的有用信息
2.2 距离度量的选择
K-NN的核心是距离计算,常用的距离度量包括:
-
欧氏距离(L2距离):
code复制d(x,y) = √Σ(x_i - y_i)²最直观的距离概念,适用于各维度同等重要的场景
-
曼哈顿距离(L1距离):
code复制d(x,y) = Σ|x_i - y_i|对异常值比欧氏距离更鲁棒,适用于稀疏特征
-
余弦相似度:
code复制cos(θ) = (x·y)/(||x||·||y||)衡量方向相似性而非绝对距离,适用于文本等高频维度
