图像分类基础：线性分类器原理与应用详解

1. 图像分类问题与线性分类器概述

计算机视觉中最基础也最重要的任务之一就是图像分类——给定一张输入图像，我们需要从固定的类别集合中为其分配一个最合适的标签。想象一下，当你浏览手机相册时，系统能自动将照片分类为"人物"、"风景"、"宠物"等，这种便利性正是图像分类技术的典型应用。

在CS231N课程的第二讲中，我们告别了简单直观但效率低下的k近邻(kNN)算法，转而引入更强大的线性分类器。与kNN需要存储所有训练数据不同，线性分类器通过从原始像素到类别得分的参数化映射，实现了"学习-丢弃-快速预测"的高效流程。这种转变就像从记忆所有数学例题的解法，进步到掌握通用公式的应用——前者笨重但直观，后者高效却抽象。

线性分类器的核心数学表达是一个简单的矩阵乘法：
[ f(x_i, W, b) = W x_i + b ]
其中，( x_i )是将图像像素展平后的列向量(如CIFAR-10中的3072维向量)，( W )是权重矩阵(10×3072)，( b )是偏置向量。这个公式的神奇之处在于，通过调整( W )和( b )，我们可以让系统自动学习到区分不同类别的决策边界。

2. 线性分类器的三种理解视角

2.1 代数视角：高维空间中的线性决策

将图像视为高维空间中的点(如CIFAR-10的3072维空间)，每个类别的得分就是这个空间中的线性函数。权重矩阵( W )的每一行对应一个类别的分类器，决定了决策超平面的方向和位置。偏置项( b )则允许这些超平面不必经过坐标原点。

这种视角下，分类问题转化为在高维空间中寻找一组最优超平面，使得同类样本尽可能位于对应超平面的正侧，而异类样本位于负侧。虽然我们无法直观想象3072维空间，但可以将其投影到二维理解：就像用直线将平面划分成不同区域。

2.2 几何视角：模板匹配

将( W )的每一行视为该类别的"原型模板"，分类过程就是计算输入图像与各个模板的相似度(通过内积实现)。有趣的是，这些模板是通过学习得到的，不一定是任何具体的训练图像。例如在CIFAR-10中，"船"类的模板会呈现大量蓝色像素，而"汽车"模板可能呈现红色主导——这反映了数据集中红色汽车较多的统计特性。

这种解释揭示了线性分类器与最近邻算法的内在联系：两者都在比较输入与参考模式的相似性，