1. 感知机基础概念解析
感知机(Perceptron)是机器学习领域最基础的线性分类模型之一,由Frank Rosenblatt在1957年提出。这个看似简单的模型却奠定了神经网络的基础框架,理解它的运作原理对掌握现代深度学习至关重要。
感知机的核心功能是二分类:给定一组特征向量,它能判断样本属于A类还是B类。比如判断邮件是否为垃圾邮件、识别图片中是否包含猫等。其数学表达式为:
code复制f(x) = sign(w·x + b)
其中w是权重向量,x是输入特征,b是偏置项,sign是符号函数(输出+1或-1)。这个简单的公式背后蕴含着机器学习最核心的思想——通过调整参数来最小化分类错误。
我第一次接触感知机时,曾被它的"简单性"迷惑。直到亲手推导训练过程,才真正理解权重更新的精妙之处。下面我们就从最基础的手算开始,逐步拆解这个经典算法。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 手算实现感知机训练
2.1 准备示例数据集
我们用一个极简的二维数据集演示,这样可以直观地在平面上展示分类过程。假设有以下4个样本点(第一列为特征x₁,第二列为x₂,第三列为标签y):
| x₁ | x₂ | y |
|---|---|---|
| 3 | 3 | 1 |
| 4 | 3 | 1 |
| 1 | 1 | -1 |
| 2 | 1 | -1 |
将这些点绘制在坐标系中,可以清晰地看到正负样本线性可分。我们的目标是找到一条直线(决策边界)完美分隔两类数据。
2.2 初始化模型参数
感知机训练需要初始化两个参数:
- 权重向量w:通常初始化为0或小随机数。这里设w=[0, 0]
- 偏置b:标量,同样初始化为0
此时决策边界方程为:
code复制0*x₁ + 0*x₂ + 0 = 0
即整个平面都被判定为负类,显然是个极差的初始状态。
2.3 单步训练过程拆解
采用感知机的原始形式进行训练(假设学习率η=1):
第一轮迭代 - 样本1(3,3,1):
- 计算当前输出:w·x + b = 03 + 03 + 0 = 0
- 预测结果:sign(0) = 1 (与真实标签一致,不更新参数)
样本2(4,3,1):
- w·x + b = 04 + 03 + 0 = 0
- sign(0) = 1 (正确,不更新)
样本3(1,1,-1):
- w·x + b = 01 + 01 + 0 = 0
- sign(0) = 1 ≠ -1 (预测错误)
- 参数更新:
- w = w + ηyx = [0,0] + 1*(-1)*[1,1] = [-1,-1]
- b = b + ηy = 0 + 1(-1) = -1
更新后的决策边界变为:
code复制-1*x₁ -1*x₂ -1 = 0
即 x₁ + x₂ + 1 = 0
样本4(2,1,-1):
- w·x + b = -12 + -11 + -1 = -4
- sign(-4) =
