1. 项目概述
MNIST手写数字识别是计算机视觉领域的经典入门项目,相当于图像识别界的"Hello World"。这个项目之所以经久不衰,是因为它完美平衡了复杂度和实用性——数据集足够简单到可以在普通电脑上运行,又足够复杂到能体现不同算法的性能差异。
我在实际教学中发现,很多初学者对全连接网络(FCN)和卷积神经网络(CNN)的区别理解不深。常见的问题是:"既然全连接网络也能达到90%以上的准确率,为什么还要用更复杂的CNN?"这正是本次对比实验要解答的核心问题。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 实验设计与实现
2.1 双轨并行方案设计
为了全面对比两种网络结构的性能,我采用了"双轨并行"的实验方案:
方案一:从零实现的三层全连接网络
- 完全手动实现前向传播、反向传播和梯度下降
- 网络结构:输入层(784) → 隐藏层1(512) → 隐藏层2(256) → 输出层(10)
- 激活函数:ReLU
- 学习率:0.001
- 批次大小:32
这个方案的特别之处在于,我没有使用任何深度学习框架,而是用纯Python和NumPy实现了所有核心算法。这样做虽然效率较低,但能让我们真正理解神经网络的工作原理。
提示:手动实现反向传播时,建议先在小规模数据上验证梯度计算的正确性。我常用的技巧是使用数值梯度检验法,比较解析梯度与数值梯度的差异。
方案二:基于PyTorch的改进CNN
- 网络结构:
- 3个卷积块(每块包含Conv2D→BN→ReLU×2→MaxPool→Dropout)
- 3个全连接层
- 优化技术:
- 批归一化(BN)
- Dropout(卷积层0.25,全连接层0.5)
- 学习率动态调整
- 数据增强(随机旋转±10度,平移±10%)
- 学习率:0.001
- 批次大小:128
这个设计参考了VGG网络的思路,采用小卷积核(3×3)和深层结构。我在每个卷积层后都加入了批归一化,这大大加快了训练收敛速度。
2.2 数据预处理对比
两种方案的数据处理有明显差异:
| 处理步骤 | 全连接网络方案 | CNN方案 |
|---|---|---|
| 归一化 |
