Scifi-gamer1. 深度学习入门：从全连接神经网络到CNN的跃迁
第一次接触深度学习时，我被那些复杂的数学公式和网络结构搞得晕头转向。直到真正动手实现了一个全连接网络，才突然明白：原来深度学习就像搭积木，关键在于理解每块积木的作用和连接方式。全连接神经网络（Fully Connected Neural Network）和卷积神经网络（CNN）是深度学习中最基础也最重要的两种架构，它们分别对应着不同的数据处理方式和应用场景。
全连接网络是深度学习世界的"Hello World"，它的每个神经元都与下一层的所有神经元相连，这种结构简单粗暴但计算量大。而CNN则像是一个精明的观察者，通过局部感受野和权值共享机制，特别擅长处理图像这类具有空间关联性的数据。在计算机视觉领域，CNN的表现几乎碾压了传统算法，从人脸识别到医学影像分析，处处都有它的身影。
提示：建议先掌握全连接网络的基础原理再学习CNN，因为CNN中的全连接层、激活函数等概念都继承自前者。就像学数学要先会加减乘除再学微积分一样，打好基础很重要。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 全连接神经网络：深度学习的基石
2.1 网络结构与前向传播
全连接神经网络的结构可以用"层状三明治"来形容。以经典的MNIST手写数字识别为例，一个基础的三层网络包含：
- 输入层（784个神经元，对应28×28像素的图像展平）
- 隐藏层（通常128-512个神经元）
- 输出层（10个神经元，对应0-9的数字分类）
前向传播的数学本质就是一连串的矩阵乘法和非线性变换。具体计算公式为：
code复制h = σ(W·x + b)
其中W是权重矩阵，x是输入向量，b是偏置项，σ是激活函数（如ReLU）。这个公式在每一层重复执行，直到得到最终输出。
我在第一次实现时犯了个典型错误：没有对输入数据进行归一化（将像素值从0-255缩放到0-1），导致训练时梯度爆炸。后来发现，数据预处理在深度学习中至关重要，常见做法包括：
- 归一化：将特征缩放到相近范围
- 标准化：(x - μ)/σ 使数据符合标准正态分布
- 处理缺失值：填充或删除
2.2 激活函数：网络的非线性引擎
没有激活函数的神经网络就只是一堆线性变换的叠加，无法拟合复杂函数。常用的激活函数有：
| 函数类型 | 公式 | 特点 | 适用场景 |
|---|---|---|---|
| Sigmoid | 1/(1+e^-x) | 输出0-1，易梯度消失 | 二分类输出层 |
| Tanh | (e^x - e^-x)/(e^x + e^-x) | 输出-1到1 | 隐藏层（比sigmoid好） |
| ReLU | max(0,x) | 计算简单，解决梯度消失 | 最常用的隐藏层激活 |
| LeakyReLU | max(0.01x,x) | 解决"神经元死亡"问题 | 替代ReLU |
注意：输出层的激活函数选择取决于任务类型——分类用softmax，回归用线性或sigmoid。
2.3 反向传播与参数优化
反向传播算法是神经网络训练的魔法所在。它通过链式法则计算损失函数对每个参数的梯度，然后使用优化器更新权重。最常见的优化器是Adam，它结合了动量法和自适应学习率：
python复制# PyTorch中的优化器定义
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
学习率的选择很关键，我的经验是：
- 太大：损失震荡不收敛
- 太小：训练速度慢
- 建议：从3e-4开始尝试，配合学习率调度器
3. 卷积神经网络：图像处理的革命者
3.1 CNN的核心思想
CNN的三大核心思想使其特别适合图像处理：
- 局部感受野：每个神经元只连接输入区域的局部窗口
- 权值共享：同一卷积核在不同位置使用相同参数
- 空间下采样：通过池化层逐步降低分辨率
这种设计大幅减少了参数数量。以处理100×100 RGB图像为例：
- 全连接网络第一层参数：100×100×3 × 隐藏层大小（假设1000）= 3千万
- CNN第一层（16个3×3卷积核）：3×3×3 × 16 = 432
3.2 典型CNN架构解析
LeNet-5是最早的实用CNN架构，其结构至今仍有参考价值：
- 输入层（32×32灰度图）
- 卷积层C1（6个5×5卷积核 → 6@28×28）
- 池化层S2（平均池化2×2 → 6@14×14）
- 卷积层C3（16个5×5卷积核 → 16@10×10）
- 池化层S4（平均池化2×2 → 16@5×5）
- 全连接层（120 → 84 → 10输出）
现代CNN如ResNet增加了：
- 批量归一化（BatchNorm）
- 残差连接（Skip Connection）
- 更深的网络结构
3.3 卷积操作的实现细节
卷积核的通道数必须与输入通道数匹配。对于RGB图像：
- 单个卷积核应该是3×3×3（高×宽×通道）
- 输出特征图数量等于卷积核数量
PyTorch中的卷积层定义：
python复制# 输入通道3，输出通道16，卷积核3x3，步长1，padding1保持尺寸
conv = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1)
Padding的两种常见模式：
- 'valid'：不填充，输出尺寸减小
- 'same'：填充使输出尺寸与输入相同
4. 实战中的经验与技巧
4.1 数据增强：小数据集的救星
当训练数据不足时，数据增强可以显著提升模型泛化能力。对于图像任务，常用增强包括：
- 几何变换：旋转（±15°）、平移（±10%）、缩放（0.9-1.1倍）
- 颜色变换：亮度（±0.1）、对比度（0.9-1.1）、饱和度
- 特殊操作：随机裁剪、水平翻转、添加噪声
python复制# PyTorch中的典型数据增强
transform = transforms.Compose([
transforms.RandomRotation(15),
transforms.RandomHorizontalFlip(),
transforms.ColorJitter(brightness=0.1, contrast=0.1, saturation=0.1),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
4.2 超参数调优策略
经过多次项目实践，我总结出以下调参流程：
- 先固定其他参数，调整学习率（常用范围：1e-5到1e-3）
- 然后调整batch size（通常32-256，显存允许下越大越好）
- 接着调整网络深度和宽度（从简单开始逐步增加复杂度）
- 最后尝试不同的优化器和正则化方法
重要技巧：使用学习率热身（Warmup）可以稳定训练初期，特别是在使用大batch size时。
4.3 常见问题排查指南
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 损失不下降 | 学习率太小/网络太浅 | 增大学习率/加深网络 |
| 损失NaN | 学习率太大/数据未归一化 | 减小学习率/检查数据预处理 |
| 训练集准确高测试集低 | 过拟合 | 增加Dropout/数据增强/L2正则 |
| 梯度爆炸 | 网络太深/初始化不当 | 梯度裁剪/改用残差结构 |
5. 从理论到实践：手写数字识别完整案例
5.1 使用PyTorch实现全连接网络
python复制import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
# 定义网络结构
class FCNet(nn.Module):
def __init__(self):
super(FCNet, self).__init__()
self.fc1 = nn.Linear(784, 512)
self.fc2 = nn.Linear(512, 256)
self.fc3 = nn.Linear(256, 10)
self.dropout = nn.Dropout(0.2)
def forward(self, x):
x = x.view(-1, 784) # 展平图像
x = torch.relu(self.fc1(x))
x = self.dropout(x)
x = torch.relu(self.fc2(x))
x = self.dropout(x)
x = self.fc3(x)
return x
# 训练循环
def train(model, device, train_loader, optimizer, epoch):
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
data, target = data.to(device), target.to(device)
optimizer.zero_grad()
output = model(data)
loss = nn.CrossEntropyLoss()(output, target)
loss.backward()
optimizer.step()
5.2 CNN实现与性能对比
python复制class CNN(nn.Module):
def __init__(self):
super(CNN, self).__init__()
self.conv1 = nn.Conv2d(1, 32, 3, 1)
self.conv2 = nn.Conv2d(32, 64, 3, 1)
self.dropout = nn.Dropout(0.25)
self.fc1 = nn.Linear(9216, 128)
self.fc2 = nn.Linear(128, 10)
def forward(self, x):
x = torch.relu(self.conv1(x))
x = torch.relu(self.conv2(x))
x = torch.max_pool2d(x, 2)
x = self.dropout(x)
x = torch.flatten(x, 1)
x = torch.relu(self.fc1(x))
x = self.dropout(x)
x = self.fc2(x)
return x
在我的测试中，两个模型在MNIST上的表现：
- 全连接网络：测试准确率约97.5%，训练时间短
- CNN：测试准确率约99.2%，训练时间稍长但参数更少
这个差距在更复杂的图像数据集上会更加明显，这也是为什么CNN成为计算机视觉事实上的标准架构。