1. 残差网络（ResNet）的核心思想
第一次看到ResNet这个名词时，我脑海中浮现的问题是：为什么在深度神经网络已经取得不错效果的情况下，还需要引入"残差"这个概念？2015年，何恺明团队提出的ResNet在ImageNet竞赛中一举夺魁，其核心创新点就在于解决了深度神经网络训练中的退化问题（degradation problem）。
想象你正在建造一座高楼。传统神经网络就像是用砖块一层层往上垒，当楼盖得越高（网络越深），底层的微小误差会被逐层放大，最终可能导致整个建筑不稳定。而ResNet则像是给每层楼都加装了电梯（残差连接），允许信息直接跨越若干楼层传输，这样即使上层出现问题，底层的信息也能完好无损地传递上去。
2. 残差块的结构解析
2.1 传统网络结构的局限性
在传统的前馈神经网络中，每个层都在学习一个完整的变换H(x)。当网络深度增加时，理论上模型应该能够学习到更复杂的特征表示。但实践中我们发现：
- 梯度消失/爆炸问题：虽然通过BatchNorm和精心设计的初始化可以缓解
- 退化问题：深度增加时，训练误差不降反升
关键发现：深层网络不应该比其浅层版本表现更差，因为至少可以通过将新增层学习为恒等映射（identity mapping）来保持相同性能。
2.2 残差学习的基本原理
ResNet的核心创新是提出了残差块（Residual Block）。其数学表达非常简洁：
code复制输出 = F(x) + x
其中：
- x是输入
- F(x)是待学习的残差函数
- "+"操作代表逐元素相加
这种结构的神奇之处在于：
- 当F(x)=0时，输出就是输入x（恒等映射）
- 网络只需要学习相对于输入的微小变化（残差）
- 反向传播时，梯度可以直接通过跨层连接回传
2.3 残差块的两种形式
根据输入输出维度是否匹配，残差块有两种实现方式：
-
恒等映射型（Identity Shortcut）：
- 当输入输出维度相同时，直接使用x
- 实现代码示例（PyTorch）：
python复制class BasicBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(out_channels) if stride != 1 or in_channels != out_channels: self.shortcut = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride), nn.BatchNorm2d(out_channels) ) else: self.shortcut = nn.Identity() def forward(self, x): out = F.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) return F.relu(out)
-
投影型（Projection Shortcut）：
- 当维度不匹配时，使用1x1卷积调整维度
- 通常在需要下采样的第一个残差块中使用
3. ResNet的网络架构
3.1 整体架构设计
标准的ResNet（如ResNet-34）由以下几个部分组成：
-
初始卷积层：
- 7x7卷积，stride=2
- 输出通道64
- 接BatchNorm和ReLU
- 3x3最大池化，stride=2
-
残差阶段（共4个阶段）：
- 每个阶段由多个残差块组成
- 阶段间通过第一个残差块的stride=2实现下采样
- 通道数逐阶段翻倍：64→128→256→512
-
分类头：
- 全局平均池化
- 全连接层输出分类结果
3.2 不同深度的ResNet变体
| 模型名称 | 层数 | 残差块类型 | 参数量(M) |
|---|---|---|---|
| ResNet-18 | 18 | BasicBlock | 11.7 |
| ResNet-34 | 34 | BasicBlock | 21.8 |
| ResNet-50 | 50 | Bottleneck | 25.6 |
| ResNet-101 | 101 | Bottleneck | 44.5 |
| ResNet-152 | 152 | Bottleneck | 60.2 |
其中Bottleneck块是为了在更深网络中减少计算量而设计的：
python复制class Bottleneck(nn.Module):
def __init__(self, in_channels, out_channels, stride=1):
super().__init__()
mid_channels = out_channels // 4
self.conv1 = nn.Conv2d(in_channels, mid_channels, kernel_size=1)
self.bn1 = nn.BatchNorm2d(mid_channels)
self.conv2 = nn.Conv2d(mid_channels, mid_channels, kernel_size=3, stride=stride, padding=1)
self.bn2 = nn.BatchNorm2d(mid_channels)
self.conv3 = nn.Conv2d(mid_channels, out_channels, kernel_size=1)
self.bn3 = nn.BatchNorm2d(out_channels)
if stride != 1 or in_channels != out_channels:
self.shortcut = nn.Sequential(
nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride),
nn.BatchNorm2d(out_channels)
)
else:
self.shortcut = nn.Identity()
def forward(self, x):
out = F.relu(self.bn1(self.conv1(x)))
out = F.relu(self.bn2(self.conv2(out)))
out = self.bn3(self.conv3(out))
out += self.shortcut(x)
return F.relu(out)
4. ResNet的训练技巧
4.1 初始化策略
ResNet对初始化相对鲁棒，但仍推荐使用以下方法：
- 卷积层：Kaiming正态初始化
- BatchNorm层：γ=1，β=0
- 最后一层全连接：较小权重（如0.01）
4.2 学习率调度
典型的学习率调整策略：
- 初始学习率0.1
- 在30%、60%、80%训练进度时除以10
- 使用带动量的SGD优化器（momentum=0.9）
- 权重衰减（weight decay）设为1e-4
4.3 数据增强
对于图像任务：
- 随机裁剪（224x224 from 256x256）
- 水平翻转
- 颜色抖动（Color jittering）
- PCA颜色增强
5. ResNet的变体与改进
5.1 ResNeXt
引入"基数"（cardinality）概念，使用分组卷积：
- 保持计算量不变的情况下增加路径数量
- 公式：F(x) = Σ_i^C T_i(x)，其中C是基数
5.2 Wide ResNet
增加每层的通道数（width），减少深度：
- 通常宽度因子k=2~10
- 训练更快，有时性能更好
5.3 Res2Net
在单个残差块内构建分层次的多尺度特征：
- 将3x3卷积替换为一组分组卷积
- 逐步增加感受野
6. 实际应用中的注意事项
-
梯度流动：
- 残差连接确保梯度可以直接回传
- 但仍需注意初始化，避免早期层梯度过小
-
特征重用：
- 浅层特征通过跨层连接直接传递到深层
- 网络可以同时利用低层和高层特征
-
计算效率：
- Bottleneck结构大幅减少参数量
- 实际计算时，shortcut分支可以与其他计算并行
-
部署优化：
- 残差加法操作可以融合到前一个卷积中
- 许多推理框架会自动进行这种优化
7. 常见问题解答
Q：ResNet是否可以无限加深？
A：理论上可以，但实践中超过1000层后收益递减。目前主流应用多在50-200层之间。
Q：残差连接一定要是恒等映射吗？
A：不一定。后来的研究（如ResNeXt）表明，只要跨层连接保持"干净"的信息通路即可。
Q：为什么我的ResNet训练不稳定？
A：检查以下几点：
- BatchNorm是否正确应用（训练/测试模式）
- 残差分支最后的激活函数位置（应在相加之后）
- 学习率是否过大
Q：ResNet能否用于非视觉任务？
A：完全可以。残差结构已成功应用于NLP（如Transformer）、语音识别等领域。
8. 个人实践心得
在复现ResNet时，我踩过几个值得分享的坑：
-
shortcut连接的实现：
- 早期版本忘记处理stride≠1时的维度匹配
- 解决方案：统一使用1x1卷积处理维度变化
-
BatchNorm的使用：
- 最初在shortcut分支也加了BN，导致训练震荡
- 按论文实现，shortcut分支只在需要投影时使用BN
-
学习率设置：
- 小批量数据上学习率需要相应调小
- 经验公式：lr = base_lr * batch_size / 256
一个实用的训练技巧：在第一个epoch使用线性学习率warmup（从0逐渐增加到初始学习率），可以显著提升稳定性。