1. ResNet深度解析:从残差学习到网络架构设计
ResNet(Residual Neural Network)作为深度学习发展史上的里程碑式架构,彻底改变了我们对深度神经网络训练能力的认知。2015年由微软研究院提出的这一架构,在ImageNet竞赛中以3.57%的错误率首次超越人类水平(约5%的错误率),其核心创新在于解决了深度神经网络训练中的梯度消失/爆炸问题。
1.1 残差学习的基本原理
传统深度神经网络在反向传播时,梯度需要逐层传递,随着网络深度增加会出现梯度指数级衰减或增长的现象。ResNet创新性地引入"捷径连接"(Shortcut Connection)机制,构建残差块(Residual Block),使网络能够学习输入与输出之间的残差(F(x)-x)而非直接映射(F(x))。
数学表达上,传统网络层输出为:
code复制y = F(x)
而残差块的输出为:
code复制y = F(x) + x
这种设计带来三个关键优势:
- 梯度可以直接通过恒等映射路径回传,缓解梯度消失
- 网络可以自动选择忽略不必要的层(将F(x)学习为0)
- 特征复用性提高,深层网络能保留浅层特征信息
1.2 典型ResNet架构对比
ResNet家族包含多个变体,主要区别在于层数和残差块设计:
| 模型 | 层数 | 残差块类型 | 参数量(M) | ImageNet Top-1 Acc |
|---|---|---|---|---|
| ResNet-18 | 18 | BasicBlock | 11.7 | 69.8% |
| ResNet-34 | 34 | BasicBlock | 21.8 | 73.3% |
| ResNet-50 | 50 | Bottleneck | 25.6 | 76.2% |
| ResNet-101 | 101 | Bottleneck | 44.5 | 77.4% |
