1. 为什么需要Transformer做图像分割?
在计算机视觉领域,语义分割任务一直由卷积神经网络(CNN)主导,典型的代表是FCN、U-Net、DeepLab等系列模型。但传统CNN存在三个根本性限制:
-
感受野局限:即使通过堆叠卷积层扩大感受野,实际有效感受野往往只有理论值的1/5。例如ResNet-50最后一层的理论感受野可达483x483像素,但实际测试中仅约100x100像素。这导致模型难以建立长距离依赖关系。
-
归纳偏置过强:CNN的局部性先验(locality)和平移等变性(translation equivariance)虽然对图像处理有利,但也限制了模型捕捉全局上下文的能力。例如分割建筑物时,屋顶和地基的关联需要跨越整个图像范围。
-
计算效率瓶颈:为获取多尺度特征,传统方法通常采用空洞卷积或金字塔池化,这些操作会显著增加计算量。以DeepLabv3+为例,其计算量是普通CNN的3-5倍。
Transformer的核心优势恰好对应这些痛点:
- 全局注意力机制:每个像素都能直接与全图任何位置交互,理论感受野等于图像尺寸
- 动态权重分配:通过自注意力动态计算区域间关联强度,避免CNN的固定卷积核限制
- 并行计算友好:相比CNN的序列化卷积操作,Transformer的矩阵运算更适配现代GPU架构
实测数据:在Cityscapes数据集上,传统CNN模型(如PSPNet)对超过300像素距离的像素关联捕捉准确率不足40%,而SETR等Transformer模型可达75%以上
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. SegFormer:轻量高效的层级式设计
2.1 整体架构解析
SegFormer采用典型的Encoder-Decoder结构,其创新点主要集中在Encoder部分:
code复制[输入图像]
↓
[重叠分块嵌入] → 将图像划分为4x4小块(比ViT的16x16保留更多细节)
↓
[层级Transformer] → 4个阶段分别输出1/4、1/8、1/16、1/32分辨率特征
↓
[轻量级MLP解码器] → 融合多尺度特征并上采样
↓
[分割结果]
2.2 关键技术创新点
混合分辨率特征提取:
- 阶段1(1/4分辨率):
