1. MDTA模块技术背景解析
在计算机视觉领域,图像恢复任务(如去噪、去模糊、去雨等)长期面临一个核心矛盾:如何同时有效建模长程依赖关系和保留局部细节特征。传统CNN方法通过堆叠卷积层扩大感受野,但这种方式存在两个固有缺陷:
- 感受野增长呈线性关系,需要极深网络才能覆盖大范围依赖
- 固定尺寸的卷积核难以自适应不同尺度的特征交互
以典型的图像去噪任务为例,当处理512×512像素的噪声图像时,一个3×3卷积核仅能覆盖约0.003%的图像面积。即使使用空洞卷积等技术,要实现全图范围的依赖建模仍需要数十层的网络深度。
Transformer架构通过自注意力机制理论上可以解决这个问题,其核心优势在于:
- 任意两个像素间可直接建立关联
- 注意力权重动态适应输入内容
但传统视觉Transformer在实现中存在三个关键问题:
- 空间自注意力计算复杂度随图像尺寸呈平方增长(O(N²))
- 对局部几何结构(如边缘、纹理)的建模能力较弱
- 通道间特征交互不足
MDTA模块的创新之处在于,它通过转置注意力机制将特征交互的维度从空间转移到通道,同时保留深度卷积对局部结构的建模能力。这种设计在NTIRE2025竞赛数据集上实现了29.64dB的PSNR,相比传统方法提升显著。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. MDTA核心架构详解
2.1 模块整体工作流程
MDTA模块的完整处理流程可分为五个关键阶段:
-
特征归一化:
- 使用LayerNorm对输入特征进行标准化
- 消除通道间的量纲差异
- 公式:X' = (X - μ)/σ * γ + β
-
查询-键-值投影:
- 通过1×1卷积将特征映射到QKV空间
- 保持通道数不变(dim→dim×3)
- 代码实现:
python复制self.qkv = nn.Conv2d(dim, dim*3, kernel_size=1)
-
深度卷积增强:
- 对QKV分别应用3×3深度卷积
- 组数设置为输入通道数(groups=dim×3)
- 关键参数:
- 卷积核:3×3
- 步长:1
- 填充:1(保持分辨率)
-
转置注意力计算
