1. 论文背景与核心贡献
CVPR 2025的这篇ACL论文确实给图像恢复领域带来了新思路。当前这个领域存在一个明显的矛盾:一方面需要大感受野来捕捉全局信息,另一方面又受限于计算资源不能无限制堆叠参数。过去几年主流方案各有局限:
- CNN擅长局部建模但长距离依赖弱
- Transformer全局建模强但计算复杂度高
- Mamba试图平衡二者但存在维度适配问题
作者敏锐地发现,Mamba的核心问题不在于其高效框架,而在于其为一维序列设计的扫描机制。图像本质是二维结构,强行用一维扫描方式处理会导致三个问题:
- 空间关系表达不自然
- 多方向扫描补丁使结构复杂化
- 递归计算仍影响效率
关键突破点:将Mamba中的状态空间模块(SSM)替换为线性注意力(Linear Attention),同时保留Mamba的高效框架结构
这种替换带来了几个优势:
- 更自然的二维空间关系建模
- 保持计算效率的同时提升表达能力
- 与多尺度空洞卷积(MDC)形成互补
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型架构详解
2.1 整体框架设计
ACL采用经典的编码器-解码器结构,包含三个关键设计:
- 多尺度特征提取:通过下采样逐步扩大感受野
- 跳跃连接:保留浅层细节信息
- 渐进式重建:从低分辨率到高分辨率逐步恢复
具体数据流如下:
code复制输入图像 → Stem卷积 →
[编码器1(LAMA×3 + MDC)] → 下采样 →
[编码器2(LAMA×3 + MDC)] → 下采样 →
[编码器3(LAMA×3)] → Bottleneck →
[解码器3(LAMA×3)] → 上采样 →
[解码器2(LAMA×3 + Skip + MDC)] → 上采样 →
[解码器1(LAMA×3 + Skip + MDC)] → 重建头
2.2 LAMA模块解析
LAMA(LA-based Mamba Module)是模型的核心创新,其结构包含:
-
残差分支:
- 线性变换 + SiLU激活
- 生成特征调制门控信号
-
主分支:
- 线性投影 + 深度可分离卷积
- 线性注意力计算
- 输出变换
-
特征融合:
- 主分支输出与门控信号
