1. 项目概述:当Mamba遇上图像恢复
去年横空出世的Mamba架构凭借其线性复杂度优势,在长序列建模领域掀起了替代Transformer的浪潮。但当我们尝试将这种擅长处理1D序列的模型直接套用到2D图像恢复任务时,就像让一位擅长整理绳子的专家去修补一张破网——虽然都能处理"连续结构",却忽略了图像特有的局部关联和空间连续性。这正是CVPR 2025论文《MaIR》要解决的核心矛盾。
作为专注底层视觉任务的研究者,我在实际项目中多次遇到传统CNN感受野有限、Transformer计算量爆炸的困境。当第一次看到Mamba的selective scan机制时,就意识到它可能是平衡效率和性能的新突破口。但直接将NLP领域的序列处理方法移植到图像领域,会导致两个典型问题:
- 将图像按行列展开为独立序列时,割裂了像素间的局部关联(比如一个边缘可能被拆分到不同序列)
- 不同展开方式(横向vs纵向)得到的序列间缺乏协同机制
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心创新解析
2.1 NSS扫描策略:给Mamba装上"空间感知镜"
传统Mamba处理图像时简单粗暴的展开方式,就像用碎纸机处理照片后再尝试拼接。MaIR提出的Nested S-shaped Scanning(NSS)策略则像精心设计的拼图方法,其创新点体现在两个维度:
条纹扫描区域设计(空间局部性保持)
- 将图像划分为重叠的条纹块(如16x16像素)
- 每个块内部采用蛇形扫描路径(S形往返)
- 通过实验确定的20%重叠率,在计算成本和连续性间取得平衡
python复制# 伪代码示例:条纹块生成
def generate_stripes(image, patch_size=16, overlap=0.2):
stride = int(patch_size * (1 - overlap))
patches = []
for y in range(0, image.height, stride):
for x in range(0, image.width, stride):
patch = image[y:y+patch_size, x:x+patch_size]
patches.append(s_scan
