红外小目标检测技术：Mamba架构的创新与实践

1. 红外小目标检测的技术挑战与现状

红外小目标检测（Infrared Small Target Detection, ISTD）是计算机视觉领域一个极具挑战性的研究方向，主要应用于军事侦察、遥感监测、安防监控等关键场景。这类任务的核心难点在于目标通常只占据几个到几十个像素，在复杂的红外背景干扰下，目标的视觉特征极其微弱。

当前主流方法主要面临三大技术瓶颈：

1. 局部特征与全局上下文的平衡问题：传统CNN架构虽然擅长提取局部特征，但受限于感受野大小，难以建模长距离依赖关系。而红外图像中的背景干扰（如云层边缘、热源噪声）往往与小目标具有相似的局部特征，仅依靠局部信息极易导致误检。

2. 计算复杂度与实时性的矛盾：Transformer类方法虽然能捕捉全局上下文，但其自注意力机制的计算复杂度与图像尺寸呈二次方关系。对于2048×2048的高分辨率红外图像（军用级传感器的常见输出），即使是经过优化的ViT模型也难以满足实时处理需求。

3. 内存占用与部署成本的限制：现有SOTA方法如TCI-Former在512×512分辨率下尚可运行，但当分辨率提升到2048×2048时，GPU内存占用会呈指数级增长，这在机载设备等资源受限场景中完全不可行。

2. MiM-ISTD的架构创新解析

2.1 嵌套式Mamba设计原理

MiM-ISTD的核心创新在于提出了"视觉句子-视觉单词"的双层级特征表示框架：

• 视觉句子（Visual Sentences）：将输入图像划分为16×16的大补丁（如2048×2048图像被划分为128×128个补丁），每个补丁作为基本的处理单元。外层Mamba块负责在这些大补丁之间建立全局关联，相当于构建了整个图像的"语义地图"。

• 视觉单词（Visual Words）：每个16×16的大补丁进一步划分为4×4的小补丁（即每个视觉句子包含16个视觉单词）。内层Mamba块专门处理这些小补丁间的局部关系，其关键设计在于：

  • 所有视觉单词共享同一套Mamba参数
  • 采用分组处理策略，同一视觉句子内的单词并行处理
  • 通过线性投影将单词特征聚合回句子级表示

这种设计使得模型在保持线性计算复杂度的同时，实现了CNN和Transformer的优势互补。实测表明，与直