S2MVP框架：多视图原型学习在红外小目标检测中的应用

1. 项目概述

在计算机视觉领域，红外小目标检测（Infrared Small Target Detection, ISTD）一直是个颇具挑战性的课题。这类目标通常只占据几个像素，却广泛存在于遥感监测、军事侦察等关键应用场景中。传统方法往往需要大量标注数据来训练模型，但为低质量红外视频逐帧标注不仅耗时费力，还存在严重的样本冗余问题。

我们团队最新发表在TGRS 2025的工作提出了一种创新解决方案——S2MVP框架。这个框架巧妙地将多视图原型学习与运动重建技术相结合，在保持检测精度的同时，将标注需求降低到传统方法的1/5。实测表明，在空军某型红外预警系统测试集上，我们的方法在虚警率降低23%的情况下，召回率仍提升了8.7个百分点。

2. 核心设计思路

2.1 多视图原型学习机制

传统目标检测模型通常使用单一特征空间，而S2MVP创新性地构建了三个互补的特征视图：

1. 表观视图：通过改进的ResNet-18提取，重点关注目标的纹理和亮度特征
2. 运动视图：采用3D卷积网络捕捉目标在时序上的运动轨迹
3. 上下文视图：使用Transformer结构建模目标与背景的全局关系

关键设计：三个视图共享底层特征提取器，但在高层通过注意力机制动态融合。这种设计既保证了特征多样性，又避免了参数爆炸。

原型学习的具体实现采用动态记忆库机制。对于每个类别（目标/背景），我们维护一组可学习的原型向量。在训练过程中，这些原型会通过以下方式更新：

python复制# 原型更新公式
new_prototype = momentum * old_prototype + (1-momentum) * batch_feature

其中动量系数momentum设置为0.99，确保原型更新的稳定性。

2.2 运动重建模块

这是框架的第二大创新点。我们设计了一个基于ConvLSTM的编解码器结构，其核心思想是：

1. 输入连续5帧图像
2. 编码器提取时空特征
3. 解码器预测第6帧的目标位置
4. 通过重建误差作为自监督信号

这种设计带来了两个显著优势：

• 充分利用了未标注数据的时序信息
• 运动特征与表观特征形成互补，提升对小目标的辨别力

3. 半监督训练策略

3.1 混合监督信号设