双选择性融合Transformer在高光谱图像分类中的应用

1. 项目概述

今天要分享的是一个在遥感图像处理领域相当硬核的技术方案——基于双选择性融合Transformer网络的高光谱图像分类（Dual Selective Fusion Transformer Network for Hyperspectral Image Classification）。这个方案本质上是在解决高光谱图像分类任务中的几个关键痛点：如何有效利用光谱和空间双重信息，如何处理高维数据中的冗余特征，以及如何提升小样本场景下的分类精度。

高光谱图像与传统RGB图像最大的区别在于其包含数百个连续的光谱波段，每个像素点都携带着丰富的光谱特征。这种"图谱合一"的特性使得高光谱在精准农业、矿物勘探、环境监测等领域有着不可替代的优势。但与此同时，高维度带来的"维度灾难"、波段间的高度相关性以及标记样本获取成本高昂等问题，也让分类任务变得极具挑战性。

2. 核心架构解析

2.1 双选择性融合机制

这个网络最精妙的设计在于其双选择性融合（Dual Selective Fusion）机制，它包含两个关键组件：

1. 光谱选择性模块
   采用通道注意力机制动态评估各波段的重要性。具体实现上，先通过全局平均池化获取每个通道的统计描述，然后经过两层全连接层生成权重向量。与常规SE模块不同的是，这里额外加入了波段相关性矩阵作为先验知识，防止过度抑制物理意义明确的重要波段。

2. 空间选择性模块
   基于改进的空间注意力网络，特别针对高光谱图像中常见的非均匀光照问题进行了优化。模块会生成一个空间权重图，突出信息丰富的区域（如地物边缘、纹理复杂的区域），同时抑制云层阴影等干扰区域。

这两个模块的输出会通过门控机制进行自适应融合，门控系数由当前输入特征动态生成。实测发现，这种设计在农田地块分类任务中，对消除作物阴影影响特别有效。

2.2 Transformer架构适配

传统Vision Transformer直接处理高光谱图像会遇到几个问题：

• 计算复杂度随波段数平方增长
• 空间信息利用不充分
• 对小样本过拟合

本方案的改进包括：

1. 光谱维度Token化
   将连续波段划分为若干组，每组通过1D卷积生成光谱Token，大幅减少Token数量。例如对224波段的图像，采用16波段的滑