双选择性融合Transformer优化高光谱图像分类

1. 项目概述：双选择性融合Transformer在高光谱图像分类中的应用

高光谱图像分类一直是遥感领域的重要研究方向。传统方法往往面临光谱信息冗余、空间特征提取不足等问题。这篇学习日记记录了我对"Dual Selective Fusion Transformer Network for Hyperspectral Image Classification"这篇论文的研读心得，重点解析了其中创新的双选择性融合机制如何提升分类性能。

2. 核心架构解析

2.1 Transformer在高光谱图像中的适应性改进

标准Transformer架构直接应用于高光谱图像会面临几个关键挑战：

1. 光谱波段间的高度相关性导致信息冗余
2. 空间分辨率有限使得局部特征提取困难
3. 计算复杂度随序列长度平方增长

论文提出的双选择性融合机制通过两个关键创新解决这些问题：

• 光谱选择性模块：动态筛选最具判别性的光谱波段
• 空间选择性模块：聚焦于最具区分度的空间区域

2.2 双选择性融合机制详解

光谱选择性模块采用通道注意力机制，其工作流程为：

1. 对输入光谱维度进行全局平均池化
2. 通过两层全连接网络生成通道权重
3. 使用sigmoid函数归一化权重
4. 对原始特征进行加权

空间选择性模块则采用类似Swin Transformer的窗口注意力机制，但在窗口划分时加入了可学习的偏移参数，使网络能够自适应地聚焦于重要区域。

3. 关键技术实现

3.1 网络整体架构

网络采用级联结构，主要包含：

1. 浅层特征提取层（3×3卷积）
2. 光谱选择性Transformer模块
3. 空间选择性Transformer模块
4. 特征融合与分类层

每个Transformer模块包含：

• 多头自注意力层（4头）
• 层归一化
• 前馈网络（扩展维度为4倍）
• 残差连接

3.2 选择性融合的实现细节

光谱选择性通过改进的SE模块实现：

python复制class SpectralSelector(nn.Module):
    def __init__(self, channel, reduction=16):
        super().__init__()
        self.avg_pool =