高光谱图像分类中的轻量化模型与知识蒸馏技术

1. 项目背景与核心价值

高光谱图像分类一直是遥感领域的核心技术难题。传统深度学习方法虽然精度较高，但模型参数量和计算复杂度往往难以满足资源受限场景的需求。我在实际项目中发现，许多农业无人机和微型卫星设备由于硬件限制，根本无法部署标准的ResNet等网络模型。

这个项目通过知识蒸馏技术，将ResNet18教师模型的知识迁移到轻量化学生网络中。实测表明，改进后的学生模型在Indian Pines数据集上仅用30%训练样本就达到了90%+的准确率，而参数量减少了63%。这种方案特别适合需要实时处理的边缘计算场景。

2. 技术架构解析

2.1 教师模型设计要点

教师模型采用标准ResNet18架构，但在输入层做了关键调整：

python复制class TeacherNet(nn.Module):
    def __init__(self, input_channels=30):
        super().__init__()
        self.conv1 = nn.Conv2d(input_channels, 32, kernel_size=3, stride=1, padding=1)
        # 后续为标准ResNet18结构...

注意：高光谱数据通常有上百个波段，直接输入会导致第一卷积层参数量爆炸。我们先用PCA降维到30个主成分，这个数值通过方差贡献率≥99%确定。

2.2 学生模型创新点

学生模型的核心改进在于：

1. 异构卷积块：结合深度可分离卷积与点卷积

python复制class Conv2db(nn.Module):
    def __init__(self, in_c, out_c):
        super().__init__()
        self.depthwise = nn.Conv2d(in_c, in_c, kernel_size=3, groups=in_c)
        self.pointwise = nn.Conv2d(in_c, out_c, kernel_size=1)

2. 坐标注意力机制：增强空间-光谱特征关联

python复制class CoordAtt(nn.Module):