中午起不来1. 项目概述：基于深度学习的飞行昆虫识别系统
这个毕设项目本质上是一个典型的计算机视觉分类任务，但选择了相对小众的飞行昆虫作为识别对象。我选择这个方向主要基于两点考虑：一是现有昆虫识别系统多针对静态标本，对飞行姿态的识别研究较少；二是飞行昆虫的翅膀振动模式、身体姿态等动态特征能为识别提供额外维度信息。
整个系统采用PyTorch框架搭建，核心是一个改良的轻量级卷积神经网络。与常规图像分类不同，我们不仅处理静态图像，还尝试从视频片段中提取时序特征。数据集方面，除了公开的InsectWings数据集外，我还通过自制采集装置补充了200小时野外拍摄素材。
特别提示：昆虫识别对图像质量极为敏感，实测发现当分辨率低于300×300像素时，识别准确率会骤降40%以上。建议采集设备至少配备60fps的高速摄像头。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术方案设计
2.1 模型架构选型
经过对比实验，最终采用双流网络架构：
- 空间流：基于ResNet-18的改进版本，处理单帧形态特征
- 时间流：3D CNN结构，分析连续5帧的运动特征
关键改进点包括：
- 在ResNet-18的第三个残差块后增加SE注意力模块
- 将原始3D CNN的3×3×3卷积核改为1×3×3的非对称结构
- 双流特征融合采用门控机制而非简单拼接
python复制class DualStreamModel(nn.Module):
def __init__(self, num_classes):
super().__init__()
# 空间流
self.spatial_stream = resnet18(pretrained=True)
self.spatial_stream.fc = nn.Identity()
# 时间流
self.temporal_stream = nn.Sequential(
nn.Conv3d(3, 64, kernel_size=(1,3,3)),
nn.BatchNorm3d(64),
nn.ReLU(),
nn.MaxPool3d((1,2,2))
)
# 特征融合
self.fusion_gate = nn.Linear(512+64, 2)
self.classifier = nn.Linear(512+64, num_classes)
2.2 数据预处理流程
原始数据需经过特殊处理：
- 背景去除：采用改进的ViBe算法，适应树叶晃动等复杂背景
- 尺寸归一化：保持长宽比的前提下缩放到320×320
- 数据增强：
- 模拟不同光照条件（过曝/欠曝）
- 添加运动模糊效果
- 随机遮挡（模拟被树叶遮挡的情况）
实测发现，添加合理的运动模糊反而能提升3-5%的准确率，这与飞行昆虫的实际观察场景相符。
3. 关键实现细节
3.1 困难样本挖掘策略
针对飞行昆虫识别中的三大难点：
- 类内差异大（如蝴蝶展开/收拢翅膀）
- 类间相似度高（如蚊蚋科不同物种）
- 小目标检测（多数昆虫在画面中占比<10%）
我们采用动态难例挖掘策略：
- 每轮训练后统计被误分类的样本
- 对这些样本施加更强的数据增强
- 在损失函数中给予更高权重
python复制def train_epoch(model, loader, criterion, optimizer):
model.train()
losses = []
for inputs, targets in loader:
# 前向传播
outputs = model(inputs)
loss = criterion(outputs, targets)
# 记录每个样本的损失
sample_losses = F.cross_entropy(outputs, targets, reduction='none')
losses.extend(sample_losses.detach().cpu().numpy())
# 反向传播
optimizer.zero_grad()
loss.backward()
optimizer.step()
return np.array(losses) # 返回每个样本的损失值
3.2 模型轻量化部署
为实现在树莓派等边缘设备上的部署，采用以下优化手段：
| 技术 | 实现方式 | 效果 |
|---|---|---|
| 知识蒸馏 | 用教师模型指导轻量学生模型 | 模型缩小60%，精度损失<2% |
| 量化感知训练 | 训练时模拟8位整数量化 | 内存占用减少75% |
| 层融合 | 合并Conv+BN+ReLU序列 | 推理速度提升20% |
4. 实战问题与解决方案
4.1 数据不平衡问题
原始数据中各类别样本量差异显著：
| 昆虫类别 | 样本数量 | 处理方案 |
|---|---|---|
| 蜜蜂 | 12,000 | 随机下采样 |
| 果蝇 | 3,200 | 保持原样 |
| 蜻蜓 | 800 | 过采样+GAN生成 |
采用加权交叉熵损失：
python复制class_counts = torch.tensor([12000, 3200, 800])
weights = 1. / (class_counts / class_counts.max())
criterion = nn.CrossEntropyLoss(weight=weights)
4.2 实际部署中的挑战
在野外测试时遇到的主要问题及解决方案：
-
光线变化问题
- 现象：黄昏时段识别率下降30%
- 解决：添加HSV颜色空间随机扰动增强
-
运动模糊问题
- 现象：快速移动目标识别错误
- 解决：在数据增强中添加方向性运动模糊
-
遮挡问题
- 现象：部分遮挡导致特征缺失
- 解决：引入注意力机制+关键点检测
5. 效果评估与优化
5.1 评估指标对比
在自建测试集上的表现：
| 模型 | 准确率 | 参数量 | 推理速度(FPS) |
|---|---|---|---|
| 原始ResNet50 | 82.3% | 23.5M | 45 |
| MobileNetV3 | 76.1% | 1.2M | 120 |
| 我们的方案 | 85.7% | 4.8M | 90 |
5.2 可视化分析
使用Grad-CAM生成的热力图显示：
- 静态模型主要关注翅膀纹理
- 动态模型还会关注翅膀振动频率
- 融合模型能同时捕捉形态和运动特征
6. 项目扩展方向
在实际开发过程中，发现几个有价值的扩展点：
-
多模态融合
- 加入声音特征（如蜜蜂振翅频率）
- 结合环境温湿度传感器数据
-
实时追踪系统
- 基于DeepSORT实现多目标跟踪
- 预测飞行轨迹
-
异常检测
- 识别病态昆虫（如翅膀残缺）
- 检测入侵物种
这个项目给我最深的体会是：现实场景中的视觉问题远比实验室数据复杂。比如同一只蝴蝶在不同光照下会被模型认为是不同物种，这促使我深入研究了色彩不变性特征提取方法。建议后续研究者可以重点关注跨域适应问题，这在实际部署中至关重要。