1. 项目背景与核心需求
菠萝作为热带地区重要的经济作物，在采摘后运输和储存过程中极易因机械损伤或微生物感染导致腐烂。传统的人工分拣方式效率低下且准确率受主观因素影响较大。我在山东某果蔬加工企业实习期间，亲眼目睹了每小时需要处理3吨菠萝的生产线上，6名质检员连续工作2小时后肉眼判断准确率从92%骤降至78%的情况。
这个毕设项目正是要解决这个痛点：通过Python构建CNN卷积神经网络模型，实现菠萝腐烂状态的自动化检测。核心需求包括：
- 准确识别表皮轻微褐变的早期腐烂（直径<5mm的斑点）
- 区分机械损伤与真菌性腐烂的视觉特征
- 在光照条件变化（1000-20000lux）下保持稳定识别
- 单张图像处理时间控制在200ms以内以满足产线速度
2. 数据采集与预处理方案
2.1 特殊设计的采集环境
我们在实验室搭建了模拟产线的传送带系统（速度0.3m/s），使用Basler acA2440-75uc工业相机配合条形光源（波长625nm红光）进行图像采集。这种特定波长的光源能增强腐烂区域与健康表皮的对比度，实测显示可将特征差异度提升40%。
数据集包含：
- 健康样本：3200张（不同成熟度、不同表面纹理）
- 早期腐烂：1500张（褐变面积占比1%-5%）
- 晚期腐烂：800张（霉斑、渗液等明显特征）
- 干扰样本：500张（带泥土、水滴、叶片遮挡等）
2.2 创新性的数据增强策略
针对菠萝图像的特殊性，我们开发了多阶段增强方案：
python复制class PineappleAugment:
def __init__(self):
self.color_jitter = T.ColorJitter(0.4, 0.4, 0.4, 0.1)
def __call__(self, img):
# 第一阶段：基础增强
img = self.color_jitter(img)
if random.random() > 0.5:
img = T.functional.adjust_sharpness(img, random.uniform(0.8, 2))
# 第二阶段：模拟产线环境干扰
if random.random() > 0.7:
img = self.add_conveyor_noise(img)
return img
def add_conveyor_noise(self, img):
"""添加传送带反光和水渍噪声"""
# 具体实现代码...
3. CNN模型架构设计与优化
3.1 改进的轻量化网络结构
基于LeNet-5框架进行深度改造，主要创新点包括：
- 双通道输入层：同时接收RGB图像和经过Lab色彩空间转换的L通道（亮度信息）
- 动态卷积核：前两层卷积采用3×3与5×5混合核尺寸
- 注意力机制：在第三卷积层后加入SE模块
python复制class HybridConv(nn.Module):
def __init__(self, in_channels, out_channels):
super().__init__()
self.conv3 = nn.Conv2d(in_channels, out_channels//2, kernel_size=3, padding=1)
self.conv5 = nn.Conv2d(in_channels, out_channels//2, kernel_size=5, padding=2)
def forward(self, x):
return torch.cat([self.conv3(x), self.conv5(x)], dim=1)
3.2 迁移学习的特殊处理
尝试了VGG16和ResNet18的迁移方案，但发现两个关键问题：
- 预训练模型的低层特征提取器对农产品纹理不敏感
- 参数量过大导致在Jetson Nano边缘设备上推理速度>500ms
最终方案：仅在ImageNet预训练的ResNet18第一层卷积权重上做微调，冻结其余层。
4. 模型训练中的关键技巧
4.1 渐进式学习率策略
采用三阶段训练法：
- 前10轮：lr=0.001（特征提取层微调）
- 11-25轮：lr=0.0002（全参数训练）
- 26轮后：lr=0.00005（精细调整）
配合余弦退火算法，最终验证集准确率达到96.3%，比固定学习率提升2.7%。
4.2 针对类别不平衡的损失函数改进
样本比例不均衡导致模型对早期腐烂识别率仅81%。我们设计了一种加权Focal Loss：
python复制class PineappleFocalLoss(nn.Module):
def __init__(self, alpha=[0.2, 0.3, 0.5], gamma=2):
super().__init__()
self.alpha = torch.tensor(alpha)
self.gamma = gamma
def forward(self, inputs, targets):
BCE_loss = F.cross_entropy(inputs, targets, reduction='none')
pt = torch.exp(-BCE_loss)
alpha_t = self.alpha[targets]
loss = alpha_t * (1-pt)**self.gamma * BCE_loss
return loss.mean()
5. 部署优化与实测效果
5.1 TensorRT加速实践
在Jetson Nano上的优化步骤：
- 将PyTorch模型转为ONNX格式（需处理动态尺寸问题）
- 使用trtexec工具生成FP16精度的引擎
- 实现异步推理流水线
优化前后对比：
| 指标 | 原始模型 | TensorRT优化 |
|---|---|---|
| 推理时间 | 189ms | 47ms |
| 显存占用 | 1.2GB | 680MB |
| 峰值功耗 | 8.3W | 5.1W |
5.2 产线实测中的问题解决
现场部署时遇到两个意外情况：
- 菠萝冠叶遮挡导致误判率升高 → 添加前置分割网络定位果实主体
- 不同批次表皮颜色差异大 → 动态更新BN层的running_mean/var
最终在真实产线环境中达到：
- 整体准确率：94.1%
- 早期腐烂检出率：89.3%
- 每小时处理量：3200-3500个
6. 项目扩展方向
在完成基础功能后，我们尝试了三个有价值的扩展：
- 多光谱成像：增加近红外通道（900nm）检测内部变质
- 三维特征提取：用ToF相机获取深度信息辅助判断
- 异常检测机制：通过特征图可视化定位误判原因
关键发现：在模型注意力图中，健康菠萝的特征聚焦于"鳞目"结构，而腐烂样本的注意力会扩散到鳞目间隙。这个现象帮助我们改进了数据标注策略。