只有橘子1. 项目概述：当西红柿遇上YOLOv8
在农产品分拣流水线上，工人每天需要手动分拣成千上万个西红柿的场景并不罕见。传统人工分拣不仅效率低下（每小时约300-500个），且因视觉疲劳导致的误判率高达15%-20%。而一套基于YOLOv8的成熟度检测系统，在GPU加速下可实现每秒30帧的实时检测，准确率稳定在95%以上。
这个毕业设计项目的核心，是通过深度学习技术解决农业生产中的实际痛点。我们选用YOLOv8作为基础框架，不仅因为它在COCO数据集上高达53.9%的mAP（mean Average Precision），更因其轻量化特性——基础版模型仅23.7MB，非常适合部署在边缘设备如Jetson Nano等农业分拣设备上。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据准备：构建专业番茄数据集
2.1 数据采集规范
不同于通用物体检测，农业场景需要特殊的数据采集策略：
- 光照条件：覆盖自然光（晴天/阴天）、补光灯、夜间红外等场景
- 拍摄角度：平行于果实的水平视角（占比60%），俯视角（30%），倾斜视角（10%）
- 成熟度分级标准（以RGB值为参考）：
- 青熟期：Hue值100-120°，饱和度>80%
- 转色期：Hue值20-40°，出现红黄过渡
- 成熟期：Hue值0-20°，红色占比>70%
关键提示：务必记录拍摄时的环境温湿度，这对模型鲁棒性影响显著。实验表明，在25℃以上时，西红柿表面反光率会增加15-20%。
2.2 标注技巧
使用LabelImg等工具标注时，要注意：
- 边界框应包含果蒂但不包含枝叶（保持5-10像素间距）
- 遮挡超过30%的果实建议舍弃
- 反光区域需用半透明遮罩标记
- 类别标签建议采用三级分类：
python复制classes = ['green_ripe', 'breaker', 'turning', 'pink', 'light_red', 'red_ripe']
2.3 数据增强策略
针对农业场景的特殊增强方法：
yaml复制# data/augmentation.yaml
augmentation:
- hsv_h: 0.015 # 色相扰动
- hsv_s: 0.7 # 饱和度增强（应对阴天场景）
- hsv_v: 0.4 # 明度扰动
- degrees: 15 # 旋转角度
- translate: 0.2 # 平移幅度
- scale: 0.5 # 缩放比例
- shear: 5 # 剪切变换
- perspective: 0.001 # 透视变换
- flipud: 0.5 # 上下翻转
- mixup: 0.2 # 图像混合
3. YOLOv8模型训练实战
3.1 环境配置
推荐使用Python 3.8+和PyTorch 1.12+环境：
bash复制conda create -n tomato python=3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
pip install ultralytics albumentations wandb
3.2 模型选择策略
根据部署设备选择模型变体：
| 模型类型 | 参数量(M) | FLOPs(G) | 适用场景 |
|---|---|---|---|
| YOLOv8n | 3.2 | 8.7 | 树莓派4B |
| YOLOv8s | 11.2 | 28.6 | Jetson Nano |
| YOLOv8m | 25.9 | 78.9 | 服务器GPU |
3.3 关键训练参数
python复制# train.py
model = YOLO('yolov8s.yaml')
results = model.train(
data='tomato.yaml',
epochs=300,
patience=50, # 早停机制
batch=32, # 根据GPU显存调整
imgsz=640,
optimizer='AdamW',
lr0=0.001,
lrf=0.01,
warmup_epochs=3,
weight_decay=0.05,
hsv_h=0.015,
hsv_s=0.7,
hsv_v=0.4,
degrees=15,
translate=0.2,
scale=0.5,
shear=5.0
)
3.4 训练监控技巧
使用Weights & Biases可视化：
- 安装wandb并登录
- 在训练命令添加
--project tomato_detection - 关键监控指标：
- mAP@0.5:0.95
- precision/recall曲线
- 混淆矩阵
- 学习率变化
4. 模型优化与部署
4.1 量化压缩方案
针对边缘设备部署的优化：
python复制from ultralytics import YOLO
# 加载训练好的模型
model = YOLO('best.pt')
# FP16量化
model.export(format='onnx', half=True)
# TensorRT优化（需安装TensorRT）
model.export(format='engine', device=0)
4.2 部署性能对比
测试环境：Jetson Xavier NX
| 格式 | 推理时间(ms) | 内存占用(MB) |
|---|---|---|
| PyTorch | 45.2 | 1200 |
| ONNX | 28.7 | 850 |
| TensorRT | 12.3 | 640 |
4.3 实际应用集成
Python端调用示例：
python复制import cv2
from ultralytics import YOLO
model = YOLO('tomato_rt.engine')
cap = cv2.VideoCapture(0)
while True:
ret, frame = cap.read()
results = model(frame, stream=True)
for r in results:
boxes = r.boxes
for box in boxes:
x1, y1, x2, y2 = map(int, box.xyxy[0])
cls = int(box.cls[0])
conf = float(box.conf[0])
cv2.rectangle(frame, (x1,y1), (x2,y2), (0,255,0), 2)
cv2.putText(frame, f"{model.names[cls]} {conf:.2f}",
(x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (36,255,12), 2)
cv2.imshow('Tomato Detection', frame)
if cv2.waitKey(1) == ord('q'):
break
5. 常见问题与解决方案
5.1 训练集表现好但测试集差
可能原因及解决：
- 光照差异：添加更多光照增强（如RandomGamma）
- 尺度单一：确保训练集包含近景（单个果实）和远景（整株植物）
- 过拟合：增加CutMix数据增强，设置dropout=0.2
5.2 小目标检测效果不佳
改进方案：
- 修改anchors尺寸：
yaml复制# yolov8s.yaml anchors: - [5,6, 8,14, 15,11] # P3/8 - [10,13, 16,30, 33,23] # P4/16 - [30,61, 62,45, 59,119] # P5/32 - 添加小目标检测层：
python复制# model.yaml head: - [-1, 1, nn.Upsample, [None, 2, 'nearest']] # 上采样 - [[-1, -2], 1, Concat, [1]] # 特征融合
5.3 模型误判案例分析
典型误判场景及对策：
| 误判类型 | 解决方案 |
|---|---|
| 叶片误检为青果 | 增加负样本（纯叶片图像） |
| 阴影区域误判 | 添加Gamma校正预处理 |
| 重叠果实漏检 | 修改NMS的iou_thres=0.45 |
6. 项目扩展方向
6.1 多模态融合检测
结合近红外光谱(NIR)数据：
python复制# 多输入模型架构
class MultiModalDetector(nn.Module):
def __init__(self):
super().__init__()
self.rgb_backbone = YOLOv8(pretrained=True)
self.nir_conv = nn.Sequential(
nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3),
nn.BatchNorm2d(64),
nn.SiLU()
)
self.fusion = FeatureFusionModule(1024, 512)
def forward(self, rgb, nir):
x1 = self.rgb_backbone(rgb)
x2 = self.nir_conv(nir)
return self.fusion(x1, x2)
6.2 成熟度预测模型
回归预测成熟度指数（0-100）：
python复制# 修改检测头为回归任务
head:
- [-1, 1, nn.Conv2d, [256, 4, 1]] # 原有检测头
- [-1, 1, nn.Conv2d, [256, 1, 1]] # 新增回归头
6.3 农业知识图谱构建
将检测结果与生长数据库关联：
sql复制CREATE TABLE tomato_growth (
id INT PRIMARY KEY,
variety VARCHAR(50),
detect_time TIMESTAMP,
maturity_level INT,
temperature FLOAT,
humidity FLOAT,
FOREIGN KEY (variety) REFERENCES varieties(name)
);
在模型部署到分拣线后，建议每两周进行一次增量训练（使用新采集的200-300张图像），以应对季节变化带来的果实外观变化。实际项目中，这种持续学习策略可使模型准确率提升8-12个百分点。