基于YOLOv11的道路垃圾检测系统开发与实践

1. 项目概述

在智慧城市建设和环境监测领域，自动化的道路垃圾检测系统正变得越来越重要。这个基于YOLOv11的道路抛洒物检测系统，专门针对城市道路、人行道等场景下的17类常见垃圾进行细粒度识别，包括塑料瓶、易拉罐、纸杯等典型废弃物。系统采用深度学习技术，能够实现高精度的实时检测，为城市环卫管理提供智能化解决方案。

我最近在实际部署这套系统时发现，传统的人工巡检方式不仅效率低下，而且难以覆盖大面积区域。通过计算机视觉技术实现自动化检测后，环卫部门可以更精准地规划清扫路线，显著提升工作效率。系统采用的YOLOv11模型在保持实时性的同时，对小型目标的检测性能也有明显提升，特别适合处理路面上尺寸各异的垃圾物品。

2. 数据集构建与分析

2.1 数据集核心特征

这个路面垃圾细分类检测数据集包含3,321张640×640像素的图像，总计约11,730个标注框。数据集按照8:1:1的比例划分为训练集、验证集和测试集，确保模型评估的可靠性。从实际使用经验来看，这种划分比例既能保证充足的训练样本，又能提供有统计意义的验证和测试结果。

数据集的一个显著特点是覆盖了城市环境中常见的17类垃圾物品。值得注意的是，塑料包装膜(Plastic Wrapper)和纸袋(Paper Bag)是样本量最大的两个类别，分别有2,449和1,579个标注框。而"PaperBag"类别（疑似标注错误）仅有5个实例，在实际训练中可以考虑将其合并到"Paper Bag"类别中。

2.2 类别分布与数据平衡

仔细分析类别分布可以发现几个关键特点：

• 塑料制品（塑料瓶、塑料袋、塑料包装膜等）占比最高，这与城市垃圾的实际情况相符
• 易拉罐、玻璃瓶等硬质容器的样本量适中
• 果皮、碎布等有机垃圾样本较少，可能需要额外采集补充

在实际训练过程中，这种不平衡的分布可能导致模型对小样本类别的识别性能较差。我的经验是采用以下策略来缓解这个问题：

1. 对少数类别进行适度的数据增强
2. 在损失函数中引入类别权重
3. 针对性地采集补充少数类别的样本

2.3 数据标注质量检查

高质量的数据标注对模型性能至关重要。在使用这个数据集前，我建议进行以下检查：

1. 验证标注框是否准确覆盖目标物体
2. 检查类别标签是否正确（特别是容易混淆的类别，如不同材质的包装）
3. 确保标注框大小分布合理，包含足够数量的小目标

从实际使用情况看，这个数据集的标注质量总体较好，但仍有少量标注错误需要修正。建议使用CVAT或LabelImg等工具进行可视化检查。

3. 模型训练与优化

3.1 环境配置与依赖安装

系统基于PyTorch框架和Ultralytics的YOLO实现。以下是完整的依赖清单及版本建议：

bash复制# 核心依赖
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install ultralytics==8.0.196
pip install opencv-python==4.8.0.76
pip install PyQt5==5.15.9
pip install pandas==2.0.3

# 可选工具
pip install matplotlib==3.7.2  # 可视化训练曲线
pip install tensorboard==2.13.0  # 训练监控

在实际部署中，我推荐使用Python 3.8-3.10版本，这些版本与主要深度学习框架的兼容性最好。如果使用GPU加速，务必确保CUDA工具包版本与PyTorch版本匹配。

3.2 数据配置文件详解

数据配置文件(road_litter.yaml)是连接数据集和训练流程的关键。除了基本路径和类别定义外，还可以添加更多优化参数：

yaml复制# 增强版road_litter.yaml
path: ./data/road_litter_dataset
train: images/train
val: images/val
test: images/test

# 类别定义
nc: 17
names: 
  0: Plastic Bottle
  1: Cans
  # ...其他类别...

# 数据增强配置
augment: 
  hsv_h: 0.015  # 色相增强幅度
  hsv_s: 0.7    # 饱和度增强幅度
  hsv_v: 0.4    # 明度增强幅度
  degrees: 5.0  # 旋转角度范围
  translate: 0.1  # 平移幅度
  scale: 0.5    # 缩放幅度
  shear: 0.0    # 剪切幅度
  perspective: 0.0001  # 透视变换
  flipud: 0.0   # 上下翻转概率
  fliplr: 0.5   # 左右翻转概率
  mosaic: 1.0   # mosaic增强概率
  mixup: 0.0    # mixup增强概率

在实际项目中，我发现适当调整hsv增强参数可以显著提升模型对光照变化的鲁棒性。而mosaic增强对小目标检测特别有效，建议保持启用。

3.3 模型训练技巧

使用Ultralytics训练YOLOv11模型时，有几个关键参数需要特别注意：

python复制from ultralytics import YOLO

model = YOLO('yolov11n.pt')  # 使用nano版本作为基础

results = model.train(
    data='road_litter.yaml',
    epochs=100,
    imgsz=640,
    batch=16,
    name='road_litter_detect',
    device=0,
    patience=10,  # 早停耐心值
    lr0=0.01,    # 初始学习率
    lrf=0.01,    # 最终学习率
    momentum=0.937,  # 动量
    weight_decay=0.0005,  # 权重衰减
    warmup_epochs=3,  # 学习率预热
    box=7.5,     # box损失权重
    cls=0.5,     # 分类损失权重
    dfl=1.5,     # dfl损失权重
)

从实际训练经验来看，针对垃圾检测任务，我建议：

1. 适当提高分类损失权重(cls)，因为垃圾类别间的相似性较高
2. 使用较大的输入尺寸(640x640)以更好地检测小目标
3. 启用早停(patience)防止过拟合
4. 监控验证集mAP指标而非单纯看训练损失

3.4 模型评估与优化

训练完成后，可以使用以下代码进行详细评估：

python复制from ultralytics import YOLO

# 加载最佳模型
model = YOLO('runs/detect/road_litter_detect/weights/best.pt')

# 在测试集上评估
metrics = model.val(
    data='road_litter.yaml',
    split='test',  # 使用测试集
    batch=16,
    conf=0.25,     # 置信度阈值
    iou=0.6,       # IoU阈值
    device=0
)

# 输出详细指标
print(f"mAP50: {metrics.box.map50}")
print(f"mAP50-95: {metrics.box.map}")
print(f"各类别AP: {metrics.box.maps}")

根据我的经验，垃圾检测任务中常见的问题和解决方案包括：

1. 小目标检测效果差：增加mosaic增强、使用更高分辨率输入
2. 相似类别混淆：调整损失权重、增加困难样本挖掘
3. 光照变化敏感：加强HSV增强、添加更多不同光照条件下的数据

4. 系统实现与部署

4.1 图形界面开发

基于PyQt5的GUI系统提供了完整的检测流程管理功能。在实际开发中，我对原始代码做了以下改进：

1. 性能优化：

• 使用多线程处理图像加载和推理，防止界面卡顿
• 添加推理时间统计功能，监控系统实时性能
• 实现批量图像处理功能，提高工作效率

2. 功能增强：

• 添加历史记录管理，保存检测结果
• 实现模型热切换功能，支持不同版本的模型对比
• 添加统计图表展示，直观呈现各类垃圾分布

3. 用户体验改进：

• 支持拖拽方式导入图像
• 添加缩放和平移功能，方便查看细节
• 实现检测结果的导出功能(CSV、JSON、图像)

4.2 核心代码解析

系统中最关键的检测逻辑实现如下：

python复制def detect_objects(self, image):
    """执行物体检测并返回结果"""
    start_time = time.time()
    
    # 执行推理
    results = self.model(image, verbose=False)
    
    # 解析结果
    detections = []
    for *xyxy, conf, cls in results[0].boxes:
        label = self.class_names[int(cls)]
        conf_val = round(float(conf) * 100, 2)
        xyxy_int = [int(x) for x in xyxy]
        
        # 计算物体中心点和面积
        x_center = (xyxy_int[0] + xyxy_int[2]) // 2
        y_center = (xyxy_int[1] + xyxy_int[3]) // 2
        area = (xyxy_int[2] - xyxy_int[0]) * (xyxy_int[3] - xyxy_int[1])
        
        detections.append({
            'label': label,
            'confidence': conf_val,
            'bbox': xyxy_int,
            'center': (x_center, y_center),
            'area': area
        })
    
    inference_time = round((time.time() - start_time) * 1000, 2)
    return detections, inference_time

这段代码不仅返回基础的检测框信息，还计算了目标物体的中心位置和面积，这些信息在后续的统计分析中非常有用。

4.3 系统部署实践

在实际部署中，我们遇到了几个典型问题及解决方案：

1. GPU内存不足：

• 减小批处理大小(batch size)
• 使用半精度(fp16)推理
• 尝试更小的模型变体(如yolov11s)

2. 跨平台兼容性：

• 使用PyInstaller打包时，注意隐藏不必要的控制台窗口
• 处理不同操作系统下的路径分隔符问题
• 为没有GPU的环境提供CPU回退方案

3. 长期运行稳定性：

• 添加内存泄漏检测
• 实现看门狗机制，自动重启崩溃的进程
• 添加日志系统记录运行状态

打包发布时可以使用以下命令：

bash复制pyinstaller --onefile --windowed --add-data "runs/detect/road_litter_detect/weights/best.pt;." main.py

5. 实际应用与优化建议

5.1 性能基准测试

在不同硬件环境下，系统的性能表现如下：

从测试数据可以看出，系统在主流GPU上都能达到实时性要求(>30FPS)，但在边缘设备上可能需要降低输入分辨率或使用量化技术来提升性能。

5.2 常见问题排查

在实际使用中，我们总结了以下常见问题及解决方法：

1. 检测漏报：

• 检查置信度阈值是否设置过高
• 验证训练数据是否包含足够多的类似样本
• 尝试调整非极大抑制(NMS)参数

2. 类别混淆：

• 检查混淆矩阵，确定哪些类别容易混淆
• 增加困难样本的采集和标注
• 调整分类损失权重

3. 性能下降：

• 监控输入图像的亮度和对比度变化
• 检查模型是否被意外修改
• 验证推理环境是否发生变化(如CUDA版本)

5.3 未来优化方向

基于实际项目经验，我认为系统还可以从以下几个方向进行优化：

1. 模型层面：

• 尝试最新的YOLO变体(如YOLOv12)
• 应用知识蒸馏技术减小模型尺寸
• 实现模型量化，提升边缘设备性能

2. 数据层面：

• 收集更多夜间和恶劣天气条件下的数据
• 增加视频序列数据，利用时序信息
• 改进标注质量，特别是对小目标的标注

3. 系统层面：

• 开发移动端应用，支持现场检测
• 集成GIS系统，实现垃圾分布热力图
• 添加自动报警功能，对重点区域特别监控

这套系统在实际环卫工作中已经展现出显著价值。通过持续优化和迭代，我相信它能够为城市环境管理提供更加智能化的解决方案。