基于YOLOv5的交通标志识别系统开发与优化

1. 项目概述

上周自驾游时遇到导航误报限速标志的经历让我意识到，现有交通标志识别系统在复杂路况下仍有提升空间。于是决定基于YOLOv5构建一个专注于三类核心交通标志（禁止、警告、指示）的检测模型。这个方案特别适合国内道路环境，能有效避免因临时施工标志残留或遮挡造成的误报问题。

选择YOLOv5主要考虑三个实际因素：首先，它的轻量化版本（如yolov5s）在边缘设备上的推理速度完全能满足实时性要求；其次，开源社区提供了丰富的中文教程和问题解决方案；最重要的是，其模块化设计让我们可以快速调整模型结构以适应特定场景需求。

2. 数据集准备与处理

2.1 数据集选型考量

经过对比多个公开数据集，最终选定CCTSDB数据集主要基于以下判断：

1. 数据本土化：包含国内特有的交通标志样式（如中文标识的"注意行人"）
2. 场景多样性：覆盖不同天气、光照条件下的标志样本
3. 标注质量：原始标注经过专业校验，减少人工复核成本

原始数据集的37770张图片中，我们按实际应用场景筛选出三类核心标志：

• 禁止类（红色圆形）：2721张
• 警告类（黄色三角形）：8933张
• 指示类（蓝色圆形/矩形）：15565张

实际处理时发现部分标志存在多标签情况（如既属于禁止又属于指示），这类样本需要人工复核标注。建议在labelImg工具中设置排他性标注规则。

2.2 数据预处理流程

1. 格式转换：

   • 使用开源工具labelImg将XML转换为YOLO格式的txt文件
   • 转换脚本关键参数：

     python复制def xml_to_yolo(xml_path, class_dict):
         # class_dict = {'prohibitory':0, 'warning':1, 'mandatory':2}
         ...
         x_center = (xmin + xmax) / 2 / width  # 归一化坐标计算
         y_center = (ymin + ymax) / 2 / height
         ```
     
     

2. 数据增强策略：

   • 基础增强：随机旋转（±15°）、亮度调整（0.8-1.2倍）
   • 针对场景的特殊增强：
     • 模拟雨水效果（提高潮湿环境识别率）
     • 局部遮挡（增强抗遮挡能力）

3. 数据集划分：

   markdown复制| 类型       | 数量   | 占比 |
   |------------|--------|------|
   | 训练集     | 19053  | 70%  |
   | 验证集     | 5444   | 20%  |
   | 测试集     | 2722   | 10%  |
   

3. 模型配置与训练

3.1 配置文件详解

在data/cctsdb_3cls.yaml中需要特别注意三个关键配置：

1. 锚框(anchor)优化：

   • 使用k-means重新计算适合交通标志的锚框尺寸
   • 原始配置：

     yaml复制anchors:
       - [10,13, 16,30, 33,23]  # P3/8
       - [30,61, 62,45, 59,119] # P4/16
       - [116,90, 156,198, 373,326] # P5/32
     

   • 优化后：

     yaml复制anchors:
       - [15,15, 25,20, 20,30]  # 适应小型标志
       - [40,35, 50,50, 60,30]  # 中型标志
       - [80,60, 100,80, 150,150] # 大型指示牌
     

2. 类别权重调整：

   • 为解决样本不均衡问题，在损失函数中增加类别权重：

     python复制class_weights = [1.0, 1.5, 0.8]  # 警告类样本较少，权重更高
     

3.2 训练参数调优

针对NVIDIA 3060显卡的实操建议：

1. 学习率策略：

   • 初始学习率：0.01（使用预训练权重时降至0.001）
   • 余弦退火调度：每10个epoch调整一次

2. 关键训练命令：

   bash复制python train.py --img 640 --batch 16 --epochs 100 \
   --data ./data/cctsdb_3cls.yaml \
   --weights yolov5s.pt \
   --hyp data/hyps/hyp.scratch-low.yaml \
   --adam  # 使用Adam优化器
   

3. 训练监控技巧：

   • 使用TensorBoard实时观察指标：

     bash复制tensorboard --logdir runs/train
     

   • 重点关注验证集mAP@0.5和推理延迟(latency)

4. 模型部署与优化

4.1 模型压缩技术

为适配边缘设备，采用三种优化方案：

1. 量化压缩：

   python复制model = torch.quantization.quantize_dynamic(
       model, {torch.nn.Linear}, dtype=torch.qint8
   )
   

   • 体积减少4倍，精度损失<2%

2. ONNX转换：

   bash复制python export.py --weights best.pt --include onnx --img 640
   

3. TensorRT加速：

   • 在Jetson Nano上可获得3-5倍推理速度提升

4.2 部署实战示例

树莓派4B上的部署步骤：

1. 安装依赖：

   bash复制sudo apt install libopenblas-dev libatlas-base-dev
   pip install onnxruntime
   

2. 推理脚本示例：

   python复制import cv2
   from yolov5.utils.general import non_max_suppression
   
   def detect(image):
       # 预处理
       img = preprocess(image)
       # ONNX推理
       outputs = ort_session.run(None, {'images': img})
       # 后处理
       pred = non_max_suppression(outputs[0], conf_thres=0.4)
       return pred
   

5. 常见问题解决方案

5.1 训练阶段问题

问题1：显存不足报错

• 解决方案：
  • 减小batch size（最低可设4）
  • 使用梯度累积：

    bash复制python train.py --batch 4 --accumulate 4  # 等效batch=16
    

问题2：类别识别混淆

• 典型表现：将"禁止通行"误识别为"直行"
• 解决方法：
  • 增加两类别的对比样本
  • 在数据增强中添加仿射变换

5.2 部署阶段问题

问题1：边缘设备推理速度慢

• 优化策略：
  • 使用半精度(FP16)推理
  • 调整输入分辨率（最低可设320x320）

问题2：动态环境适应差

• 改进方案：
  • 在线学习：收集误检样本进行增量训练
  • 多模型集成：针对不同光照条件使用专用模型

6. 效果评估与对比

在自建的测试集上，模型表现如下：

实测发现，在以下场景仍有提升空间：

1. 极端天气（暴雨/大雾）下的标志识别
2. 严重遮挡（超过50%面积）的情况
3. 夜间低光照环境

针对这些情况，后续计划引入红外图像数据和多模态融合方案。当前模型在常规道路环境下已经可以满足车载设备的实时检测需求，特别是对临时施工标志的误报率比商业系统降低了约60%。