1. 项目概述
作为一名计算机视觉方向的毕业生，我在毕设中选择了一个兼具理论深度和实用价值的目标检测项目——行人车辆检测与流量计数系统。这个项目源于我在实习期间观察到的一个实际问题：商场和交通管理部门需要准确统计人流量和车流量，但传统人工计数方式效率低下且容易出错。
目标检测技术恰好能解决这个问题。通过摄像头采集视频流，利用深度学习算法实时检测画面中的行人和车辆，不仅可以标记它们的位置，还能统计数量、分析运动轨迹。这种方案成本低、部署灵活，特别适合商场、车站、十字路口等场景。
在技术选型上，我对比了YOLOv5、Faster R-CNN和SSD三种主流算法。最终选择YOLOv5s作为基础模型，主要考虑到：
- 其检测速度能达到30FPS以上，满足实时性要求
- 模型大小仅27MB，便于在边缘设备部署
- 开源社区支持完善，有丰富的预训练模型和调优经验
2. 核心算法解析
2.1 目标检测技术演进
目标检测算法的发展经历了三个重要阶段：
第一阶段（2012年前）的传统方法主要依赖手工设计特征，比如：
- Haar特征配合AdaBoost分类器
- HOG（方向梯度直方图）特征结合SVM
- DPM（可变形部件模型）方法
这些算法在简单场景下效果尚可，但特征表达能力有限，难以应对复杂场景。以HOG+SVM为例，其在INRIA行人数据集上的mAP（平均精度）仅为60%左右。
第二阶段（2012-2016）的深度学习算法以R-CNN系列为代表：
- R-CNN首次将CNN引入检测任务，mAP提升到62.4%
- Fast R-CNN通过ROI pooling共享计算，速度提升200倍
- Faster R-CNN引入RPN网络，实现端到端训练
这类two-stage算法精度高但速度慢，Faster R-CNN在Titan X上仅5FPS。
第三阶段（2016至今）的one-stage算法突破速度瓶颈：
- YOLO系列将检测视为回归问题，最快达到155FPS
- SSD在不同尺度特征图上预测，兼顾速度与精度
- 最新YOLOv8在COCO数据集上达到53.9% AP，速度超过100FPS
2.2 YOLOv5架构详解
YOLOv5的核心创新在于：
- Backbone网络：采用CSPDarknet53结构，通过Cross Stage Partial连接减少计算量同时保持梯度流动
- Neck部分：使用PANet（Path Aggregation Network）实现多尺度特征融合
- Head设计：三个检测头分别对应80x80、40x40和20x20的特征图，适应不同尺度目标
损失函数包含三部分：
- 置信度损失：BCEWithLogitsLoss
- 类别损失：CrossEntropyLoss
- 坐标损失：CIoU Loss（考虑重叠区域、中心点距离和长宽比）
数据增强策略尤其值得关注：
- Mosaic增强：四张图片拼接训练，提升小目标检测能力
- HSV色彩空间随机调整：模拟不同光照条件
- 随机透视变换：增强模型对视角变化的鲁棒性
3. 数据集构建与训练
3.1 数据收集与标注
高质量数据集是模型性能的基础。本项目融合了多个公开数据集：
- 行人检测：INRIA（614张）、CityPersons（5000+张）
- 车辆检测：UA-DETRAC（10万+帧）、KITTI（7481张）
- 自采数据：使用海康威视摄像头拍摄校园场景（约2000张）
标注工具选用LabelImg，标注时特别注意：
- 完全遮挡目标标记为"difficult"
- 人群密集时使用最小外接矩形
- 车辆标注包含轿车、卡车、公交车等子类
最终数据集统计：
| 类别 | 训练集 | 验证集 | 测试集 |
|---|---|---|---|
| 行人 | 8,742 | 1,093 | 1,460 |
| 车辆 | 12,568 | 1,571 | 2,094 |
3.2 模型训练技巧
训练环境配置：
- GPU：NVIDIA RTX 3090 (24GB显存)
- 框架：PyTorch 1.10 + CUDA 11.3
- 批量大小：16（使用梯度累积）
关键超参数设置：
python复制lr0: 0.01 # 初始学习率
lrf: 0.1 # 最终学习率 = lr0 * lrf
momentum: 0.937
weight_decay: 0.0005
warmup_epochs: 3.0
训练过程中发现几个重要现象：
- 前期使用较大学习率(0.01)有助于快速收敛
- 添加GIoU损失后，bbox定位精度提升约5%
- 使用自动混合精度(AMP)训练，显存占用减少40%
重要提示：行人检测需要特别注意样本平衡。实测发现负样本过多会导致误检率升高，建议正负样本比例控制在1:3左右。
4. 流量计数实现
4.1 基于轨迹的计数算法
传统基于检测框的计数容易重复统计，我们改进为轨迹追踪方案：
-
目标跟踪：采用DeepSORT算法
- 使用ReID网络提取外观特征
- 卡尔曼滤波预测运动轨迹
- 匈牙利算法完成帧间匹配
-
计数规则：
- 设置虚拟检测线
- 当轨迹首次穿过检测线时计数
- 方向判断依据速度向量
python复制class TrafficCounter:
def __init__(self, line):
self.line = line # 检测线[(x1,y1),(x2,y2)]
self.count = 0
self.track_ids = set()
def update(self, tracks):
for track in tracks:
if self.cross_line(track) and track.id not in self.track_ids:
self.count += 1
self.track_ids.add(track.id)
return self.count
4.2 性能优化技巧
在树莓派4B上的部署优化：
- 模型量化：
bash复制
python export.py --weights yolov5s.pt --include onnx --dynamic --simplify - TensorRT加速：
python复制import tensorrt as trt logger = trt.Logger(trt.Logger.INFO) with open("model.engine", "rb") as f: engine = runtime.deserialize_cuda_engine(f.read()) - 多线程处理：
- 视频解码单独线程
- 检测与跟踪分离
- 计数结果通过队列传递
实测性能对比：
| 优化方式 | 推理速度(FPS) | 内存占用(MB) |
|---|---|---|
| 原始模型 | 3.2 | 1200 |
| ONNX运行时 | 8.7 | 680 |
| TensorRT加速 | 15.4 | 450 |
5. 常见问题与解决方案
5.1 检测精度问题
问题现象：雨天场景下漏检率升高
原因分析：
- 雨滴造成图像模糊
- 数据集中雨天样本不足
- 反光地面干扰检测
解决方案：
- 数据增强添加雨雾模拟
python复制def add_rain(img): # 添加雨条纹 slant = random.randint(-20, 20) drop_width = random.uniform(1, 2) return add_rain_effect(img, slant, drop_width) - 使用注意力机制改进网络
- 后处理中提高置信度阈值
5.2 实时性问题
问题现象：多路视频流处理时延迟明显
优化方案：
- 区域检测：只处理画面中的ROI区域
- 帧采样：非关键帧使用轻量级检测
- 模型裁剪：移除backbone最后3个CSP块
优化前后对比：
| 方案 | 单帧耗时(ms) | 准确率变化 |
|---|---|---|
| 原始模型 | 65 | 100% |
| 区域检测 | 42 | -2% |
| 帧采样 | 30 | -5% |
| 组合优化 | 25 | -3% |
5.3 遮挡处理技巧
针对密集场景的改进措施：
- 添加遮挡数据增强：
python复制def random_occlusion(img): h, w = img.shape[:2] occ_w = random.randint(w//4, w//2) occ_h = random.randint(h//4, h//2) x = random.randint(0, w-occ_w) y = random.randint(0, h-occ_h) img[y:y+occ_h, x:x+occ_w] = 0 return img - 使用RepLoss改进损失函数
- 后处理中引入NMS变种算法
6. 项目扩展与展望
在实际部署中发现几个有价值的改进方向：
-
多模态融合：加入红外摄��头数据，提升夜间检测能力。测试表明，可见光+红外的融合模型在夜间场景的mAP提升27%。
-
行为分析：在计数基础上，增加异常行为检测模块。如通过轨迹分析识别：
- 人群聚集
- 逆行行为
- 突然奔跑
-
边缘计算：将模型部署到海康威视等IPC摄像头中，实测需要：
- 将模型压缩到10MB以内
- 使用TensorRT加速
- 优化内存管理
这个项目从理论到实践的完整过程让我深刻体会到，一个好的计算机视觉系统需要平衡算法精度、运行效率和工程可实现性。特别是在实际部署时，往往需要根据具体场景对标准算法进行针对性优化。