1. 项目概述：当YOLOv8遇上双目视觉
去年在开发一个智能交通监控系统时，我遇到了一个棘手问题：如何在不依赖激光雷达的情况下，准确测量道路上车辆和行人的距离。经过多次尝试，最终选择了YOLOv8+双目视觉的方案，这个组合不仅实现了80类目标的实时检测，还能精确计算每个目标的距离信息。
双目测距的核心原理其实很简单——模仿人类双眼的视差感知。就像我们闭上一只眼睛时很难准确判断物体的距离，当两个相机从不同角度观察同一场景时，物体在左右图像中的位置差异（视差）就包含了深度信息。这个项目通过YOLOv8实现目标检测，再结合OpenCV的双目视觉算法，构建了一套完整的距离测量系统。
关键提示：双目测距的精度高度依赖相机标定质量，建议在项目开始前先完成严格的相机校准流程。
2. 环境配置与依赖安装
2.1 硬件准备清单
在我的实测中，这套系统对硬件的要求相对亲民：
- 立体相机：推荐使用ZED 2i或Intel RealSense D435i这类工业级设备
- GPU：最低GTX 1660即可运行，但RTX 3060及以上能获得更好性能
- 内存：建议16GB以上
- 操作系统：Ubuntu 18.04/20.04或Windows 10/11
2.2 软件依赖详解
项目依赖主要分为三个部分：
-
深度学习框架：
bash复制pip install ultralytics==8.0.0 # YOLOv8官方库 pip install torch==1.12.1+cu113 # 指定CUDA版本 -
视觉处理库：
bash复制
pip install opencv-contrib-python==4.5.5.64 pip install numpy==1.21.6 -
其他工具：
bash复制pip install matplotlib==3.5.3 # 用于可视化调试 pip install tqdm==4.64.0 # 进度条显示
特别提醒：OpenCV必须安装contrib版本，因为常规版本不包含立体视觉相关模块。如果遇到CUDA相关错误，建议先彻底卸载原有torch再重新安装。
3. 核心算法实现解析
3.1 YOLOv8目标检测优化
在标准YOLOv8的基础上，我做了几点针对性改进：
-
类别过滤：虽然模型支持80类检测，但实际交通场景中只需要关注车辆、行人、交通标志等约15类目标。通过修改detect.py中的过滤逻辑，可以减少30%的计算量。
-
后处理优化：
python复制# 修改后的NMS参数 results = model.predict( source=img, conf=0.4, # 置信度阈值 iou=0.5, # NMS阈值 classes=[0,1,2,3,5,7,9] # 只检测特定类别 ) -
模型量化：使用TensorRT对YOLOv8进行FP16量化后，在RTX 4060Ti上推理速度从15ms提升到8ms。
3.2 双目匹配与深度计算
核心算法流程如下：
-
图像校正：使用预先标定的参数对左右图像进行立体校正
python复制# 读取标定参数 cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, R, T = load_calibration() # 立体校正 R1, R2, P1, P2, Q, _, _ = cv2.stereoRectify( cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, image_size, R, T ) -
视差图计算：采用SGBM算法获取视差
python复制stereo = cv2.StereoSGBM_create( minDisparity=0, numDisparities=64, # 视差搜索范围 blockSize=11, # 匹配块大小 P1=8*3*11**2, P2=32*3*11**2, disp12MaxDiff=1, uniquenessRatio=10, speckleWindowSize=100, speckleRange=32 ) disparity = stereo.compute(left_img, right_img) -
深度计算：将视差转换为实际距离
python复制
depth_map = cv2.reprojectImageTo3D(disparity, Q)
实测发现，在基线距离6cm的双目系统下，5米内的测距误差可以控制在2%以内。
4. 系统集成与参数调优
4.1 相机参数配置详解
在script.py中，这些参数需要特别注意：
python复制# 相机物理参数
CAMERA_FOV_X = 120 # 水平视场角(度)
CAMERA_FOV_Y = 60 # 垂直视场角(度)
BASE_LINE = 6.0 # 相机间距(cm)
# 图像处理参数
MIN_CONFIDENCE = 0.4 # 检测置信度阈值
MAX_DEPTH = 20.0 # 最大测距范围(m)
调试技巧：
- 视场角不准会导致深度计算偏差，建议使用棋盘格进行实地测量
- 基线距离每增加1cm，5米处的测距精度可提升约0.5%
- 在强光环境下，需要适当提高置信度阈值避免误检
4.2 多目标匹配策略
当画面中出现多个同类目标时，标准左右匹配算法容易出错。我的解决方案是：
- 按检测框的垂直位置进行初步筛选
- 对候选目标计算IoU(交并比)
- 结合颜色直方图相似度进行二次验证
python复制def match_objects(left_objs, right_objs):
matched_pairs = []
for l_obj in left_objs:
best_match = None
max_score = 0
for r_obj in right_objs:
# 计算垂直位置相似度
y_diff = abs(l_obj['y1'] - r_obj['y1'])
# 计算IoU
iou = calculate_iou(l_obj['bbox'], r_obj['bbox'])
# 综合评分
score = 0.6*iou + 0.4*(1 - y_diff/img_height)
if score > max_score:
max_score = score
best_match = r_obj
if max_score > 0.5:
matched_pairs.append((l_obj, best_match))
return matched_pairs
5. 实战问题排查指南
5.1 常见错误及解决方案
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 深度值全为零 | 相机未正确标定 | 重新进行立体标定 |
| 检测框抖动严重 | 置信度阈值过低 | 调高MIN_CONFIDENCE参数 |
| 远处目标测距不准 | 基线距离太短 | 增大相机间距或使用长焦镜头 |
| 视差图出现条纹 | SGBM参数不当 | 调整P1/P2参数 |
5.2 性能优化技巧
- 图像降采样：将1080p输入降为720p处理，速度提升2倍而精度仅下降5%
- 异步处理：使用多线程实现检测和测距流水线
python复制from threading import Thread class ProcessingThread(Thread): def __init__(self, frame_queue): Thread.__init__(self) self.frame_queue = frame_queue def run(self): while True: left_img, right_img = self.frame_queue.get() # 处理逻辑... - 区域聚焦：只对检测到的目标区域计算深度，可减少60%计算量
6. 扩展应用与改进方向
在实际部署中，我发现这套系统还可以扩展以下功能：
-
速度估算：通过连续帧的距离变化计算目标速度
python复制def estimate_speed(prev_depth, curr_depth, fps): return (prev_depth - curr_depth) * fps -
碰撞预警：结合自车速度和前方障碍物距离计算TTC(碰撞时间)
-
三维重建：积累多帧深度信息构建局部三维场景
对于想进一步提升精度的开发者，建议：
- 加入温度补偿模块（相机参数会随温度变化）
- 实现在线标定功能
- 融合IMU数据提高动态场景下的稳定性
这个项目最让我惊喜的是，用相对廉价的硬件就实现了接近专业激光雷达的测距效果。在停车场自动泊车系统中，它的表现甚至比某些万元级解决方案更稳定。当然，雨雪天气下的性能下降仍是需要攻克的难题。