1. 双相机联合定位系统概述
在工业自动化生产线中，物料定位精度直接影响着装配质量、生产效率和设备可靠性。传统单相机定位系统存在视野盲区、遮挡干扰和精度受限等问题。双相机联合定位系统通过空间多视角观测，能够有效解决这些痛点。
我参与过多个汽车零部件装配线的视觉定位项目，实测数据显示：在相同条件下，双相机系统可将定位误差从单相机的±0.5mm降低到±0.1mm以内。这种系统通常采用前后或左右对称布局，两个相机成30°-60°夹角安装，确保对目标物料形成立体观测。
注意：相机选型时需同步考虑分辨率和帧率。200万像素相机配合适当镜头，在1米工作距离下，理论像素精度可达0.05mm/pixel。
2. 硬件系统搭建要点
2.1 相机选型与安装
工业相机主要分为面阵和线阵两种类型。对于动态物料定位，推荐使用全局快门面阵相机，如Basler ace系列或海康威视MV-CE系列。关键参数匹配原则：
-
分辨率：根据定位精度要求反推，公式为：
code复制最小特征尺寸(mm) = 3 × 像素精度(mm/pixel) 像素精度 = 视野范围(mm) / 传感器像素数 -
帧率：应大于物料移动速度(mm/s)除以定位精度(mm)，并预留30%余量
安装支架建议采用铝合金材质，搭配三维调节云台。我常用的安装流程是：
- 先固定主相机（通常选择分辨率较高的作为主相机）
- 用激光水平仪调整辅助相机角度
- 最后用千分表微调相对位置
2.2 照明系统设计
合适的照明能显著提升图像质量。根据物料特性选择：
- 金属反光表面：同轴漫射光源
- 深色粗糙表面：低角度环形光
- 透明材料：背光源
在汽车门板定位项目中，我们采用频闪控制策略：当光电传感器检测到物料到达时，触发两个相机同步曝光，配合200μs的LED频闪，有效冻结运动模糊。
3. 核心算法实现
3.1 高精度标定流程
3.1.1 相机内参标定
使用OpenCV实现张正友标定法的改进流程：
python复制def calibrate_camera(image_paths, pattern_size=(9,6)):
obj_points = [] # 3D点
img_points = [] # 2D点
# 生成标定板坐标系
objp = np.zeros((pattern_size[0]*pattern_size[1],3), np.float32)
objp[:,:2] = np.mgrid[0:pattern_size[0],0:pattern_size[1]].T.reshape(-1,2)
for path in image_paths:
img = cv2.imread(path)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
ret, corners = cv2.findChessboardCorners(gray, pattern_size, None)
if ret:
# 亚像素优化
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
corners = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)
img_points.append(corners)
obj_points.append(objp)
# 标定计算
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
obj_points, img_points, gray.shape[::-1], None, None)
return mtx, dist
实际项目中需要采集15-20张不同角度的标定板图像。建议采用带温度补偿的陶瓷标定板，避免热胀冷缩影响标定精度。
3.2.2 双相机外参标定
完成单相机标定后，使用立体标定获取相机间的位置关系：
python复制def stereo_calibrate(mtx1, dist1, mtx2, dist2, image_pairs):
# 初始化参数
flags = cv2.CALIB_FIX_INTRINSIC
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-5)
# 收集对应点
all_img_points1 = []
all_img_points2 = []
obj_points = []
# 与单目标定类似，此处省略采集过程...
# 立体标定
ret, _, _, _, _, R, T, E, F = cv2.stereoCalibrate(
obj_points, all_img_points1, all_img_points2,
mtx1, dist1, mtx2, dist2, image_size,
criteria=criteria, flags=flags)
return R, T
得到的旋转矩阵R和平移向量T就是两个相机间的空间关系。实测时建议在测量空间内均匀布置5个以上标定板位置。
3.2 坐标统一计算
3.2.1 三维重建原理
通过极线几何将二维图像点映射到三维空间：
python复制def triangulate_points(pt1, pt2, P1, P2):
# P1,P2是投影矩阵
A = np.zeros((4,4))
A[0] = pt1[0]*P1[2] - P1[0]
A[1] = pt1[1]*P1[2] - P1[1]
A[2] = pt2[0]*P2[2] - P2[0]
A[3] = pt2[1]*P2[2] - P2[1]
_, _, V = np.linalg.svd(A)
point_3d = V[-1,:4]
return point_3d / point_3d[3]
3.2.2 实际应用优化
在输送带定位项目中，我们采用以下优化策略：
- 特征点筛选：只保留两个相机中置信度>0.9的匹配点
- 离群点剔除：应用RANSAC算法去除错误匹配
- 运动补偿：对动态物料加入Kalman滤波预测
4. 工程实践与调优
4.1 系统精度验证方法
建立可追溯的验证体系：
- 使用激光跟踪仪测量标准件实际位置
- 对比视觉系统输出坐标
- 计算重复定位精度和绝对精度
典型验证数据示例：
| 测试点 | 实际X(mm) | 视觉X(mm) | 误差(mm) |
|---|---|---|---|
| 1 | 100.00 | 100.05 | +0.05 |
| 2 | 200.00 | 199.92 | -0.08 |
| 3 | 300.00 | 300.03 | +0.03 |
4.2 常见问题排查
-
标定板识别失败
- 检查照明均匀性
- 尝试不同的标定板类型（棋盘格/圆点）
- 调整图像预处理参数（gamma值、二值化阈值）
-
三维重建误差大
- 验证外参标定质量（重投影误差应<0.1像素）
- 检查镜头畸变校正是否充分
- 确保两个相机同步触发误差<1ms
-
动态场景模糊
- 改用全局快门相机
- 缩短曝光时间（需配合增强照明）
- 引入运动预测算法
5. 进阶应用方向
在最近的一个半导体设备项目中，我们扩展了基础方案：
- 多相机（4个）环形布局，实现360°覆盖
- 融合深度学习特征点检测，提升复杂部件的识别率
- 结合机器人运动学模型，实现闭环控制
实测显示，对于0.2mm pitch的BGA元件，该系统可以达到±0.015mm的定位精度。关键点在于：
- 采用1000万像素相机配合远心镜头
- 使用温控环境维持系统稳定性
- 开发专用的亚像素边缘检测算法
这套系统从调试到量产用了3个月时间，期间最大的教训是：必须建立完善的标定档案管理制度，每次设备维护后都要重新验证关键参数。我们专门开发了自动化标定验证工具，将标定流程从原来的2小时缩短到15分钟。