单应性矩阵在相机标定中的原理与应用

1. 单应性矩阵在相机标定中的核心作用

单应性矩阵（Homography Matrix）是计算机视觉领域中连接二维图像平面与三维世界空间的重要数学工具。在相机内参标定过程中，单应性矩阵扮演着桥梁角色，它能够描述同一平面在不同视角下的投影变换关系。当我们拍摄标定板（如棋盘格）时，无论相机如何移动，标定板上的物理点与图像点之间都存在特定的投影关系，这正是单应性矩阵所描述的几何变换。

单应性矩阵是一个3×3的非奇异矩阵，具有8个自由度（通常将h33设为1进行归一化）。在数学上，它可以表示为：

H = [ h11 h12 h13 ]
[ h21 h22 h23 ]
[ h31 h32 1 ]

这个矩阵能够将世界坐标系中的平面点（X,Y,1）映射到图像坐标系中的点（u,v,1），通过齐次坐标的转换关系：s[u v 1]^T = H[X Y 1]^T，其中s是比例因子。

2. 单应性矩阵的求解原理与方法

2.1 直接线性变换（DLT）算法

DLT是最基础的求解方法，通过至少4组对应点来计算单应性矩阵。每组对应点提供两个线性方程：

u = (h11X + h12Y + h13)/(h31X + h32Y + 1)
v = (h21X + h22Y + h23)/(h31X + h32Y + 1)

将这些方程重新排列，可以得到形如Ah=0的齐次线性方程组，其中A是由对应点构建的2n×9矩阵，h是单应性矩阵的元素向量。通过SVD分解求解最小二乘解，即可得到单应性矩阵的估计值。

2.2 归一化DLT算法

基础DLT算法对噪声敏感，实际应用中通常采用归一化DLT：

1. 对源点和目标点分别进行平移，使其质心位于原点
2. 进行缩放，使点到原点的平均距离为√2
3. 计算归一化后的单应性矩阵H~
4. 最后通过变换矩阵的逆运算得到原始H

这种归一化处理显著提高了算法的数值稳定性，是OpenCV等库中的标准实现方式。

2.3 鲁棒估计方法

当存在异常值时，可采用RANSAC（随机抽样一致）算法：

1. 随机选择最小样本集（4对点）计算H
2. 计算所有点的投影误差
3. 统计内点数量（误差小于阈值的点）
4. 重复多次，选择内点最多的H
5. 用所有内点重新估计H

这种方法能有效抵抗高达50%的异常值污染，在实际标定中非常实用。

3. 单应性矩阵在相机标定中的应用

3.1 从单应性到相机参数

对于平面标定板，世界坐标系可设为Z=0平面。此时投影方程简化为：

s[u v 1]^T = K[r1 r2 t][X Y 1]^T

其中K是内参矩阵，r1,r2是旋转矩阵的前两列，t是平移向量。可见单应性矩阵H与K[r1 r2 t]成比例关系。通过多幅图像的H，可以联合求解出相机内参K。

3.2 内参约束条件

旋转矩阵的正交性(r1^T r2=0, ||r1||=||r2||=1)可转化为对K的约束：
h1^T K^{-T} K^{-1} h2 = 0
h1^T K^{-T} K^{-1} h1 = h2^T K^{-T} K^{-1} h2

其中h1,h2是H的前两列。这些约束是张正友标定法的核心，通过至少3幅图像的单应性矩阵，可以解出K的5个参数（fx,fy,cx,cy,skew）。

3.3 实际标定流程

1. 采集多角度标定板图像（建议10-20张）
2. 检测每幅图像中的角点坐标
3. 计算每幅图像的单应性矩阵H
4. 构建并求解内参约束方程组
5. 优化所有参数（内参+外参+畸变）
6. 评估重投影误差验证标定质量

4. 实现细节与优化技巧

4.1 角点检测优化

精确的角点检测对单应性估计至关重要：

• 使用亚像素级角点检测（如cornerSubPix）
• 采用多尺度检测应对不同距离拍摄
• 对低对比度图像进行直方图均衡化

4.2 数值稳定性处理

• 将图像坐标归一化到[-1,1]范围
• 使用双精度浮点数计算
• 对H进行奇异值约束（强制σ2=1）

4.3 标定板设计建议

• 棋盘格边长应占图像宽度1/4以上
• 奇数×偶数格模式便于方向识别
• 使用高对比度、无反光材料
• 平面度误差小于0.1mm/m

5. 常见问题与解决方案

5.1 单应性矩阵估计不准确

可能原因：

• 角点检测误差大
• 标定板平面度差
• 镜头畸变严重

解决方案：

• 提高角点检测精度
• 使用更平整的标定板
• 先估计径向畸变进行校正

5.2 内参求解失败

可能原因：

• 图像间视角变化不足
• 运动纯旋转无平移
• 所有图像共面

解决方案：

• 确保标定板在三维空间有充分变化
• 包含不同距离、角度的拍摄
• 至少使用3组不同位姿的图像

5.3 重投影误差大

可能原因：

• 镜头畸变模型不充分
• 标定板移动导致模糊
• 错误匹配点对

解决方案：

• 增加畸变系数（k3,p1,p2）
• 确保拍摄时标定板静止
• 人工检查剔除错误匹配

6. 进阶应用与扩展

6.1 多相机系统标定

利用单应性矩阵可以：

• 计算相机间相对位姿
• 构建多视角几何约束
• 实现统一世界坐标系

6.2 动态标定技术

对于可变焦距镜头：

• 在不同焦距下分别标定
• 建立焦距-内参映射模型
• 实时查询当前焦距对应参数

6.3 非平面标定物

虽然单应性基于平面假设，但可通过：

• 多平面组合标定物
• 附加深度信息
• 结合三维重建技术

在实际项目中，我通常会采集15-20张不同角度、距离的标定图像，确保覆盖相机整个视场。同时会特别注意边缘区域的图像质量，因为这里的畸变通常最严重。标定完成后，务必检查重投影误差的分布情况——理想状态下误差应均匀分布且均值小于0.1像素。如果发现某些区域误差明显偏大，可能需要补充该视角的标定图像。