计算机视觉中的3D到2D投影模型与相机标定原理

1. 图像形成的几何原理基础

在计算机视觉领域，理解3D世界如何投影到2D图像平面是基础中的基础。作为一名从事视觉算法开发多年的工程师，我经常需要向新人解释这个看似简单却蕴含丰富数学原理的过程。今天，我将从几何角度详细拆解图像形成的数学模型，让你不仅知道公式怎么写，更明白为什么这样建模。

想象你手持一台普通数码相机站在房间中央。当你按下快门时，房间内的三维物体如何变成照片上的二维像素？这个过程涉及三个关键坐标系转换：

1. 世界坐标系 - 描述物体在真实空间中的位置
2. 相机坐标系 - 从相机视角观察到的物体位置
3. 图像坐标系 - 最终呈现在照片上的像素位置

这三个坐标系之间的转换关系，构成了计算机视觉中最重要的数学模型之一 - 相机投影模型。理解这个模型，是后续进行相机标定、三维重建等高级任务的前提。

提示：虽然涉及矩阵运算，但本文只需要基础的矩阵乘法知识。我会用大量图示和实际例子帮助理解抽象概念。

2. 坐标系定义与转换原理

2.1 世界坐标系：空间的绝对参考系

世界坐标系是我们定义的绝对参考系。在房间场景中，我们可以选择任意角落作为原点(0,0,0)，通常的做法是：

• X轴：沿地板的长边方向
• Y轴：沿地板的短边方向
• Z轴：垂直于地板向上

这样，房间内任何物体点P的位置都可以用三维坐标(Xw, Yw, Zw)表示。例如，一个位于房间中央、离地1米高的物体，其坐标可能是(2.5, 3.0, 1.0)（假设房间尺寸为5m×6m）。

在实际应用中，世界坐标系的建立有几点经验：

1. 尽量使场景主要物体位于坐标系的第一象限（X,Y,Z均为正），减少负坐标带来的计算复杂度
2. 坐标系方向最好与场景主要结构对齐（如墙壁方向）
3. 原点位置应选择容易测量的固定点，如墙角、地面标记点等

2.2 相机坐标系：从镜头看世界

相机坐标系是以相机光学中心为原点的三维坐标系，其定义通常为：

• Z轴：沿相机光轴方向，指向拍摄场景
• X轴：与图像平面的水平轴平行
• Y轴：与图像平面的垂直轴平行

关键点在于：相机可以放在世界坐标系中的任意位置，指向任意方向。因此，我们需要找到世界坐标与相机坐标之间的转换关系。

这个转换包含两部分：

1. 旋转（Rotation）：3×3矩阵R，描述相机朝向
2. 平移（Translation）：3×1向量t，描述相机位置

数学表达为：
P_camera = R·P_world + t

其中：

• P_camera是点在相机坐标系下的坐标
• P_world是同一点在世界坐标系下的坐标
• R是旋转矩阵
• t是平移向量

注意：旋转矩阵R虽然是一个3×3的矩阵，但实际上只有3个自由度（DoF），可以用欧拉角（yaw, pitch, roll）或旋转向量表示。

2.3 外参矩阵：世界到相机的转换

为了计算方便，我们通常将旋转和平移合并成一个3×4的外参矩阵（Extrinsic Matrix）：

[ R | t ]

这样，坐标转换可以表示为：
P_camera = [R|t]·P_world_homogeneous

其中P_world_homogeneous是P_world的齐次坐标形式，即在原有三维坐标后加一个1：(Xw, Yw, Zw, 1)。

齐次坐标是计算机视觉中的重要概念，它允许我们用线性变换表示包括平移在内的所有刚体变换。此外，齐次坐标还能优雅地处理无穷远点等特殊情况。

3. 从3D到2D的投影过程

3.1 针孔相机模型

得到相机坐标系下的3D点后，下一步是将其投影到2D图像平面。最常用的模型是针孔相机模型，其核心假设是：

1. 光线通过一个无限小的孔（光学中心）
2. 图像在孔后的焦平面上形成

为了数学上的便利，我们使用虚拟图像平面（位于光学中心前方），这样图像方向与世界方向一致，避免了倒像问题。

投影公式基于相似三角形原理：
u = f·Xc/Zc
v = f·Yc/Zc

其中：

• (u,v)是图像平面坐标
• f是焦距（光学中心到图像平面的距离）
• (Xc,Yc,Zc)是点在相机坐标系下的坐标

3.2 内参矩阵：相机自身的特性

将投影关系表示为矩阵形式：

[u] [f 0 0][Xc]
[v] = [0 f 0][Yc]
[1] [0 0 1][Zc]

这个3×3矩阵称为内参矩阵（Intrinsic Matrix），它包含了相机自身的几何特性。更完整的内参矩阵考虑以下因素：

1. 像素长宽比：实际相机传感器像素可能不是正方形
2. 主点偏移：图像中心可能不与光学中心重合
3. 轴倾斜：传感器x和y轴可能不完全垂直

因此，完整的内参矩阵K表示为：

K = [fx s cx]
[0 fy cy]
[0 0 1 ]

其中：

• fx, fy：x和y方向的焦距（以像素为单位）
• cx, cy：主点坐标（通常接近图像中心）
• s：轴倾斜系数（现代相机通常为0）

3.3 像素坐标系：从物理尺寸到像素位置

最后一步是将物理坐标(u,v)转换为像素坐标(u',v')。这需要考虑：

1. 图像坐标系原点通常在左上角
2. 像素尺寸可能不是正方形
3. 可能存在缩放因子

转换关系为：
u' = (u/sx) + u0
v' = (v/sy) + v0

其中：

• sx, sy：x和y方向的像素尺寸（mm/pixel）
• u0, v0：主点像素坐标

4. 完整投影流程与实用技巧

4.1 三步投影过程总结

将上述步骤整合，从世界坐标到像素坐标的完整流程为：

1. 世界坐标→相机坐标：使用外参矩阵[R|t]
   P_camera = [R|t]·P_world_homogeneous

2. 相机坐标→图像物理坐标：投影
   u = fx·Xc/Zc + cx
   v = fy·Yc/Zc + cy

3. 图像物理坐标→像素坐标：考虑像素尺寸和原点偏移

在实际编程实现时，OpenCV等库提供了现成的函数完成这些转换。但理解背后的数学原理对于调试和优化算法至关重要。

4.2 实际应用中的注意事项

1. 坐标系一致性：确保所有坐标系定义一致（如右手系还是左手系），否则会导致符号错误

2. 单位统一：世界坐标单位（米/毫米）与焦距单位（像素）需要协调

3. 矩阵乘法顺序：矩阵乘法不满足交换律，必须严格按照P'=K[R|t]P的顺序计算

4. 畸变校正：真实镜头存在畸变，需先校正再应用上述线性模型

5. 数值稳定性：当Zc接近0时（点在相机附近），计算结果会不稳定

4.3 常见问题排查

问题1：投影后的点全在图像角落或外部

• 检查外参矩阵，可能是旋转矩阵定义错误
• 确认世界坐标系与相机坐标系的对应关系

问题2：图像严重拉伸或压缩

• 检查内参矩阵的fx和fy是否设置正确
• 确认像素长宽比参数

问题3：投影点位置有系统性偏移

• 检查主点坐标(cx,cy)是否正确
• 确认图像坐标系原点定义（左上角还是中心）

5. 相机标定实战建议

理解了投影几何后，相机标定就是求解内参和外参矩阵的过程。以下是几点实战建议：

1. 标定板选择：使用高对比度、特征点清晰的棋盘格或圆点标定板

2. 拍摄角度：从不同角度拍摄15-20张标定板图像，确保覆盖图像各个区域

3. 环境光照：保持均匀光照，避免反光和阴影影响特征点检测

4. 标定工具：推荐使用OpenCV的calibrateCamera函数，它实现了张正友标定法

5. 结果验证：计算重投影误差，通常应小于0.5像素

6. 动态标定：对于变焦镜头，需要在不同焦距下分别标定

在标定过程中，理解每个参数的实际物理意义非常重要。例如：

• fx/fy：反映了相机的视野范围，值越小视野越广
• cx/cy：指示了光轴与图像中心的偏差
• 畸变系数：量化了镜头的桶形/枕形畸变程度

掌握这些几何原理后，你就能更自信地处理各种计算机视觉任务，从增强现实到三维重建，都建立在这个基础模型之上。