相机标定：联合优化与分步优化的工程实践对比

1. 相机标定方法之争：联合优化与分步优化的本质差异

在计算机视觉和摄影测量领域，相机标定是一个基础但至关重要的环节。作为一名长期从事3D视觉研究的工程师，我经常被问到这样一个问题：在相机标定时，到底应该采用一次性联合优化所有参数的方法，还是采用分步优化的策略？这两种方法看似都能得到"不错"的结果，但背后的原理和适用场景却大相径庭。

1.1 相机标定的基本概念

相机标定的本质是通过已知的世界坐标点和它们在图像上的投影位置，求解相机的内部参数（内参）和外部参数（外参）。内参包括焦距(fx, fy)、主点(cx, cy)和畸变系数等，决定了相机本身的成像特性；外参则包括旋转矩阵R和平移向量t，描述了相机在世界坐标系中的位置和姿态。

传统的标定过程可以表述为一个非线性最小二乘问题：通过最小化重投影误差（即实际观测到的图像点与通过相机模型计算得到的投影点之间的距离）来求解这些参数。数学表达式为：

min Σ||x_i - π(K, D, R, t, X_i)||²

其中x_i是观测到的图像点，X_i是对应的世界坐标点，π是投影函数，K是内参矩阵，D是畸变参数，R和t是外参。

1.2 两种优化策略的直观对比

在实际工程中，我们通常会遇到两种截然不同的标定建议：

联合优化派主张将所有参数（内参、外参、畸变）一次性丢进优化器（如Levenberg-Marquardt算法），统一最小化重投影误差。这种方法的理论优势在于能够考虑所有参数之间的相互影响，理论上可以得到全局最优解。

分步优化派则建议先单独计算内参（通常使用张正友标定法等），然后固定内参计算外参，最后再单独优化畸变参数。这种方法看似"不完美"，但在工程实践中往往更加稳健。

为什么两种方法都能得到"看起来不错"的结果？它们真的在解决同一个问题吗？要理解这一点，我们需要深入分析参数之间的耦合关系。

2. 参数耦合：联合优化面临的本质挑战

2.1 内参与外参的尺度-姿态纠缠

在相机模型中，内参和外参之间存在着深刻的耦合关系。最典型的例子就是焦距(fx, fy)与相机到标定板距离(tz)之间的尺度模糊性。从数学上看，fx略微增大而相机略微远离标定板，可能导致重投影误差几乎不变。优化器无法区分这种"等价解释"，导致参数估计出现偏差。

这种耦合在实际标定中表现为：当你使用不同距离的标定板图像时，可能会得到明显不同的焦距估计值，尽管重投影误差都很小。这种现象在标定板姿态变化不大或深度范围有限时尤为明显。

2.2 畸变与外参的边缘误差分配

另一个典型的耦合发生在畸变参数与外参之间。图像边缘点的投影误差既可以用径向畸变来解释，也可以用相机姿态的轻微倾斜来解释。优化器在"谁来承担这些误差"之间摇摆不定，可能导致物理意义不合理的解。

例如，一个实际上没有畸变的相机，如果标定板摆放不够平整，优化器可能会"发明"出一些畸变参数来补偿外参的不准确估计。结果是重投影误差降低了，但得到的畸变模型却偏离了真实的镜头特性。

2.3 主点与畸变中心的混淆

主点(cx, cy)理论上应该是图像平面的几何中心，但在存在明显畸变的情况下，这个中心点与畸变中心可能难以区分。特别是在光照不均匀或图像噪声较大的情况下，主点偏移1-2个像素，配合畸变参数的微小调整，可能产生几乎相同的重投影误差。

这种耦合使得单纯依靠重投影误差最小化难以得到物理上准确的参数估计，尤其是在数据分布不理想的情况下。

3. 联合优化的三大潜在陷阱

3.1 数据分布不理想导致的参数不可观性

在实际标定中，我们常常面临数据分布不理想的问题。例如：

• 标定板姿态变化不大（缺乏充分的旋转和平移）
• 标定板距离变化范围有限（缺乏深度多样性）
• 边缘区域标定板角点较少（边缘信息不足）

这种情况下，某些参数可能根本"不可观"——即不同的参数值产生几乎相同的重投影误差。优化器可能收敛到一个数学上合理但物理上不正确的解。

3.2 初值敏感性与局部最优

Levenberg-Marquardt等非线性优化算法本质上是局部优化方法，对初值非常敏感。当初值偏离真实值较大时，优化器可能陷入局部最优，产生以下问题：

• 内参开始吸收外参误差（如用焦距变化补偿距离误差）
• 畸变参数进行"虚假拟合"（用复杂的畸变模型补偿其他参数的不准确）
• 得到误差很小但物理意义很差的解

这种情况在自动标定系统中尤为危险，因为用户可能无法直观判断参数是否合理，只能看到"误差很小"就认为标定成功。

3.3 重投影误差与真实度量误差的差异

工业测量关心的是世界坐标系下的绝对精度（如尺寸误差、多视角一致性），而不仅仅是像素层面的重投影误差。一个在像素层面误差很小的标定结果，可能在真实世界的测量中表现糟糕。

这种现象的原因是：重投影误差可以"平均分配"到各个参数上，而真实世界的度量误差可能对某些参数（如焦距）特别敏感。联合优化可能为了降低重投影误差而牺牲这些关键参数的准确性。

4. 分步优化的工程优势与实现策略

4.1 分步优化的核心思想：打破参数耦合

分步优化的本质优势不在于它"更精确"，而在于它人为地打破了参数之间的耦合关系，强制参数按照物理意义分阶段确定：

1. 内参标定阶段：使用多姿态、多距离的标定板图像，覆盖整个视场。目标不是最小化误差，而是确保fx、fy、cx、cy具有明确的几何意义。

   实际操作中，可以使用以下策略：

   • 确保标定板覆盖图像各个区域（中心、边缘、四角）
   • 使用不同距离的标定板图像（从最近对焦距离到较远距离）
   • 标定板姿态应包含充分的旋转和平移变化

2. 外参求解阶段：固定内参后，外参求解变成一个纯粹的刚体运动估计问题。此时的误差来源更单一，物理解释更清晰。

   这一阶段的关键是：

   • 确保标定板平面与相机成像平面有足够的角度变化
   • 对于每个姿态，使用足够多的角点（建议至少20个）
   • 考虑使用RANSAC等鲁棒方法剔除异常点

3. 畸变校正阶段：最后优化的畸变参数只负责解释镜头本身的系统误差，而不是补偿前两阶段的误差积累。

   这一阶段的注意事项：

   • 优先使用低阶畸变模型（如2阶径向畸变）
   • 检查畸变参数是否在合理范围内（如k1通常在[-0.1,0.1]之间）
   • 通过重投影误差分布图验证校正效果

4.2 分步优化的工程实现

在实际工程中，分步优化可以按照以下流程实现：

1. 初始内参估计：

   • 使用张正友标定法或类似方法获取初始内参
   • 忽略畸变或仅使用一阶径向畸变模型
   • 基于几何约束（如直线保持直线）验证内参合理性

2. 外参求解：

   • 对于每幅标定图像，使用PnP算法求解外参
   • 可选择进行全局优化（bundle adjustment）提高一致性
   • 检查外参的连续性（相邻帧间变化不应过大）

3. 畸变精修：

   • 固定内参和优化后的外参
   • 优化径向和切向畸变系数
   • 可视化畸变校正前后的图像，验证校正效果

4. 全局微调（可选）：

   • 在分步优化得到合理初值后
   • 可进行所有参数的联合微调
   • 监控各参数变化幅度，确保不偏离物理合理范围

4.3 分步优化的适用场景

分步优化特别适合以下场景：

• 初次标定：对新相机或新镜头的首次标定
• 系统搭建：多相机系统的标定，需要确保各相机参数的一致性
• 质量控制：需要可解释、物理意义明确的参数估计
• 自动化产线：需要稳定、可靠的标定流程

5. 联合优化的合理使用场景

虽然分步优化在多数情况下更稳健，但联合优化仍有其价值，特别是在以下场景：

5.1 已有可靠初值的精修

当初值足够接近真实值时（如从分步优化获得初值），联合优化可以：

• 微调各参数之间的相互影响
• 提高系统整体一致性
• 获得略优的重投影误差

此时的关键是监控参数变化幅度，确保不偏离物理合理范围。

5.2 多相机系统联合标定

当标定多个相机组成的系统时，联合优化可以：

• 同时优化所有相机的参数
• 确保多视角间的一致性
• 优化相机间的外参关系

这种情况下，通常需要：

1. 先单独标定每个相机
2. 使用分步策略初始化相机间变换
3. 最后进行全局联合优化

5.3 在线标定与长期漂移补偿

在长期运行的视觉系统中，联合优化适合：

• 小范围的在线参数微调
• 补偿温度变化导致的参数漂移
• 适应镜头或传感器的微小变化

此时优化步长应较小，并设置合理的参数变化约束。

6. 工程实践建议与常见问题排查

6.1 标定策略选择指南

根据不同的应用场景，建议采用以下策略：

6.2 常见问题与解决方案

问题1：标定误差很小，但实际测量不准

• 可能原因：参数耦合导致物理意义不合理
• 解决方案：改用分步优化，检查各阶段参数合理性

问题2：不同距离标定得到不同焦距

• 可能原因：尺度-姿态耦合，数据分布不足
• 解决方案：增加标定板距离变化范围，使用分步优化

问题3：边缘区域重投影误差明显

• 可能原因：畸变模型不足或外参不准确
• 解决方案：先检查外参，再考虑增加畸变项

问题4：标定结果不稳定（同一相机多次标定差异大）

• 可能原因：数据不足或标定板姿态变化不够
• 解决方案：增加标定图像数量（建议至少15-20张），确保充分覆盖视场

6.3 标定质量评估方法

除了重投影误差外，建议采用以下方法评估标定质量：

1. 几何一致性检查：

   • 标定板直线在校正后的图像中是否保持直线
   • 不同距离的已知长度比是否保持正确

2. 参数合理性检查：

   • 焦距是否在镜头标称范围内
   • 主点是否接近图像中心（±5%范围内）
   • 畸变系数是否在合理范围内

3. 多视角交叉验证：

   • 使用标定参数重建标定板3D位置
   • 检查不同视角下重建结果的一致性

4. 实际测量测试：

   • 测量已知尺寸的物体
   • 检查测量误差的空间分布特性

7. 高级话题与未来方向

7.1 基于深度学习的标定方法

近年来，一些研究尝试使用深度学习进行相机标定。这类方法通常：

• 直接从图像估计相机参数
• 可以处理非传统标定模式
• 可能对初始条件和数据分布更鲁棒

但目前这类方法仍面临挑战：

• 需要大量训练数据
• 物理可解释性较差
• 在精度上尚难超越传统方法

7.2 在线自标定技术

在SLAM等应用中，在线自标定是一个活跃的研究方向，主要挑战包括：

• 缺乏已知的标定目标
• 运动与参数的联合估计
• 长期运行的参数漂移问题

7.3 非传统相机模型的标定

随着新型成像设备的发展（如鱼眼镜头、折反射相机、光场相机等），传统的标定方法需要相应扩展：

• 开发更复杂的相机模型
• 设计专用的标定靶标
• 研究更鲁棒的优化策略

在实际项目中，我个人的经验是：没有放之四海而皆准的"最佳"标定方法，关键是根据应用需求选择合适的策略。对于高精度测量应用，严格的分步优化配合充分的验证通常是更可靠的选择；而对于需要频繁微调的场景，在良好初值基础上的小范围联合优化可能更实用。