Metric3D：单图像零样本度量3D预测技术解析

1. Metric3D：单图像零样本度量3D预测技术解析

在计算机视觉领域，3D重建一直是自动驾驶、机器人导航等应用的核心技术。传统方法依赖多视角几何，而单目深度估计则面临两大挑战：一是模型通常只能针对特定相机训练，二是现有泛化性强的模型无法恢复真实尺度。Metric3D通过创新的规范相机空间变换模块，首次实现了从单张图片预测具有真实物理尺度的3D结构。

2. 技术背景与核心问题

2.1 单目深度估计的演进历程

单目深度估计方法经历了三个发展阶段：

1. 早期度量深度模型
   在NYU Depth、KITTI等固定相机数据集上表现优异，但完全无法泛化到新相机。这类模型将深度估计视为回归问题，直接预测连续深度值。例如Eigen等人提出的多尺度卷积网络，在NYU Depth v2数据集上达到了0.158的RMSE。然而当测试相机与训练相机不同时，性能会急剧下降。

2. 相对深度模型
   为了解决泛化问题，研究者转向相对深度估计。这类方法只预测点与点之间的前后关系，不关心绝对距离。代表性工作包括DIW和OASIS数据集。虽然获得了场景泛化能力，但丢失了关键的几何结构信息，难以应用于需要精确测量的场景。

3. 仿射不变深度模型
   当前最先进的MiDaS、LeReS等方法通过大规模数据训练，学习仿射不变的深度表示。预测深度与真实深度存在线性关系d_pred = a×d_true + b，其中a和b未知。这类模型在保持几何结构的同时获得了良好的泛化性，但无法用于需要绝对尺度的应用。

2.2 关键挑战：度量模糊性

从单图像恢复度量深度的根本困难在于相机参数的模糊性。考虑两个场景：

• 同一物体在不同焦距下拍摄：长焦距相机在较远距离拍摄的物体，与短焦距相机在较近距离拍摄的物体，可能在图像中呈现相同大小
• 不同像素尺寸的传感器：像素尺寸减半的传感器，若焦距也减半，成像几何关系保持不变

这种模糊性导致网络难以直接从图像外观学习绝对深度。现有解决方案要么限制相机类型牺牲泛化性，要么放弃度量信息只预测相对深度。

3. Metric3D核心技术解析

3.1 规范相机空间变换

Metric3D的核心创新是将所有训练数据映射到一个统一的规范相机空间。这个思路借鉴了人体姿态估计中的"