TR2M：视觉语言融合的单目深度估计新方法

1. 论文背景与核心问题

在计算机视觉领域，单目深度估计一直是个极具挑战性的任务。当前主流方法主要分为两类：绝对深度估计（MMDE）和相对深度估计（MRDE）。绝对深度估计能给出具体的物理尺度（如米为单位），但这类模型往往只能在特定场景下表现良好，换个环境就可能完全失效。相对深度估计虽然在不同场景间泛化能力更强，但由于缺乏绝对尺度信息，在实际应用中常常会遇到"知道哪个物体更近，但不知道具体距离"的尴尬情况。

这个问题在自动驾驶、机器人导航、增强现实等应用中尤为突出。想象一下，一个扫地机器人如果只能判断障碍物的相对远近而不知道具体距离，就很难规划最优清扫路径；或者一个AR应用如果无法准确估算物体的绝对深度，虚拟物体和真实场景的融合就会显得不自然。

2. TR2M方法详解

2.1 整体框架设计

TR2M的核心创新在于同时利用视觉和语言两种模态的信息来解决尺度模糊问题。如图2所示，框架包含以下几个关键组件：

1. 双编码器结构：使用预训练的CLIP模型作为基础，分别提取图像和文本特征。这里特别值得注意的是，作者选择冻结这些预训练模型的参数，只训练后续的跨模态融合模块，这种设计大大减少了可训练参数的数量。

2. 跨模态注意力模块：这是整个框架的灵魂所在。通过交叉注意力机制，让图像特征能够"询问"文本描述中可能包含的尺度线索。比如当文本中出现"一张办公桌"时，模型就能结合常识推断出桌子的大致高度范围。

3. 双级重缩放预测：不同于以往方法只预测一个全局缩放因子，TR2M同时预测粗粒度的全局因子和细粒度的逐像素重缩放图。这种设计能够处理场景中不同区域可能需要不同缩放比例的情况。

2.2 关键技术亮点

2.2.1 伪绝对深度生成策略

由于绝对深度标注数据稀缺且获取成本高，作者设计了一套自动生成伪标签的流程：

1. 首先使用现有的相对深度模型生成初始预测
2. 然后利用场景中的已知物体尺寸（如椅子高度约0.5米）作为锚点
3. 通过RANSAC算法筛选出最可靠的尺度转换关系
4. 最终生成伪绝对深度图用于监督训练

实践建议：在实际应用中，可以结合特定场景的先验知识来优化这个流程。比如在室内场景中，可以预设门、窗户等标准尺寸作为额外锚点。

2.2.2 双级尺度对比学习

这是另一个关