1. 立体匹配与RAFT-Stereo概述
立体匹配是计算机视觉中的经典问题,旨在从一对左右视图图像中恢复场景的三维结构。传统方法通常基于局部窗口匹配或全局能量最小化,而近年来深度学习技术彻底改变了这一领域。RAFT-Stereo作为2021年提出的创新方法,在RAFT光流算法的基础上进行了针对性改进,成为迭代式视差估计的代表性工作。
我在实际项目中使用RAFT-Stereo处理过多个室内外场景的深度估计任务,发现其相比传统方法有三个显著优势:首先,迭代优化机制使其能够逐步细化视差图;其次,多级GRU设计有效解决了弱纹理区域的匹配难题;最后,Slow-Fast策略在保持精度的同时大幅提升了推理速度。这些特性使其特别适合需要实时深度感知的应用场景,如自动驾驶、机器人导航等。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. RAFT-Stereo核心架构解析
2.1 整体流程设计
RAFT-Stereo的架构可分为三个主要阶段:
-
特征提取阶段
使用共享的CNN backbone(通常是ResNet变体)分别处理左右图像。左图额外通过context encoder提取上下文特征,这些特征将作为GRU更新的重要输入。在实际实现中,我发现使用轻量化的MobileNetV3作为backbone可以在精度损失较小的情况下显著提升速度。 -
相关金字塔构建
构建3D相关体积C ∈ ℝ^(H×W×W),通过1D池化生成4层金字塔(池化核1,2,4,8)。这里的关键创新是将RAFT的2D搜索空间缩减为1D,仅在同一Y坐标上进行水平匹配,这符合立体匹配的极线约束原理。 -
多级迭代更新
采用3级ConvGRU在不同分辨率(1/8,1/16,1/32)上协同工作。高分辨率GRU负责精确视差更新,低分辨率GRU提供全局上下文。这种设计我在实际测试中发现对大面积单色区域(如墙面、天空)的匹配效果提升明显。
2.2 与RAFT的架构对比
| 特性 | RAFT (光流) | RAFT-Stereo |
|---|---|---|
| 搜索空间 | 2D平面搜索 | 1D极线搜索 |
