1. 双目视觉与CREStereo算法概述
双目视觉(Stereo Vision)是计算机视觉领域的一个重要研究方向,它通过模拟人类双眼的视觉原理,利用两个相机从不同角度拍摄同一场景的图像,然后通过计算图像中对应像素点的位移(即视差)来获取场景的深度信息。这项技术在自动驾驶、增强现实、3D建模等领域有着广泛的应用。
CREStereo(Cascaded Recurrent Stereo)是2022年由旷视科技提出的一种新型立体匹配算法,它在Middlebury和ETH3D等权威测试集上取得了当时最优异的成绩。该算法主要解决了传统立体匹配方法在真实应用场景中面临的三大挑战:
- 细薄结构(如铁丝网、头发等)的视差计算不准确
- 相机未完全校准(非理想校正)导致的匹配失败
- 特殊场景(如无纹理区域、重复纹理区域)的处理效果不佳
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 传统立体匹配方法的局限性
2.1 局部匹配与全局匹配方法
传统立体匹配方法主要分为局部匹配和全局匹配两大类:
- 局部匹配方法:在极线(epipolar line)上使用支持窗口计算匹配代价
- 全局匹配方法:将立体匹配视为优化问题,通过置信传播或图割算法优化代价函数
这些方法虽然在简单场景下表现尚可,但在处理复杂场景时存在明显不足:
- 对细薄结构的处理能力有限
- 对光照变化敏感
- 计算复杂度高,难以实时处理高分辨率图像
2.2 基于深度学习的立体匹配方法
随着深度学习的发展,基于卷积神经网络(CNN)的立体匹配方法取得了显著进步。这些方法大致可分为两类:
- 2D卷积网络:如DispNet、RAFT-Stereo等
- 3D卷积网络:如PSMNet、GCNet等
虽然这些方法在精度上有了很大提升,但仍然存在以下问题:
- 高分辨率图像处理困难(特别是3D卷积方法内存消耗大)
- 对非理想校正的图像对鲁棒性不足
- 在无纹理或重复纹理区域表现不佳
3. CREStereo算法核心设计
3.1 整体架构设计
CREStereo采用了一种级联循环的网络结构,整体架构如图1所示。该架构包含两个主要部分:
- 训练阶段:使用三级特征金字塔(1/16, 1/8, 1/4分辨率)进行分层细化
- **推
