1. GwcNet:立体匹配领域的革新者
2019年,一篇题为《Group-wise Correlation Stereo Network》的论文在CVPR会议上引起了计算机视觉领域的广泛关注。这个被称为GwcNet的立体匹配网络,通过创新的"分组相关"(group-wise correlation)机制,在KITTI和SceneFlow等主流立体匹配基准测试中取得了当时最先进的性能表现。
立体匹配作为计算机视觉的基础任务之一,其核心目标是从一对经过校准的左右视图图像中,找到对应像素点的水平位移(即视差)。这个看似简单的任务背后,却蕴含着计算机视觉领域数十年来持续攻克的难题。传统方法如SGM(Semi-Global Matching)虽然在某些场景下表现稳定,但在纹理缺失区域、重复纹理区域以及遮挡区域的表现始终不尽如人意。
立体匹配的难点在于:它本质上是一个病态问题(ill-posed problem)。同一场景可能有无限多种深度分布都能生成相同的图像对,因此需要引入各种先验假设来约束解空间。
深度学习时代的到来为立体匹配带来了新的解决思路。从最初的MC-CNN(Matching Cost CNN)开始,研究者们尝试用卷积神经网络来学习匹配代价的计算。随后出现的DispNet、GC-Net等端到端网络进一步推动了这一领域的发展。然而,这些方法要么计算代价过高,要么在细节保持和遮挡处理上存在明显缺陷。
GwcNet的创新之处在于它巧妙地结合了3D卷积的高效性和分组相关操作的表达能力。具体来说,它提出了以下关键设计:
-
分组相关层(Group-wise Correlation Layer):将特征通道分成多个组,分别计算左右特征图的相关性,最后拼接成4D代价体(cost volume)。这种设计比传统的全连接相关(full correlation)更具表达能力,又比简单的逐点相关(dot product)更高效。
-
3D沙漏网络(3D Hourglass Network):采用堆叠的3D沙漏结构进行代价聚合,通过多尺度特征融合和中间监督来优化视差预测。
-
多尺度预测与精炼:网络在不同深度输出多个视差图,通过级联精炼逐步提升预测精度。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. GwcNet的核心架构解析
2.1 特征提取模块
GwcNet的特征提取部分采用了一个轻量化的2D卷积网络,通常基于ResNet或类似结构。这个模块接收左右图像对作为输入,输出高维特征图。值得注意的是,为了保持特征的细粒度信息,网络通常会保留相对较高的空间分辨率(通常是输入图像的1/4或1/8大小)。
特征提取的关键设计考量包括:
- 使用空洞卷积(dilated convolution)在保持感受野的同时不降低分辨率
- 采用批归一化(Batch
