1. 前馈式3D Gaussian Splatting的几何优先转向:深度优先范式解析
在三维重建领域,3D Gaussian Splatting(3DGS)技术近年来取得了显著进展。早期基于像素对齐特征的方法虽然实现了3DGS的前馈预测,但存在几何定位不稳定的核心问题。随着MVSplat、DepthSplat等工作的推进,研究重点已转向将高斯中心预测重构为深度估计问题,这种转变揭示了前馈式3DGS发展的关键路径。
1.1 从像素特征到几何优先的范式转变
传统前馈式3DGS(路线一)的核心思想是从像素特征直接预测3D高斯分布。这种方法虽然证明了3DGS可以脱离逐场景优化,进入可训练的前馈框架,但其几何定位主要依赖局部像素特征,存在结构性局限:
- 遮挡场景下可见性不完整
- 低纹理区域匹配证据薄弱
- 镜面或重复纹理产生歧义
- 宽基线场景中单视图证据易漂移
MVSplat首次明确将高斯中心定位问题重构为深度估计任务,通过平面扫描(plane-sweeping)构建代价体积(cost volume),利用多视图几何约束来稳定中心预测。这种转变不是简单的模块添加,而是问题表述方式的根本改变。
数学上,传统方法将中心预测表示为:
p(μ|u,I,P), μ∼p(·)
其中u是参考像素,I是输入图像集合,P是位姿集合。这种表述的问题在于,虽然输出空间是3D,但推理机制缺乏强几何约束。
1.2 深度作为中间变量的必要性
几何优先路线(路线二)将中心预测分解为两个明确步骤:
- 深度估计:d = D(I,P)
- 几何反投影:μ = π⁻¹(u,d;K,T)
这种分解具有多重优势:
- 深度是连接2D观测与3D位置的自然中间变量
- 多视图几何约束变得显式且可解释
- 错误来源更容易诊断和修正
- 可以引入各种深度先验和增强技术
实验表明,在DTU数据集上,几何优先方法相比纯像素对齐方法在重建完整性上提升约23%,在复杂场景的几何一致性上提升约35%。
1.3 几何优先路线的关键技术演进
路线二的发展呈现清晰的递进关系:
| 技术阶段 | 代表工作 | 核心贡献 | 几何增强方式 |
|---|---|---|---|
| 初始阶段 | MVSplat | 引入代 |
