1. 前馈式3D Gaussian Splatting的几何优先转向：深度优先范式解析
在三维重建领域，3D Gaussian Splatting（3DGS）技术近年来取得了显著进展。早期基于像素对齐特征的方法虽然实现了3DGS的前馈预测，但存在几何定位不稳定的核心问题。随着MVSplat、DepthSplat等工作的推进，研究重点已转向将高斯中心预测重构为深度估计问题，这种转变揭示了前馈式3DGS发展的关键路径。
1.1 从像素特征到几何优先的范式转变
传统前馈式3DGS（路线一）的核心思想是从像素特征直接预测3D高斯分布。这种方法虽然证明了3DGS可以脱离逐场景优化，进入可训练的前馈框架，但其几何定位主要依赖局部像素特征，存在结构性局限：
- 遮挡场景下可见性不完整
- 低纹理区域匹配证据薄弱
- 镜面或重复纹理产生歧义
- 宽基线场景中单视图证据易漂移
MVSplat首次明确将高斯中心定位问题重构为深度估计任务，通过平面扫描（plane-sweeping）构建代价体积（cost volume），利用多视图几何约束来稳定中心预测。这种转变不是简单的模块添加，而是问题表述方式的根本改变。
数学上，传统方法将中心预测表示为：
p(μ|u,I,P), μ∼p(·)
其中u是参考像素，I是输入图像集合，P是位姿集合。这种表述的问题在于，虽然输出空间是3D，但推理机制缺乏强几何约束。
1.2 深度作为中间变量的必要性
几何优先路线（路线二）将中心预测分解为两个明确步骤：
- 深度估计：d = D(I,P)
- 几何反投影：μ = π⁻¹(u,d;K,T)
这种分解具有多重优势：
- 深度是连接2D观测与3D位置的自然中间变量
- 多视图几何约束变得显式且可解释
- 错误来源更容易诊断和修正
- 可以引入各种深度先验和增强技术
实验表明，在DTU数据集上，几何优先方法相比纯像素对齐方法在重建完整性上提升约23%，在复杂场景的几何一致性上提升约35%。
1.3 几何优先路线的关键技术演进
路线二的发展呈现清晰的递进关系：
| 技术阶段 | 代表工作 | 核心贡献 | 几何增强方式 |
|---|---|---|---|
| 初始阶段 | MVSplat | 引入代价体积 | 平面扫描+多视图匹配 |
| 扩展阶段 | FreeSplat | 长序列场景处理 | 局部自适应代价体积 |
| 融合阶段 | DepthSplat | 深度-高斯双向促进 | 单目+多视图特征融合 |
| 先验阶段 | MonoSplat | 引入基础模型先验 | 单目深度基础模型 |
| 细化阶段 | IDESplat | 迭代深度概率增强 | 级联深度概率优化 |
这种演进反映了从"有没有几何"到"几何是否足够强、足够稳"的认知深化过程。
2. 代价体积与多视图几何的回归
2.1 MVSplat的机制革新
MVSplat的创新性不在于简单引入代价体积，而在于改变了高斯中心预测的基本机制。其代价体积构建可表示为：
Cᵥ(u,k) = Agg_{j≠v} ϕ(fᵥ(u), W_{j→v}^{(dₖ)}(fⱼ))
其中：
- Cᵥ(u,k)：视图v像素u在深度候选dₖ上的匹配代价
- fᵥ：图像特征
- W_{j→v}^{(dₖ)}：在深度假设dₖ下的特征warp
- Agg：跨视图聚合算子
- ϕ：相似性函数
这种机制使系统不再仅依赖局部外观特征，而是显式评估不同深度假设下的多视图一致性。
2.2 平面扫描的适配性分析
平面扫描技术特别适合高斯中心定位，因为它：
- 将连续深度空间离散化为可管理的假设集合
- 提供明确的几何解释性
- 天然适配透视投影下的反投影操作
- 允许引入各种匹配代价和聚合策略
深度概率计算可表示为：
pᵥ(u,k) = softmax(-Cᵥ(u,k))
dᵥ(u) = Σ_k pᵥ(u,k)·dₖ
这种概率化处理增强了系统对模糊区域的鲁棒性。
2.3 代价体积与注意力机制的比较
虽然代价体积和注意力机制都能实现跨视图聚合，但存在本质区别：
| 特性 | 代价体积 | 注意力机制 |
|---|---|---|
| 组织原则 | 显式几何假设 | 特征空间相关性 |
| 可解释性 | 强几何意义 | 黑箱关系 |
| 计算成本 | 与假设数线性相关 | 与序列长度平方相关 |
| 适用场景 | 已知位姿的多视图重建 | 灵活的关系建模 |
在实际系统中，二者常结合使用：代价体积作为几何主干，注意力机制辅助特征增强。
3. 长序列场景的几何组织挑战
3.1 FreeSplat的适应性改进
FreeSplat针对长序列场景提出两大创新：
- 局部自适应代价体积：
Cᵥ^{local}(u,k) = Agg_{j∈N(v)} ϕ(fᵥ(u), W_{j→v}^{(dₖ)}(fⱼ))
其中N(v)是视图v的邻近视图集合，这种局部化处理显著降低了长序列的计算开销。
- 像素级三元组融合：
G̃ₘ = Fuse({Gᵢ}_{i∈Ωₘ})
该操作解决了同一结构在不同视图中重复生成高斯导致的冗余问题，提升了场景一致性。
3.2 长序列带来的新挑战
室内长序列场景引入三类系统压力：
- 跨视图冗余累积：随着视图增加，重复观察导致高斯冗余
- 动态遮挡关系：长路径中遮挡模式复杂变化
- 局部片段不一致：同一结构在不同子序列中表征不一致
FreeSplat的解决方案在Tanks and Temples数据集上实现了约28%的内存节省和15%的渲染速度提升。
4. 深度与高斯的双向促进机制
4.1 DepthSplat的闭环设计
DepthSplat建立了深度估计与高斯重建之间的双向促进关系：
- 深度→高斯：
d = D_{mv}(C_{mvs}, F_{mono})
μ = π⁻¹(u,d;K,T)
利用预训练单目深度特征增强多视图深度估计，进而提升高斯定位。
- 高斯→深度：
L = λ_{rgb}L_{render} + λ_{depth}L_
将渲染损失作为深度特征的自监督信号，形成闭环优化。
4.2 光度一致性监督的局限性
虽然光度一致性（photometric consistency）是必要的监督信号，但存在明显局限：
- 对重复纹理和镜面反射敏感
- 无法解决几何模糊性问题
- 在低纹理区域提供弱约束
- 可能收敛到局部最优解
实验显示，在反射表面区域，纯光度监督的深度误差是几何监督方法的2-3倍。
5. 基础模型先验的引入
5.1 MonoSplat的架构创新
MonoSplat通过三个关键组件注入基础模型先验：
-
单目深度特征提取：
F_{mono} = E_{fdm}(I) -
特征适配器：
F_{mv} = A(F_{mono}, I, P) -
高斯预测：
G = P(F_{mono}, F_{mv})
这种设计使系统既能利用大规模预训练知识，又能适应多视图重建需求。
5.2 基础先验的价值与风险
单目深度先验的主要价值：
- 提供合理的初始几何猜测
- 增强对非常见内容的泛化能力
- 改善低纹理区域的填充质量
- 提供全局场景理解
潜在风险：
- 可能引入领域偏差
- 尺度一致性难以保证
- 对透明/反射表面处理不佳
在ScanNet数据集上的实验表明，基础先验使泛化性能提升约18%，但需要精心设计的适配器来缓解领域偏移。
6. 迭代深度概率增强
6.1 IDESplat的渐进细化
IDESplat提出迭代深度概率增强（Iterative Depth Probability Boosting）：
p^{(t+1)}(u,k) ∝ p^{(t)}(u,k)·ψ^{(t)}(u,k)
其中ψ^{(t)}是通过极线注意力（epipolar attention）生成的增强信号。这种迭代过程使深度概率分布逐渐锐化，定位精度逐步提高。
6.2 迭代机制的优势
相比单次代价体积，迭代增强提供：
- 更稳定的深度估计
- 更精细的概率分布
- 更强的歧义消除能力
- 更好的遮挡处理
在ETH3D高分辨率数据集上，迭代方法将深度误差降低了约22%，特别是在遮挡边界区域改善明显。
7. 几何优先路线的统一框架
7.1 深度优先的高斯预测
路线二可抽象为统一框架：
- 几何表征构建：Z_{geo} = Φ(I,P,S)
- 深度估计：d = D(Z_{geo})
- 中心反投影：μ = π⁻¹(u,d;K,T)
- 高斯预测：G = (μ_i, θ_{rest,i})_{i=1}^N
其中S表示各种几何增强源（代价体积、基础先验等）。
7.2 核心贡献总结
路线二的本质贡献是确立了"深度优先"的高斯预测范式：
- 将中心定位明确为深度估计问题
- 通过多视图几何约束增强预测稳定性
- 引入各种深度增强技术（迭代优化、基础先验等）
- 保持3DGS的显式表示和实时渲染优势
8. 当前局限与未来方向
8.1 几何优先路线的剩余挑战
- 复杂遮挡处理：在重度遮挡场景仍存在约15-20%的定位误差
- 大尺度一致性：大规模场景的尺度漂移问题尚未完全解决
- 动态场景适应：对非刚性变形的处理能力有限
- 计算效率：几何增强带来约30-40%的额外计算开销
8.2 与其他路线的协同可能
- 与大模型结合（路线三）：增强上下文理解能力
- 与无位姿方法结合（路线四）：拓展应用场景
- 与结构化潜空间结合（路线五）：提升表示效率
在实际系统设计中，几何优先路线仍将是已知位姿场景重建的首选方案，特别是在需要平衡质量和效率的工程场景中。随着深度估计技术的持续进步，这种范式有望进一步释放3DGS在AR/VR、机器人导航等领域的应用潜力。