1. 项目概述
在计算机视觉和图形学领域,3D新视角合成(Novel View Synthesis, NVS)一直是一个核心挑战。传统方法如NeRF(Neural Radiance Fields)和3D高斯泼溅(3D Gaussian Splatting, 3DGS)虽然取得了显著进展,但在复杂光照条件下的表现仍然不尽如人意。现实世界中的光照变化、相机传感器差异以及图像信号处理器(ISP)的配置差异,都会导致多视图图像之间的光度不一致性,进而影响3D重建和渲染质量。
Luminance-GS++正是针对这一问题提出的创新解决方案。它基于3DGS框架,通过全局视角自适应亮度调整和局部像素级残差细化的结合,实现了对复杂光照条件的鲁棒处理。与以往方法不同,Luminance-GS++保留了3DGS的显式表示优势,在提升重建质量的同时,保持了实时渲染的高效性。
提示:3D高斯泼溅(3DGS)是一种显式的3D场景表示方法,它将场景建模为一组各向异性的3D高斯分布,相比隐式的NeRF表示,3DGS在渲染速度上具有显著优势,通常能快1000倍以上。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心问题与技术挑战
2.1 光度一致性的困境
传统3D新视角合成方法的核心假设是光度一致性(Photometric Consistency),即同一场景在不同视角下应该具有相似的外观。然而,这一假设在现实场景中常常被打破:
- 光照变化:室内外光照条件的变化会导致图像亮度和对比度的显著差异
- 相机特性:不同相机的传感器响应和ISP处理会引入颜色偏差
- 曝光差异:手动或自动曝光调整会造成图像整体亮度的不一致
这些因素共同导致了所谓的"光度退化"问题,表现为:
- 重建场景中出现浮点伪影(floaters)
- 渲染图像质量不稳定
- 新视角合成的结果出现明显的颜色和亮度偏差
2.2 现有方法的局限性
针对这些问题,研究者们已经提出了多种解决方案,但各有局限:
-
独立图像增强方法:
- 如Z-DCE、SCI等低光增强算法
- 问题:独立处理每张图像会破坏多视图间的辐射一致性
-
基于NeRF的改进方法:
- 如NeRF-W、AME-NeRF等
- 问题:受限于隐式表示的渲染速度,且对训练视图的光照条
