1. 泊车场景重建技术现状与挑战
在自动驾驶技术快速发展的今天，自动泊车系统（APS）作为最接近量产的自动驾驶功能之一，面临着独特的感知与定位挑战。与开放道路驾驶不同，泊车场景通常发生在GPS信号微弱或完全缺失的地下停车场，环境特征重复度高，光照条件复杂，这对传统基于视觉的感知系统提出了严峻考验。
当前主流的泊车感知方案主要依赖环视鱼眼相机系统，通过逆透视变换（IPM）将多视角图像转换为鸟瞰图（BEV）表示，进而实现车位检测和车辆定位。然而，这种二维感知方式存在明显局限：无法准确捕捉三维空间中的复杂几何关系，导致在斜向车位、异形车位等场景下检测精度下降。更重要的是，缺乏真实的三维环境表示，使得泊车系统的仿真测试和算法验证难以开展。
2. ParkGaussian技术框架解析
2.1 3D高斯泼溅基础原理
3D高斯泼溅（3DGS）是近年来兴起的一种新型场景表示方法，它通过数以万计的可学习3D高斯椭球来表征场景几何和外观。每个高斯元包含以下属性：
- 中心位置μ ∈ R³
- 协方差矩阵Σ = RSSTRT（由旋转R和缩放S决定）
- 不透明度α
- 球谐函数系数（用于视角相关的外观建模）
渲染时，3D高斯会通过透视投影转化为2D图像空间的高斯分布，然后按照深度顺序进行alpha混合，最终合成像素颜色。这种表示方式兼具显式方法的快速渲染优势和隐式方法的高质量重建能力。
2.2 针对鱼眼镜头的UT投影改进
传统3DGS使用一阶泰勒展开近似投影变换，这在普通针孔相机中表现良好，但对于畸变严重的鱼眼镜头会产生明显误差。ParkGaussian创新性地引入无迹变换（Unscented Transform）投影方法：
- 对每个3D高斯，采样2n+1个sigma点（n=3为空间维度）
- 将这些点通过精确的非线性鱼眼投影模型变换到图像平面
- 根据变换后的点集计算新的均值和协方差
数学表达为：
code复制X_i = μ + (√(n+λ)chol(Σ))_i, i=1..2n
Y_i = π(X_i)
μ' = Σw_iY_i
Σ' = Σw_i(Y_i-μ')(Y_i-μ')^T
其中π(·)为鱼眼投影函数。这种方法避免了复杂的雅可比矩阵计算，在保持实时渲染速度的同时，显著提升了强畸变情况下的投影精度。
2.3 车位感知重建策略
ParkGaussian的核心创新在于将下游感知任务的知识反向注入重建过程，具体实现包括两个关键模块：
2.3.1 可微分IPM管道
-
鱼眼到BEV的几何变换：
- 通过已知标定参数将鱼眼像素(u,v)反投影到3D射线
- 与预设地面平面(z=0)求交得到3D点
- 重投影到统一的BEV坐标系
-
实现特点：
- 全程可微分，支持梯度反向传播
- 处理四路环视相机的视场重叠区
- 动态调整地面平面假设以适应坡度变化
2.3.2 多任务感知监督
ParkGaussian联合优化三种损失函数：
-
光度损失（Photometric Loss）：
code复制L_rgb = Σ||I_rendered - I_gt||_2 -
车位角点感知损失：
- 使用预训练的DMPR-PS网络提取角点热图
- 计算教师（真值）与学生（渲染）特征间的KL散度
code复制L_corner = KL(M_teacher||M_student) -
车位边缘感知损失：
- 通过GCN-Parking网络获取边缘预测
- 采用结构化对比损失强化车位边界一致性
code复制L_edge = -log(σ(s_teacher·s_student))
这些损失通过自适应权重融合，在训练过程中动态调整各部分的贡献比例，确保模型在保持整体重建质量的同时，特别关注车位区域的关键几何特征。
3. ParkRecon3D数据集构建
3.1 数据采集规范
ParkRecon3D数据集建立在一套严格的采集标准之上：
-
传感器配置：
- 4x 190° FOV鱼眼相机（前/后/左/右）
- 1280×960分辨率 @ 10fps
- 同步精度<1ms
-
环境覆盖：
- 3个典型地下停车场
- 包含平地/斜坡、直/斜车位等多种布局
- 不同光照条件（正常照明/应急照明/混合照明）
-
标注标准：
- 6DoF相机位姿（COLMAP稀疏重建+人工校验）
- 车位角点像素级标注（BEV空间）
- 车位类型分类（标准/紧凑/残疾人/充电等）
3.2 基准测试设计
数据集提供四种评估模式：
-
新视角合成：
- 8条测试轨迹（每场景2条）
- 度量指标：PSNR/SSIM/LPIPS
-
车位检测：
- 两种评价协议：
- 角点检测（距离阈值τ=15cm）
- 车位实例检测（IoU阈值0.5）
- 两种评价协议：
-
长期一致性：
- 24小时序列测试
- 度量重建结果的时域稳定性
-
极端条件：
- 低光照（<50lux）
- 高动态范围（车灯直射）
4. 实验分析与工程洞见
4.1 量化结果对比
在ParkRecon3D测试集上的关键指标：
| 方法 | PSNR↑ | SSIM↑ | LPIPS↓ | 角点AP↑ | 边缘F1↑ |
|---|---|---|---|---|---|
| OmniRe | 21.3 | 0.78 | 0.31 | 0.42 | 0.38 |
| 3DGUT | 23.7 | 0.82 | 0.25 | 0.51 | 0.45 |
| Self-Cali-GS | 24.1 | 0.83 | 0.23 | 0.53 | 0.47 |
| ParkGaussian | 26.5 | 0.88 | 0.18 | 0.68 | 0.62 |
特别值得注意的是，ParkGaussian在车位相关指标上的优势更为明显（角点AP提升15%），这验证了车位感知策略的有效性。
4.2 关键工程实现细节
-
高斯初始化策略：
- 使用COLMAP稀疏点云作为初始位置
- 初始尺度根据深度估计自适应设置
- 采用分块加载处理大场景
-
训练技巧：
- 分阶段优化：
- 前20k迭代：仅光度损失
- 后10k迭代：加入感知损失
- 自适应权重调整：
code复制其中t为当前迭代，T为总迭代数λ = 0.5*(1+cos(πt/T))
- 分阶段优化：
-
实时性优化：
- 基于视锥的快速高斯剔除
- SIMD加速的UT投影计算
- 多分辨率渲染管线
5. 实际部署考量
5.1 系统集成方案
在实际泊车系统中，ParkGaussian可以两种模式工作：
-
离线建图模式：
- 采集环视视频（2-5mph）
- 云端GPU集群重建
- 生成高精语义地图（含车位元数据）
-
在线定位模式：
- 实时渲染合成视图
- 与当前感知结果匹配
- 提供厘米级定位
5.2 边缘案例处理
针对实际场景中的挑战，我们总结了以下解决方案：
-
动态物体：
- 基于光流的运动分割
- 动态区域特殊标记
- 多帧融合去噪
-
镜面反射：
- 偏振光辅助采集
- 反射率估计网络
- 物理反射模型融合
-
弱纹理区域：
- 惯性测量辅助
- 语义补全网络
- 结构化先验注入
6. 未来演进方向
基于当前成果，我们认为泊车场景重建技术将向以下方向发展：
-
多模态融合：
- 鱼眼相机+短距雷达互补
- 跨模态表示学习
- 不确定性感知融合
-
增量式重建：
- 滑动窗口优化
- 变化检测与局部更新
- 众包建图协同
-
语义化建模：
- 实例级物体编码
- 可交互语义元素
- 场景图表示学习
在实际工程落地中，我们发现重建质量与计算效率的平衡至关重要。通过将高斯数量控制在50-100万之间，配合适当的量化压缩，可以在RTX 3060级硬件上实现实时渲染，这为车载部署提供了可能。另一个关键发现是，定期（如每月）的语义地图更新可以保持系统在环境变化时的可靠性，而完全重建的频率可以降低至季度级。