360DVO：单目全景视觉里程计的核心技术与工程实践

1. 项目概述：360DVO如何革新单目全景视觉里程计

去年在野外测试无人机时，我亲身体验过传统视觉里程计的痛点——当相机快速转向或遇到强光变化时，系统就像醉汉一样失去方向感。这正是香港科技大学团队提出360DVO的现实背景：一个专为单目360度相机设计的深度学习视觉里程计框架，它通过两项核心技术突破解决了行业难题。

第一项创新是畸变感知球面特征提取器（DAS-Feat）。想象一下用普通渔网捞球体表面的鱼，两极的网眼会被严重拉伸导致漏鱼。传统CNN在360度等距柱状图像上正是如此失效的。DAS-Feat的SphereResNet架构通过在球面切平面动态调整卷积核形状，就像用弹性网兜贴合球面捕鱼，在3840×1920分辨率下仍能保持特征提取精度。

第二项突破是全向可微分束调整（ODBA）模块。我们团队曾尝试直接套用传统BA算法，结果在无人机快速翻滚时位姿估计误差高达2米。ODBA引入的球面重投影约束，配合光流修正的循环网络，将相同场景下的误差控制在0.3米内。其关键是将重投影误差计算从平面坐标系转换到球面坐标系，就像把地图从墨卡托投影换成地球仪，更符合全景相机的几何本质。

2. 核心技术解析：从理论到实现

2.1 畸变感知特征提取的工程实现

SphereResNet的具体实现值得深入探讨。在骨干网络选择上，作者基于ResNet-18进行改造，但将标准卷积层替换为球面卷积层。每个卷积核的采样点会随纬度动态调整——在赤道区域保持方形网格，在极区则压缩成扇形分布。我们在PyTorch中复现时发现，采用双线性插值进行球面投影时，设置插值半径=1.5倍卷积核尺寸能平衡精度与效率。

训练策略也有讲究。数据集需包含各类极端场景：我建议采集强光照射下的玻璃幕墙、快速移动的条纹图案等挑战性样本。损失函数采用加权光度误差，对极区像素给予0.7的权重系数（赤道区域为1.0），这样能缓解畸变区域的学习不足问题。实际测试表明，这种训练方式使特征匹配成功率从68%提升到92%。

2.2 实时位姿估计的优化技巧

ODBA模块的工程优化是落地关键。其核心是建立三层次优化框架：

1. 前端用SphereResNet提取192个特征块（3840×1920分辨率时）
2. 中端通过相关体积计算建立帧间匹配，这里采用3层金字塔光流减少计算量
3. 后端用高斯-牛