1. 项目概述
在自动驾驶领域,3D环境感知一直是个极具挑战性的任务。想象一下,当你开车时,不仅需要知道前方有辆车,还需要准确判断那辆车的高度、悬空的树枝是否会刮到车顶,或者路边不规则物体的具体形状。这正是TPVFormer试图解决的问题——如何仅凭摄像头输入,就能像激光雷达一样精确地重建3D世界。
传统方法面临两难选择:要么使用计算量巨大的体素(3D像素)表示,要么采用会丢失高度信息的鸟瞰图(BEV)。而TPVFormer创新性地提出了三视角(Tri-Perspective View,TPV)表示法,通过三个正交的2D平面(俯视、侧视、前视)来共同描述3D空间,既保留了空间细节,又大幅降低了计算复杂度。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心创新:TPV表示法
2.1 从工程制图到3D感知
TPV的灵感来源于工程制图中的三视图原理。就像工程师用主视图、俯视图和侧视图来描述一个复杂零件,TPVFormer用三个特征平面来建模3D环境:
- Top View(俯视图):关注X-Y平面,类似传统BEV,但只负责长宽信息
- Side View(侧视图):关注Z-X平面,记录高度与深度的关系
- Front View(前视图):关注Y-Z平面,捕捉宽度与高度的关联
这三个平面不是简单地从图像中切割出来的,而是通过Transformer动态生成的。初始化时,它们就像三块空白的画布,随着模型处理图像数据,注意力机制会逐步在这些画布上"绘制"出对应的特征。
2.2 计算效率的革命
传统体素方法的计算复杂度是O(H×W×D),随着分辨率提升呈立方级增长。而TPV的复杂度仅为O(HW + DH + WD),是三个2D平面复杂度的和。举个例子:
假设我们要建模一个100×100×100的3D空间:
- 体素法需要处理1,000,000个点
- TPV只需要处理30,000个点(三个100×100的平面)
这种表示法不仅节省了97%的内存,还能通过特征插值还原出接近体素精度的3D信息。在实际自动驾驶场景中,这意味着可以在普通GPU上实现高精度的3D语义分割。
3. 模型架构详解
3.1 整体流程
TPVFormer的处理流程可以分为四个关键阶段:
- 多摄像头图像输入:通常使用6个环视摄像头(前、后、左前、右
