1. BEV多任务感知系统概述
在自动驾驶领域,鸟瞰图(BEV)多任务感知系统正成为主流技术方案。这类系统通过统一的BEV特征表示,可以同时完成3D目标检测、语义分割、地图生成等多种感知任务。Apollo-Vision-Net作为典型的BEV多任务感知框架,其核心是基于BEVFormer的时空特征融合架构。
本次技术迭代的核心目标是在现有det+occ(检测+占据)任务基础上,新增det+map(检测+地图)分支,实现与MapTR(一种先进的在线矢量地图生成方法)的GT对齐。这种多任务并行架构具有以下技术优势:
- 共享BEV特征提取,计算资源利用率高
- 统一时空上下文建模,各任务相互促进
- 输出结果天然对齐,便于下游规划控制
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. MapTR接入方案设计
2.1 MapTR核心思想解析
MapTR提出了一种端到端的矢量地图生成范式,其核心创新点包括:
- 固定采样点表示:每条车道线/polyline采用固定数量(默认20个)的采样点表示
- 分层分类体系:将地图元素分为3大类(车道线、道路边界、人行横道等)
- 在线GT生成:动态生成矢量地图标注,避免依赖高精度离线地图
这种表示方法具有参数化程度高、易于优化、适合实时推理等特点,非常适合作为BEV多任务系统的地图分支目标。
2.2 系统架构调整
为实现det+map多任务并行,我们对Apollo-Vision-Net进行了以下架构调整:
-
新增MapTR风格Head:
- 包含map query embedding层
- 分类头(map_cls_head)预测元素类别
- 坐标头(map_pts_head)预测采样点位置
-
数据链路改造:
- 在数据加载pipeline中注入MapTR格式GT
- 新增CustomNuScenesDetOccMapDataset适配器
- 实现LoadMapTRGTDetMap数据加载组件
-
特征共享机制:
- 复用BEVFormer的时空注意力机制
- 共享BEV特征提取主干网络
- 独立的任务特定解码头
3. 关键技术实现细节
3.1 MapTR Head实现
MapTR head的核心代码实现如下:
python复制class BEVFormerDetMapHeadApollo(nn.Module):
def __init__(self, embed_dims=256, num_map_vec=50, map_num_pts=20, map_num_classes=3):
super().__init__()
self.map_query_embed = nn.Embedding(num_map_vec, embed_dims)
self.map_cls_head = nn.S
