1. 项目概述
BEVFusion作为2022年提出的多模态自动驾驶感知框架,通过创新性地融合相机和激光雷达的BEV(Bird's Eye View)特征,在nuScenes数据集上实现了63.3%的NDS指标。这个开源项目在GitHub上获得超过1.2k星标,已成为工业界和学术界研究BEV感知的重要基线。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构解析
2.1 多模态特征提取
框架包含两个并行的特征提取分支:
- 图像分支:采用Swin-Tiny作为backbone,输出多尺度特征图
- 点云分支:使用VoxelNet进行体素化处理,输出3D特征体积
关键设计:两个分支都保持原始传感器坐标系的几何关系,避免早期融合导致的信息损失
2.2 统一BEV空间构建
通过以下转换矩阵实现多模态对齐:
- 图像特征到BEV的IPM变换:
python复制def IPM_transform(features, cam_params): # 使用相机内外参建立图像到BEV的投影关系 homography = compute_homography(cam_params) return F.grid_sample(features, homography) - 点云特征通过高度压缩生成BEV特征图
2.3 动态特征融合
采用门控注意力机制动态调整融合权重:
python复制class DynamicFusion(nn.Module):
def __init__(self, channels):
self.gate_conv = nn.Conv2d(channels*2, 2, kernel_size=3,padding=1)
def forward(self, img_feat, lidar_feat):
concat_feat = torch.cat([img_feat, lidar_feat], dim=1)
attention = torch.sigmoid(self.gate_conv(concat_feat))
return img_feat*attentio
