1. Drive-JEPA框架概述:自动驾驶规划的新范式
Drive-JEPA是近年来端到端自动驾驶领域最具突破性的框架之一,它创造性地将视频联合嵌入预测架构(Video JEPA)与多模态轨迹蒸馏技术相结合,解决了传统自动驾驶规划中的几个关键痛点。作为一名长期跟踪自动驾驶技术演进的从业者,我亲眼见证了从基于规则的决策树到如今数据驱动端到端方案的转变过程,而Drive-JEPA的出现标志着这个领域又迈上了一个新台阶。
这个框架的核心价值在于它同时解决了两个行业难题:一是驾驶视频预训练的效果瓶颈问题,二是驾驶场景多模态特性与单一监督信号之间的矛盾。传统方法通常使用人类驾驶轨迹作为唯一监督信号,这导致模型难以学习到复杂场景下的多种合理驾驶策略。Drive-JEPA通过引入多模态轨迹蒸馏,从基于规则的模拟器中提取多样化驾驶策略,显著提升了系统的鲁棒性和适应性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Video JEPA在自动驾驶中的创新应用
2.1 视频预测架构的驾驶领域适配
Video JEPA原本是Meta提出的通用视频理解架构,Drive-JEPA团队对其进行了深度领域适配。在自动驾驶场景下,视频预测不仅要理解场景语义,更需要学习与轨迹规划高度相关的时空表征。框架采用Vision Transformer(ViT)作为编码器,通过掩码预测任务在大规模驾驶视频上进行预训练。
具体实现中,模型会随机掩码输入视频的部分区域(通常采用块状掩码策略),然后预测被掩码区域的潜在表征。这种自监督方式迫使编码器学习对驾驶决策真正重要的时空特征,而不是简单地记忆视觉模式。我在复现过程中发现,采用渐进式掩码比例(从30%逐步提升到75%)能显著提升模型的特征提取能力。
2.2 时空特征与轨迹预测的耦合
预训练后的ViT编码器会输出时空特征张量F_t ∈ ℝ^(N_f×D),其中N_f是特征数量,D是特征维度。这些特征随后输入基于Transformer的解码器,与可学习查询Q ∈ ℝ^(M×D)交互,最终预测未来路点序列。这里的关键创新是特征与轨迹的紧密耦合机制:
- 交叉注意力层让每个查询关注与自身最相关的时空特征区域
- 多层感知机(MLP)将精炼后的查询映射到物理坐标空间
- 采用带时间折扣的MSE损失,更关注近期路点的预测精度
在实际部署中,我发现将解码器层数
