1. Drive-JEPA:端到端自动驾驶框架的技术解析
自动驾驶领域近年来迎来了一次重大范式转变——从传统的模块化流水线转向端到端学习系统。这种转变的核心在于让神经网络直接从原始传感器数据中学习驾驶策略,而非依赖人工设计的中间表示。小鹏汽车最新发布的Drive-JEPA框架,正是这一技术路线上的重要突破。
Drive-JEPA的创新之处在于巧妙结合了两种关键技术:基于V-JEPA的视频预训练和多模态轨迹蒸馏。前者通过自监督学习从海量驾驶视频中提取高效的时空表示,后者则通过模拟器生成的多样化轨迹解决模仿学习中常见的模式崩溃问题。这种组合不仅提升了规划性能,还显著增强了系统的安全性和适应性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构与核心组件
2.1 V-JEPA预训练模块
V-JEPA(Video Joint Embedding Predictive Architecture)是一种自监督学习框架,其核心思想是通过预测视频中被掩码部分的潜在表示来学习时空特征。与传统的像素级重建方法不同,V-JEPA在潜在空间进行操作,大大降低了计算成本。
在Drive-JEPA中,研究人员构建了一个包含208小时驾驶视频的大规模数据集,覆盖多种驾驶场景和条件。这些视频被处理为512×256分辨率、2Hz帧率的8帧片段,作为V-JEPA的输入。模型采用ViT(Vision Transformer)架构作为编码器,通过以下目标函数进行优化:
L = ||fθ(X_masked) - sg(fθ'(X_target))||²
其中fθ是主编码器,fθ'是通过EMA(指数移动平均)更新的目标编码器,sg表示停止梯度操作。这种设计既避免了表示崩溃,又保证了训练的稳定性。
2.2 多模态轨迹蒸馏
传统端到端驾驶系统面临的一个关键挑战是监督信号的稀疏性——每个场景通常只有一条人类驾驶轨迹作为参考。这导致模型难以学习多样化的驾驶行为,在面对复杂场景时缺乏灵活性。
Drive-JEPA通过多模态轨迹蒸馏(MTD)解决了这一问题。具体实现包括三个步骤:
- 构建轨迹词汇表:从训练数据中收集超过10万条轨迹,使用K-means聚类选取8192个中心点作为基础词汇表
- 模拟器评分:基于规则模拟器为词汇表中的每条轨迹计算EPDMS分数(考虑安全性、合规性和舒适性)
- 轨迹
