双流模型Raw2Drive：端到端自动驾驶强化学习方案

1. 项目概述

Raw2Drive是上海交通大学、复旦大学等团队联合提出的一种基于双流模型的强化学习端到端自动驾驶方案。这项研究突破了传统模仿学习在自动驾驶领域的局限性，通过创新的双流架构和引导机制，首次实现了仅依赖原始传感器输入的端到端强化学习自动驾驶系统。

在自动驾驶领域，端到端（E2E）方法因其简洁性和潜在的高性能而备受关注。传统方法通常将感知、决策和控制模块分开设计，而端到端方法则试图用一个统一的模型直接从传感器输入映射到驾驶决策。这种方法的优势在于避免了模块化设计中的信息损失和误差累积，但也面临着训练难度大、可解释性差等挑战。

2. 核心技术原理

2.1 双流模型架构设计

Raw2Drive的核心创新在于其双流模型架构，包含特权流（Privileged Stream）和原始传感器流（Raw Sensor Stream）两个并行分支：

1. 特权流：使用BEV语义掩码等结构化信息作为输入，训练特权世界模型和对应策略
2. 原始传感器流：仅使用多视角摄像头图像等原始传感器数据作为输入

这两个流通过精心设计的引导机制保持同步训练，最终推理阶段仅需原始传感器流即可完成自动驾驶决策。

关键设计思路：特权流提供高质量的先验知识和监督信号，原始传感器流则专注于从原始数据中学习有效表征。这种设计既保留了强化学习的优势，又解决了直接从原始数据训练的困难。

2.2 引导机制详解

引导机制是确保双流模型有效协同的关键，包含两个核心组件：

1. 滚动引导（Rollout Guidance）：

   • 时空对齐：确保BEV特征在空间和时间维度上的一致性
   • 抽象状态对齐：通过MSE和KL散度约束双流模型的确定性状态和随机状态
   • 随机消除策略：消除采样差异导致的累计误差

2. 头部引导（Head Guidance）：

   • 利用特权世界模型输出的奖励和继续标志作为监督信号
   • 避免直接使用原始传感器数据训练这些头部导致的收敛问题

3. 实现细节与训练流程

3.1 模型组件设计

Raw2Drive的模型架构包含以下关键组件：

3.2 两阶段训练流程

Raw2Drive采用分阶段训练策略：

1. 特权流训练阶段：

   • 收集特权观测轨迹存入回放缓冲区
   • 训练特权世界模型（最小化预测损失、动态损失和表征损失）
   • 在特权世界模型中进行多步滚动预测
   • 基于预测轨迹训练特权策略

2. 原始传感器流训练阶段：

   • 收集原始传感器轨迹存入回放缓冲区
   • 训练原始传感器世界模型（基础损失+滚动引导损失）
   • 通过头部引导获取特权流的奖励和继续标志
   • 微调原始传感器策略

3.3 动作空间设计

Raw2Drive采用离散动作空间设计，包含39个动作组合：

• 油门：5个档位（0, 0.3, 0.5, 0.7, 1.0）
• 刹车：仅0档位（通过油门为0实现减速）
• 转向：14个档位（从-1.0到1.0不等距分布）
• 倒车：True/False两个状态

这种设计在动作表达能力和训练复杂度之间取得了良好平衡。

4. 实验验证与性能分析

4.1 基准测试结果

Raw2Drive在CARLA v2和Bench2Drive两大基准上进行了全面评估：

CARLA v2性能对比：

• 路线完成率（RC）：显著优于现有模仿学习方法
• 驾驶得分（DS）：71.36，远超其他仅使用原始传感器输入的方法

Bench2Drive多能力评估：

• 超车场景成功率：51.11%
• 紧急制动成功率：62.26%
• 综合成功率（SR）：50.24%

4.2 消融实验发现

关键消融实验结果：

1. 原始传感器世界模型头部选择：

   • 仅保留解码器头的设计最优，添加奖励头或继续标志头会导致性能下降

2. 滚动引导组件必要性：

   • 缺少任一对齐约束（时空、确定性状态、随机状态）都会导致性能显著下降

3. 参数共享与策略微调：

   • 参数共享使DS从53.2提升至83.5
   • 策略微调使DS从58.4提升至83.5

5. 实际应用考量

5.1 实时性能分析

Raw2Drive的推理延迟主要来自BEVFormer编码器（约600ms），而世界模型和策略的延迟均低于2ms。整体延迟在1000ms以内，基本满足实时驾驶需求，但仍有优化空间：

• 编码器轻量化（如使用更高效的BEV编码器架构）
• 硬件加速（如使用专用AI加速芯片）
• 模型量化与剪枝

5.2 部署挑战与解决方案

在实际部署中可能面临的挑战：

1. 传感器配置要求：

   • 需要多视角摄像头配置
   • 建议搭配IMU提供运动信息

2. 计算资源需求：

   • 训练阶段需要大量计算资源（64个H800 GPU天）
   • 推理阶段相对轻量，可部署在车载计算平台

3. 领域适应问题：

   • 针对不同地区交通规则和驾驶习惯需要微调
   • 可通过迁移学习快速适配新场景

6. 技术局限与未来方向

6.1 当前局限性

1. 对特权信息的依赖：

   • 训练阶段仍需HD-Map和真实边界框等特权信息
   • 真实场景中这些信息获取成本较高

2. 模拟器与现实差距：

   • CARLA模拟器无法完全反映真实道路复杂性
   • 极端天气、不规则交通参与者等场景仍需验证

3. 实时性优化空间：

   • BEVFormer编码器的延迟仍是瓶颈
   • 需要进一步优化以满足更严格的实时要求

6.2 未来研究方向

基于Raw2Drive的框架，未来可探索以下方向：

1. 无特权信息训练：

   • 开发自监督学习方法替代特权信息
   • 探索基于对比学习的表征学习方法

2. 真实场景适配：

   • 结合神经渲染技术构建更真实的模拟器
   • 开发增量学习算法适应新场景

3. 多智能体交互优化：

   • 引入博弈论方法处理复杂交通交互
   • 开发预测-规划联合优化框架

4. 模型轻量化与部署：

   • 知识蒸馏到更小模型
   • 开发专用硬件加速方案

7. 工程实践建议

基于我们的实验和实际部署经验，对于想要复现或应用Raw2Drive的研究者和工程师，提供以下建议：

1. 数据准备：

   • 收集多样化的驾驶场景数据（不同天气、光照、交通密度）
   • 确保传感器校准准确，特别是多摄像头的时间同步

2. 训练技巧：

   • 先充分训练特权流，再开始原始传感器流训练
   • 监控双流模型的状态对齐情况，适当调整损失权重

3. 调试方法：

   • 可视化BEV特征图检查空间对齐质量
   • 分析动作分布确保策略探索充分

4. 安全考量：

   • 在封闭场地充分测试后再上路
   • 设计可靠的故障检测和接管机制

在实际应用中，我们发现Raw2Drive对复杂交叉口和突发状况的处理能力明显优于传统模仿学习方法，但在极端罕见场景下仍需谨慎。建议将其作为自动驾驶系统的核心决策模块，同时保留传统方法的某些安全特性作为后备。