吴前锐1. 自动驾驶规划中的多模态挑战与扩散模型机遇
自动驾驶领域近年来最引人注目的转变之一，就是从模块化架构向端到端学习范式的演进。传统自动驾驶系统通常由感知、预测、规划等独立模块串联组成，每个模块的输出误差会层层累积，最终影响整体驾驶性能。而端到端自动驾驶试图用单一神经网络模型直接处理原始传感器输入，输出最终的驾驶决策，这种数据驱动的方法理论上能够更好地处理复杂多变的真实道路场景。
然而，当前主流的端到端规划器（如Transfuser、UniAD等）存在一个根本性缺陷——它们通常采用确定性回归的方式输出单一轨迹。这种单模态输出范式与人类驾驶行为的本质特性相矛盾。在实际驾驶中，面对同一交通场景，经验丰富的司机往往会考虑多种可能的应对策略：比如前方车辆突然减速时，可以选择变道超车或跟随减速；接近十字路口时，需要根据交通灯状态在直行和转弯之间做出选择。这种决策过程本质上具有多模态特性。
1.1 现有多模态规划方案的局限性
目前学术界尝试解决多模态规划问题的方法主要有两类：轨迹词汇表采样和原始扩散模型。VADv2等研究采用大型固定锚点轨迹词汇表（通常包含数千条预定义轨迹），通过评分机制选择最优轨迹。这种方法虽然能提供一定多样性，但存在三个显著问题：
- 覆盖度局限：预定义轨迹难以穷尽所有可能的驾驶场景，特别是在复杂路口或突发状况下
- 计算开销大：维护和评估大规模轨迹库需要可观的计算资源
- 灵活性不足：无法生成词汇表之外的创新性轨迹，限制了应对极端情况的能力
另一方面，原始扩散模型（如DDPM）虽然理论上能够生成任意多样化的轨迹，但在自动驾驶场景中直接应用面临两大挑战：
- 实时性瓶颈：标准扩散模型通常需要20步以上的迭代去噪过程，在NVIDIA 4090上仅能达到7FPS，远低于实时驾驶要求的30FPS
- 收敛困难：从纯随机噪声开始的去噪过程可能导致轨迹收敛到物理不可行或不符合交通规则的状态
关键观察：人类驾驶行为并非完全随机，而是在一定"驾驶模式"基础上的合理变化。这提示我们，自动驾驶的轨迹生成应该从合理的初始分布出发，而非完全随机的噪声。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. DiffusionDrive的核心创新：截断扩散策略
DiffusionDrive的核心思想是通过截断扩散过程，将传统扩散模型的完全随机初始化改为从"锚定高斯分布"开始。这一设计灵感直接来源于对人类驾驶行为的观察——熟练司机不会从完全随机的操作开始，而是基于当前场景选择几种合理的驾驶模式（如跟驰、变道、转弯等），然后在这些模式基础上进行微调。
2.1 技术实现细节
2.1.1 锚点轨迹生成
系统首先使用K-Means算法在训练数据集上聚类出N个典型驾驶模式（论文中N=20），每个聚类中心代表一种基础驾驶行为，称为锚点轨迹。这些锚点不是固定不变的，而是会随着模型训练动态更新。
数学上，锚点轨迹表示为：
a_k = {(x_t,y_t)} for t=1...T
其中T是规划时域（论文中T=8，对应4秒预测）
2.1.2 截断扩散过程
与传统扩散模型不同，DiffusionDrive不是从纯高斯噪声开始，而是向锚点轨迹添加受控噪声：
q(τ_k^t|τ_k^{t-1}) = N(√(1-β_t)τ_k^{t-1}, β_tI)
关键创新在于β_t的调度策略——仅在前50步添加噪声（总扩散步数为1000），使噪声轨迹保持在锚点附近的合理分布内，而非完全扩散为标准高斯分布。
2.1.3 级联扩散解码器
DiffusionDrive设计了专门的扩散解码器架构处理噪声轨迹：
- 空间交叉注意力：将轨迹点映射到BEV特征图上，捕获周围环境信息
- 智能体交叉注意力：与感知模块提取的动态物体特征交互
- 时间步调制：通过MLP注入当前去噪步信息
- 预测头：同时输出轨迹修正量(Δx,Δy)和置信度分数
这种设计实现了轨迹生成与场景理解的紧密耦合，相比传统UNet结构更适合驾驶任务。
3. 模型架构与实现细节
3.1 整体系统架构
DiffusionDrive采用模块化设计，可以与多种感知主干网络配合使用。在论文实现中，它继承了Transfuser的ResNet-34主干和BEV特征提取器，确保对比实验的公平性。系统工作流程可分为三个阶段：
-
感知编码阶段：
- 输入：3个前视摄像头图像（1024×256） + LiDAR点云（栅格化为BEV）
- 输出：多模态特征表示（BEV特征图 + 动态物体embedding）
-
扩散解码阶段：
- 输入：从锚定高斯分布采样的噪声轨迹 + 感知特征
- 处理：通过2层级联扩散解码器迭代去噪
- 输出：候选轨迹集及其置信度分数
-
决策输出阶段：
- 选择置信度最高的轨迹作为最终规划结果
- 可选：输出top-K轨迹供后续模块评估
3.2 训练策略优化
论文采用了两阶段训练方法：
第一阶段 - 锚点聚类：
- 在训练集所有真实轨迹上运行K-Means聚类
- 使用DTW距离度量轨迹相似性
- 动态调整锚点数量（通过肘部法则确定最佳N值）
第二阶段 - 联合训练：
- 损失函数包含两部分：
L = L_recon + λL_cls
其中L_recon是轨迹坐标的Huber损失，L_cls是锚点分类的交叉熵损失 - 使用AdamW优化器，初始学习率6e-4，cosine衰减
- 批量大小512（8块4090GPU，每卡64样本）
- 训练100epoch，约需48小时
实践技巧：在早期实验中发现，适当提高分类损失权重λ（论文中λ=1.0）有助于模型更快识别合理的驾驶模式，加速收敛。
4. 性能评估与实验结果
4.1 定量结果分析
在NAVSIM数据集上的实验表明，DiffusionDrive在多项指标上显著超越基线方法：
| 方法 | PDMS(↑) | FPS(↑) | minADE(↓) | Miss Rate(↓) |
|---|---|---|---|---|
| Transfuser | 82.3 | 60 | 1.24 | 0.18 |
| Transfuser/DP | 85.7 | 7 | 0.98 | 0.15 |
| DiffusionDrive | 88.1 | 45 | 0.87 | 0.12 |
| DiffusionDrive-10步 | 88.9 | 18 | 0.83 | 0.11 |
关键发现：
- 仅用2步去噪，DiffusionDrive就能达到原始扩散模型20步的性能
- 增加去噪步数(10步)可进一步提升质量，但仍保持实时性(18FPS)
- 在挑战性场景(如无保护左转)中，多模态性带来显著优势
4.2 定性结果展示
通过可视化分析，DiffusionDrive展现出三类典型的多模态行为：
- 目标导向多模态：在十字路口同时生成左转、直行候选轨迹
- 避障策略多模态：对静止障碍物提供绕行左侧或右侧的选项
- 速度调节多模态：针对前车减速场景，给出急刹和渐进减速方案
特别值得注意的是，DiffusionDrive生成的"异常"轨迹有时会暴露出数据集的标注偏差。例如在某测试场景中，模型生成的激进变道轨迹最初被认为是不合理的，但事后分析发现这实际上是老司机的防御性驾驶策略。
5. 实际部署考量与优化方向
5.1 计算效率优化
虽然DiffusionDrive已经实现了45FPS的实时性能，但在量产部署中还可以进一步优化：
- 模型量化：将FP32转为INT8，预计可提升2-3倍速度
- 蒸馏压缩：训练小型化学生模型模仿教师模型行为
- 硬件感知设计：针对车载芯片(如Orin)优化注意力计算
5.2 安全增强策略
为了确保多模态生成的安全性，建议在实际系统中加入：
- 物理可行性过滤：基于车辆动力学模型筛除不可行轨迹
- 交通规则编码：在交叉注意力中注入交通信号和标志信息
- 不确定性校准：对置信度分数进行温度缩放，提高可靠性
5.3 潜在改进方向
从算法角度看，几个有前景的演进方向包括：
- 在线锚点调整：根据驾驶习惯自动更新锚点分布
- 多智能体协调：考虑其他交通参与者的预期反应
- 世界模型集成：结合预测模型评估长期轨迹后果
我在复现实验时发现一个有趣现象：适当增加锚点数量(N=30-50)可以提升复杂场景的表现，但会降低简单场景的推理速度。这提示我们可能需要开发动态锚点机制，根据场景复杂度自动调整计算资源分配。
DiffusionDrive的成功实践表明，生成式AI与传统自动驾驶技术的融合正在开辟新的可能性。这种截断扩散范式可能也适用于其他需要实时决策的机器人应用，如无人机避障或机械臂抓取规划。关键是要找到领域特定的"锚点"先验，在生成多样性和计算效率之间取得平衡。