LaST-VLA：自动驾驶潜时空推理的创新架构与实践

1. LaST-VLA：自动驾驶潜时空推理新范式

自动驾驶技术正经历从模块化设计到端到端学习的范式转变。传统方法通常将感知、预测和规划拆分为独立模块，这种人为分割导致信息在传递过程中不断衰减。2024年后，视觉-语言-动作（Vision-Language-Action, VLA）模型开始崭露头角，通过统一架构直接连接摄像头输入与车辆控制信号。但现有VLA方案存在一个根本性矛盾：依赖显式文本思维链（Chain-of-Thought, CoT）虽然提高了可解释性，却造成了语义理解与感知数据的割裂——当模型用离散符号描述"前方50米有行人"时，这个抽象概念已经与视觉特征中的像素级信息失去了几何对应关系。

LaST-VLA的创新在于将推理过程完全置于连续的潜时空空间（Latent Spatio-Temporal Space）中。想象一下专业赛车手的决策过程：他们不会用语言描述每个弯道的角度和刹车力度，而是通过训练形成的"肌肉记忆"来操控车辆。类似地，LaST-VLA建立的潜空间就像驾驶员的神经表征系统，既保留物理世界的几何约束（空间），又编码交通参与者的运动规律（时间），最终输出符合车辆动力学的平滑轨迹。

2. 核心架构设计解析

2.1 双流物理对齐机制

传统潜空间推理的主要缺陷在于缺乏物理接地性（Physical Grounding）——模型可能生成数学上合理但违背牛顿定律的轨迹。LaST-VLA通过双适配器架构强制潜特征与真实世界对齐：

几何适配器（Φ_geo）

• 对接VGGT 3D基础模型的特征空间
• 将语言潜状态Hgeo与掩码视觉嵌入Ẽ_img融合
• 输出包含度量精确的深度、障碍物位置等空间先验
• 关键技术：随机二值掩码M迫使模型重建被遮挡的几何信息

动态适配器（Φ_dyn）

• 连接Cosmos世界模型的动态表示空间
• 将线性token序列投影到时空流形上
• 编码短期（0-2秒）、中期（2-5秒）、长期（5-10秒）运动趋势
• 典型案例：预测行人突然加速或前车紧急制动等非线性运动

这种设计使得潜思维链H既不是纯语言符号，也不是原始像素，而是类似人类驾驶员对场景的"心理模拟"——知道电线杆的精确距离（几何流）同时预判旁边自行车可能变道（动态流）。

2.2 渐进式训练策略

直接端到端训练会导致模型走捷径——可能仅依赖图像特征而绕过潜推理。LaST-VLA采用两阶段课程学习：

第一阶段：物理常识内化

• 损失权重：λ_WM=λ_3D=1.0，λ_action=0.01
• 强制实施两类信息隔离：
  • 几何流与动态流互不可见（结构化因果掩码）
  • 动作输出只能访问潜特征H（视觉瓶颈）
• 相当于要求学生在考驾照前先掌握交规和车辆动力学

第二阶段：驾驶技能精修

• 损失权重反转：λ_action=1.0，λ_WM=λ_3D=0.01
• 解除部分掩码限制：
  • 允许动作模块同时读取H和原始图像
  • 保留潜流间的隔离
• 类似新手驾驶员在掌握基础后学习复杂路况应对

这种渐进策略的实测效果显著：在NAVSIM数据集上，分阶段训练比联合训练规划准确率提升23%，且对视觉遮挡的鲁棒性更强。

3. 关键技术实现细节

3.1 特征对齐的工程实践

实现高质量物理对齐需要解决几个工程挑战：

教师模型选择

• 几何教师：VGGT-3D（体素化网格特征）
  • 优势：保持场景的3D度量关系
  • 输入：多视角相机图像+雷达点云（训练时仅用视觉）
• 动态教师：Cosmos-X预测模型
  • 优势：长时程运动预测（10秒级）
  • 输入：连续5帧图像+自车运动状态

特征蒸馏技巧

• 几何对齐：采用多尺度MSE损失
  • 低层特征约束边缘/角点等局部几何
  • 高层特征约束物体级空间关系
• 动态对齐：使用时序对比学习
  • 正样本：同一时间点的真实运动特征
  • 负样本：随机时间偏移的特征

硬件优化

• 使用FP8混合精度训练适配器
• 对教师模型特征进行PCA降维（512→64）
• 实测可减少40%显存占用，速度提升2.3倍

3.2 GRPO强化学习优化

监督学习后的策略仍存在两个不足：1）倾向于平均化输出（过于保守） 2）对罕见场景应对不足。组相对策略优化（GRPO）的引入解决了这些问题：

奖励函数设计

• 安全性奖励（权重0.6）：
  • 与障碍物的最小距离（指数衰减）
  • 加速度变化率（jerk）惩罚
• 舒适性奖励（权重0.3）：
  • 横向加速度<0.3g
  • 航向角变化率<15°/s
• 效率奖励（权重0.1）：
  • 与参考路径的偏离距离
  • 到达时间预估偏差

策略更新机制

• 每组采样32个候选轨迹
• 计算相对优势分数：

  python复制def compute_advantage(rewards):
      baseline = np.mean(rewards)
      return rewards - baseline
  

• KL散度约束（max_divergence=0.1）防止策略突变

实测表明，经过GRPO优化后，在NAVSIM-had-24k测试集上：

• 紧急避障成功率提升37%
• 乘客舒适度评分提高28%
• 轨迹抖动减少42%

4. 实验分析与应用启示

4.1 基准测试结果

在三个核心测试集上的表现：

NAVSIM闭环规划

关键发现：我们的方法在保持较低延迟的同时，规划质量显著优于依赖显式文本CoT的方案。

SURDS空间推理

特别在Depth任务中，我们的几何适配器使深度估计误差减少到0.3m（基线为1.2m）。

4.2 实际部署考量

计算效率优化

• 潜token长度压缩：原始2048→优化后512
  • 方法：跨注意力特征选择
  • 精度损失<2%，推理速度提升3倍
• 动态适配器级联更新：
  • 高频更新短期流（10Hz）
  • 低频更新中长期流（2Hz）

安全冗余设计

• 并行运行简化版显式CoT作为校验器
  • 当潜轨迹与显式推理冲突时触发降级
• 输出轨迹经过动力学滤波器：

  c++复制void checkFeasibility(Trajectory& traj) {
      for(auto& pt : traj) {
          if(pt.curvature > max_curvature) 
              pt = recompute(pt_prev);
      }
  }
  

在小米实车测试中，这套系统成功处理了多个极端场景：

• 暴雨中识别倾倒的树木（几何流增强）
• 预测儿童突然追逐皮球（动态流捕捉）
• 施工区临时导流带跟随（双流协同）

5. 潜在改进方向

虽然LaST-VLA表现出色，但在以下方面仍有提升空间：

多模态传感器融合

• 当前版本仅用视觉输入
• 扩展方案：将雷达点云投影到潜空间
  • 挑战：不同模态的时间对齐
  • 试验中的解决方案：可学习的时间戳嵌入

持续学习框架

• 现有模型需要全量重训练
• 开发增量式适配器更新：
  • 固定主干网络
  • 仅微调适配器最后一层
• 实测可使新场景适应速度提升5倍

认知架构扩展

• 引入"记忆"机制：
  • 场景库存储典型潜特征模式
  • 相似度检索辅助当前决策
• 初步试验显示可减少15%的决策延迟

这个框架的潜力不仅限于自动驾驶。我们在机器人抓取任务中的迁移实验表明，经过调整的LaST架构可使抓取成功率从82%提升到91%，证明其在具身智能领域的普适性。未来工作将探索更广泛的时空推理应用，如工业流程优化、城市交通调度等需要复杂时空推理的领域。