1. LaST-VLA:自动驾驶潜时空推理新范式
自动驾驶技术正经历从模块化设计到端到端学习的范式转变。传统方法通常将感知、预测和规划拆分为独立模块,这种人为分割导致信息在传递过程中不断衰减。2024年后,视觉-语言-动作(Vision-Language-Action, VLA)模型开始崭露头角,通过统一架构直接连接摄像头输入与车辆控制信号。但现有VLA方案存在一个根本性矛盾:依赖显式文本思维链(Chain-of-Thought, CoT)虽然提高了可解释性,却造成了语义理解与感知数据的割裂——当模型用离散符号描述"前方50米有行人"时,这个抽象概念已经与视觉特征中的像素级信息失去了几何对应关系。
LaST-VLA的创新在于将推理过程完全置于连续的潜时空空间(Latent Spatio-Temporal Space)中。想象一下专业赛车手的决策过程:他们不会用语言描述每个弯道的角度和刹车力度,而是通过训练形成的"肌肉记忆"来操控车辆。类似地,LaST-VLA建立的潜空间就像驾驶员的神经表征系统,既保留物理世界的几何约束(空间),又编码交通参与者的运动规律(时间),最终输出符合车辆动力学的平滑轨迹。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构设计解析
2.1 双流物理对齐机制
传统潜空间推理的主要缺陷在于缺乏物理接地性(Physical Grounding)——模型可能生成数学上合理但违背牛顿定律的轨迹。LaST-VLA通过双适配器架构强制潜特征与真实世界对齐:
几何适配器(Φ_geo)
- 对接VGGT 3D基础模型的特征空间
- 将语言潜状态Hgeo与掩码视觉嵌入Ẽ_img融合
- 输出包含度量精确的深度、障碍物位置等空间先验
- 关键技术:随机二值掩码M迫使模型重建被遮挡的几何信息
动态适配器(Φ_dyn)
- 连接Cosmos世界模型的动态表示空间
- 将线性token序列投影到时空流形上
- 编码短期(0-2秒)、中期(2-5秒)、长期(5-10秒)运动趋势
- 典型案例:预测行人突然加速或前车紧急制动等非线性运动
这种设计使得潜思维链H既不是纯语言符号,也不是原始像素,而是类似人类驾驶员对场景的"心理模拟"——知道电线杆的精确距离(几何流)同时预判旁边自行车可能变道(动态流)。
2.2 渐进式训练策略
直接端到端训练会
