1. SpaceDrive:重新定义VLM在自动驾驶中的空间理解能力
自动驾驶领域正在经历一场由视觉语言模型(VLM)引发的技术变革。传统基于规则或纯视觉的方法往往难以处理复杂场景下的语义理解和决策推理,而VLM凭借其强大的视觉理解和自然语言处理能力,为自动驾驶系统带来了前所未有的语义推理能力。然而,当我们真正尝试将VLM应用于实际的驾驶规划任务时,一个根本性问题浮出水面:VLM擅长理解"场景在表达什么",却难以精确把握"目标具体在哪里、几何关系是什么、轨迹在三维空间里是否真的可执行"。
奔驰研究团队在CVPR 2026上提出的SpaceDrive,正是针对这一核心挑战的突破性解决方案。不同于简单地让VLM"读数字、猜坐标",SpaceDrive构建了一套统一、显式、可计算的三维空间接口,使视觉输入、文本描述、历史状态和规划输出能够在同一空间表示域中进行无缝交互。这种方法从根本上改变了VLM处理空间信息的方式,将自动驾驶系统的空间理解能力提升到了新的高度。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 现有VLM-based自动驾驶的空间理解瓶颈
2.1 数字token与空间表征的本质差异
当前大多数VLM-based自动驾驶方法存在一个根本性的设计缺陷:它们将坐标信息简单地视为数字字符串,让语言模型像生成普通文本一样逐位生成轨迹坐标。这种处理方式带来了两个关键问题:
首先,数字token本质上只是离散符号序列。对语言模型而言,"3.82"更接近于由字符"3"、"."、"8"、"2"组成的序列,而非"图中某辆车前右侧3.82米的位置"这样的空间概念。模型可能正确识别了数字,却未能建立数字与视觉语义之间的稳定对应关系。
其次,离散token生成不适合连续坐标建模。轨迹本质上是连续的几何量,而语言模型的输出机制本质上是分类任务。虽然VLM可以拟合文本分布,但在高精度数值回归任务上表现欠佳。这导致许多方法在开环测试中尚能拟合专家轨迹,一旦进入闭环场景,就会出现近线性塌缩、航向振荡、碰撞或越界等问题。
2.2 空间接口设计错误的严重后果
SpaceDrive论文通过详实的实验证明,如果空间接口本身设计不当,即使拥有强大的语义理解能力,VLM也难以转化为可靠的驾驶能力。例如,在Bench2Drive闭环基准测试中,采用纯文本轨迹生成的基线模型(OmniDrive)成功率低于10%,预测轨迹经常塌缩为近线性路径并伴随严重的航向振荡。
这一现象清晰地表明:仅靠自然语言拟合轨迹,并不等同于真正掌握了可控的驾驶策略。自动驾驶需要的是对三维空间的精确理解和对物理约束的严格遵守,而这些恰恰是传统VLM处理方式所欠缺的。
3. SpaceDrive的核心创新:统一3D空间接口
3.1 基本设计理念
SpaceDrive的核心思想非常直接:为VLM构建一套统一的3D positional encoding(PE)接口,使
