1. 项目背景与核心价值
CuriousVLA是北航与清华联合团队在自动驾驶领域的最新研究成果,它试图解决当前视觉-语言-动作(Vision-Language-Action, VLA)模型在自动驾驶场景中的扩展性难题。这个项目名称本身就包含了三个关键信息:Curious(好奇心驱动)、VLA(多模态模型架构)和Scaling(可扩展性),这三个要素构成了整个研究的技术骨架。
在真实道路环境中,自动驾驶系统需要处理三大核心挑战:复杂多变的视觉场景理解、自然语言指令的准确解析、以及安全可靠的轨迹规划执行。传统方法通常将这些任务拆分为独立模块处理,导致系统臃肿且难以协同优化。CuriousVLA的创新之处在于,它通过端到端的多模态大语言模型(MLLM)框架,将视觉感知、语言理解和动作控制统一在一个可扩展的架构中。
关键突破:相比传统模块化方案,CuriousVLA在nuScenes数据集上的测试显示,其跨任务协同效率提升37%,特别是在处理"前方施工请绕行"这类需要语义理解的复杂场景时,决策准确率比基线模型高出42%。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构深度解析
2.1 多模态特征对齐机制
CuriousVLA的核心是一个三阶段特征对齐管道:
-
视觉token化:采用改进的ViT-Adapter结构,将摄像头输入的RGB图像和点云数据转换为时空token序列。特别的是,它在BEV(鸟瞰图)空间引入了可学习的位置编码,使得模型能更好地理解三维空间关系。
技术细节:对于1280×720的输入图像,先通过步长为16的patch嵌入得到80×45的视觉token,再经过3层卷积适配器降维到20×12的紧凑表示,计算量减少58%的同时保持92%的原特征信息。
-
语言指令嵌入:使用QLoRA微调的LLaMA-2作为语言编码器,创新性地加入了驾驶场景特定的提示模板。例如"请在前方{位置}执行{动作}"这样的结构化模板,显著提升了导航指令的解析准确率。
-
动作预测头:采用混合密度网络(MDN)输出多模态的轨迹分布,每个预测点包含(x,y,θ,v)四元组和对应的置信度。实测表明,这种表示方式比传统的单峰高斯分布更适合处理十字路口等存在多种合法路径的场景。
2.2 好奇心驱动训练策略
项目名称中的"Curiou
