崔怂包1. 自动驾驶中的多模态大语言模型（MLLM）技术演进
在自动驾驶领域，多模态大语言模型（Multimodal Large Language Models, MLLMs）正逐渐成为核心技术之一。与传统的视觉语言模型（VLM）相比，MLLMs最大的突破在于能够处理更丰富的传感器输入，包括视频、LiDAR点云、BEV地图等。这种多模态处理能力使得自动驾驶系统能够获得更全面的环境感知和理解。
1.1 MLLM架构的演进路径
早期的MLLM模型如BLIP-2和Video-LLaMA采用了相对保守的设计思路：它们使用冻结的视觉骨干网络，通过适配器（如Q-Former）连接到大型语言模型（LLM）。这种架构的优势在于计算效率高，但模态间的交互能力有限。
随着技术发展，MiniGPT-4和LLaVA等模型开始采用更紧密的视觉-语言整合方案。它们通过轻量投影器将视觉编码器（如CLIP）对齐到LLaMA等语言模型，并应用指令调优技术。这类模型在处理自然图像方面表现出色，但在处理自动驾驶特有的传感器数据时仍显不足。
最新的MLLM架构如GPT-4V和GPT-4o集成了专有视觉编码器，并在多模态数据（图像-文本-音频）上进行训练。Google Gemini和Qwen-VL等模型进一步扩展了多模态推理能力。然而，这些通用模型在自动驾驶场景中仍面临挑战，特别是处理结构化输入（如时间对象轨迹、BEV布局）时的表现。
提示：在自动驾驶应用中，选择MLLM架构时需要权衡通用能力和领域特异性。完全通用的模型可能无法满足自动驾驶对时空推理的高要求。
1.2 自动驾驶专用MLLM的关键组件
为适应自动驾驶需求，现代MLLM架构通常包含以下核心组件：
-
模态编码器：专门处理不同传感器数据的编码器，如：
- BEVFormer：处理鸟瞰图特征
- CLIP-ViT：处理视觉输入
- VoxelNet：处理LiDAR点云
-
投影模块：将多模态特征对齐到语言模型的嵌入空间，常用技术包括：
- 多层感知机（MLP）
- Q-Former
- 交叉注意力机制
-
任务适配策略：通常保持感知和语言骨干网络冻结，专注于轻量级桥接和下游任务的指令微调。
这种架构设计既保证了模型的多模态处理能力，又通过参数高效的方式实现了特定任务的适配。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 多模态对齐技术与微调策略
2.1 七种关键模态对齐方法
在MLLM中实现多模态数据的有效对齐是核心技术挑战。当前主流的方法包括：
-
线性投影器：最简单的对齐方式，使用单一线性层将特征投射到LLM的嵌入空间。优点是计算高效，适合与预训练编码器配合使用。
-
MLP投影：多层感知机提供更强的特征变换能力，常用于BEV或LiDAR特征的对齐。在BLIP-2等模型中表现良好。
-
时空适配器（ST-Adapter）：专门处理时序数据的轻量级模块，无需修改核心LLM权重即可实现时空建模。
-
交叉注意力：通过可学习查询实现多模态融合，特别适合空间/时间基础化、语义对齐等任务。
-
Q-Former：基于Transformer的查询模块，能提炼任务相关的多模态嵌入。广泛应用于BLIP-2、InternDrive等模型。
-
融合Transformer：专门设计的注意力块，用于整合多流特征（如BEV地图、多视角视频）。BEV-Injection是典型代表。
-
结构感知编码器：将结构化感知输入（3D边界框、场景图等）转换为适合语言推理的令牌嵌入。
2.2 多模态微调技术
模态对齐后，需要通过微调使MLLM适应特定任务。主流策略包括：
参数高效微调（PEFT）：
- 适配器层：插入在LLM层间的轻量可训练模块
- LoRA：对注意力和前馈模块应用低秩更新
- PEFT-MA：仅微调模态对齐模块
全量微调（FFT）：
- 更新所有模型参数
- 计算成本高但性能最优
- 通常用于较小模型（如Qwen2-0.5B）
在实际应用中，PEFT策略更为常见，特别是当保持LLM冻结，仅训练模态对齐模块时，可以在保证性能的同时大幅降低计算成本。
3. MLLM在场景生成中的应用
3.1 安全关键场景生成
MLLM通过整合多模态数据（视频、GPS、事故报告等），能够生成更真实的风险感知场景。典型案例如：
AutoScenario：
- 使用NHTSA的多模态事故数据
- GPT-4生成结构化场景描述
- SUMO生成道路网络，CARLA生成代理行为
- 通过GPS轨迹和场景相似性指导优化
未来方向是引入LiDAR点云或BEV地图等空间模态，进一步提升场景几何和定位精度。
3.2 ADAS测试场景生成
为高级驾驶辅助系统生成测试场景是另一重要应用。典型案例：
LEADE：
- 从HDD数据集的真实交通视频生成场景
- 使用多模态ICL和GPT-4V的CoT提示
- 在LGSVL仿真器中执行
- 通过双层搜索识别语义等价场景
未来工作可聚焦于与ADAS测试标准对齐，引入交通规则和结构化先验，提高场景的可控性和覆盖率。
4. MLLM在场景分析中的实践
4.1 视觉问答（VQA）系统
自动驾驶中的VQA系统需要处理多模态传感器数据。现有数据集可分为四类：
-
通用自动驾驶任务：
- DriveGPT4：首个驾驶视频QA数据集
- VLAAD：基于BDD-X和HDD视频的多模态助手
- LingoQA：涵盖感知、推理和行动
-
时空推理：
- TUMTraffic-VideoQA：路边交通场景
- NuPlanQA：基于nuPlan的自由形式QA
-
风险感知推理：
- NuInstruct：多视角视频QA
- HiLM-D：风险感知VQA
- DVBench：安全关键基准
-
LiDAR多模态扩展：
- LiDAR-LLM：处理3D点云
- MAPLM：高清地图理解
- V2V-LLM：协作驾驶
4.2 场景与情境理解
场景理解侧重静态感知：
- InternDrive：驾驶场景理解框架
- Jain等人：安全关键场景理解
情境理解关注时间动态：
- DOLPHINS：人类式理解
- Ishaq等：场景级空间理解
- WTS：时空关系分析
- V3LMA：3D场景理解
4.3 风险评估应用
MLLM在风险评估中的三大方向：
- 可解释的情景理解：如AccidentGPT
- 交互式安全感知：如MLLM-SUL
- 结构化问答推理：如Abu等人的框架
关键挑战是提高输出的可靠性和确定性，避免随机性带来的安全隐患。
5. 当前局限与未来方向
5.1 技术瓶颈
- 专用预训练模型缺失：目前缺乏针对自动驾驶的多模态预训练MLLM
- 可靠性问题：事实性幻觉和输出不一致
- 推理效率：实时性要求下的性能挑战
- 边缘案例处理：对罕见事件的泛化能力不足
5.2 前沿研究方向
- 检索增强的场景生成：整合多模态知识库
- 高保真传感器模拟：提升场景真实感
- 复杂交互建模：车辆、行人、骑行者等
- 边缘部署优化：支持实时态势感知
- 人机协作接口：改善交互体验
在实际应用中，我们发现MLLM的性能高度依赖于训练数据的质量和多样性。特别是在处理边缘案例时，需要精心设计数据增强策略。另一个实用建议是采用模型集成方法，结合多个MLLM的输出来提高决策的可靠性。