视觉语言大模型在自动驾驶中的灾难性遗忘问题与解决方案

1. 视觉语言大模型在自动驾驶中的灾难性遗忘现象解析

自动驾驶领域近年来出现了一个明显的技术转向：从传统端到端方案逐步过渡到基于视觉-语言大模型（Vision-Language Models, VLM）的VLA架构。这种转变背后的核心驱动力，是业界对VLM所蕴含的海量世界知识能够解决自动驾驶长尾问题的期待。然而，上海交通大学AutoLab团队的最新研究发现，当这些通用VLM模型在专用自动驾驶数据集上进行微调后，出现了令人担忧的"灾难性遗忘"现象——模型在获得特定驾驶能力的同时，却丧失了原本具备的基础认知能力。

这种现象具体表现为：经过微调的模型在面对原本能够轻松识别的简单场景（如道路上的动物、特殊交通标志等）时，识别准确率显著下降。更令人担忧的是，这种认知能力的退化直接影响了模型的安全性能——在真实道路环境中，漏检一头牛或一个施工标志可能就意味着严重的安全事故。

2. Fidelity Driving Bench：首个自动驾驶遗忘评测基准

2.1 基准构建方法论

为了系统评估VLA模型在微调过程中的遗忘程度，研究团队构建了Fidelity Driving Bench这一专门评测基准。该基准的构建过程体现了严谨的科研方法论：

首先，团队整合了来自15个不同数据源的驾驶场景数据，形成了包含18万场景、90万组问答对的基础数据池。这种多源数据采集策略确保了基准的广泛代表性。然后，通过基于IDF的稀有度统计和BM25风格归一化算法，从海量数据中筛选出真正具有长尾特性的场景样本。

为确保数据质量，所有候选样本都经过了严格的重新标注和人工审核流程。这一步骤有效消除了不同数据源之间标注风格不一致带来的偏差，保证了评测结果的可靠性。最终形成的测试集包含1000个高难度长尾场景，专门用于评估模型的遗忘程度。

2.2 评测任务与指标设计

Fidelity Driving Bench定义了三种核心评测任务：

• 场景描述(Scene Description)：评估模型对驾驶场景的整体理解能力
• 交通问答(Traffic-QA)：测试模型对交通规则和驾驶决策的理解
• 关键目标感知(Noteworthy Objects' Perception)：专门考察模型对安全关键目标的识别能力

相应地，团队设计了两类核心评估指