自动驾驶行为预测：从LSTM到Transformer的技术演进

1. 行为预测与场景上下文：自动驾驶的核心挑战

在自动驾驶系统中，行为预测模块的质量直接决定了车辆能否做出安全、合理的决策。想象一下，当人类驾驶员接近一个繁忙的十字路口时，我们不仅会观察前方车辆的速度和方向，还会下意识地分析整个交通场景：哪些车道可以通行，行人可能从哪里出现，左侧那辆减速的卡车是否准备变道...这种对场景的全面理解能力，正是当前自动驾驶系统努力追赶人类驾驶水平的关键差距。

过去八年，行为预测领域经历了一场静悄悄的革命。早期的预测模型就像戴着厚重眼罩的跑步者，只能看到前方车辆的几个历史轨迹点；而现代最先进的预测系统已经能够像经验丰富的司机一样，"感知"整个交通场景的动态变化。这场革命的核心，就是深度学习模型对场景上下文编码能力的持续进化。

2. 场景上下文的三重维度

要理解行为预测的技术演进，首先需要明确什么是"场景上下文"。我们可以将其分解为三个相互关联但又各具特点的维度：

2.1 时序上下文：目标的运动历史

这是最基础也最直观的上下文维度。就像我们判断一个人行走方向时会观察他之前几步的轨迹一样，行为预测模型需要分析目标车辆或行人过去几秒（通常是3-5秒）的运动状态。传统方法如卡尔曼滤波仅利用这一维度进行简单的运动学外推。

2.2 空间上下文：道路的结构约束

道路环境为交通参与者的行为提供了物理约束和语义引导。车道线、路缘石、交通标志等元素共同构成了一个"意图空间"——车辆的未来轨迹极大概率会被限制在车道网络允许的范围内。想象一辆正在右转的车：即使它暂时减速，我们也知道它不太可能突然左转，因为道路物理结构不允许。

2.3 交互上下文：交通参与者间的动态关系

这是最复杂也最具挑战性的维度。在拥挤的交通场景中，车辆、行人之间的行为会相互影响。这种影响不仅取决于空间距离，还与相对速度、道路拓扑（如汇流车道）、甚至未成文的交通礼仪有关。一个典型的例子是"拉链式"并道场景，车辆间的默契协作很难用简单规则描述。

3. LSTM时代：时序优先的朴素预测

3.1 基础LSTM预测架构

早期的深度学习预测模型直接借鉴了自然语言处理中的序列建模思路。LSTM（长短期记忆网络）被用来编码目标的历史轨迹，就像处理一个句子中的单词序列一样。典型的实现方式是将过去3秒内每隔0.1秒的车辆位置坐标(x,y)作为输入序列，通过LSTM编码为一个固定维度的隐状态向量，再通过全连接层解码出未来轨迹。

技术细节：这种架构通常使用均方误差(MSE)作为损失函数，直接优化预测轨迹与真实轨迹的点对点距离。为处理轨迹的多模态性（比如在路口可能左转或直行），一些模型会同时输出多个可能的轨迹及其概率。

3.2 社交池化：交互上下文的初步尝试

2016年提出的Social LSTM是第一个尝试引入交互上下文的代表性工作。它的核心思想很简单：将场景划分为规则的网格，每个网格存储附近目标的LSTM隐状态信息。当预测某个目标的行为时，除了自身的轨迹编码外，还会聚合周围网格中的信息。

实际局限：这种方法在行人密集场景中效果尚可，但对车辆预测存在明显不足。车辆运动受道路结构严格约束，简单的空间邻近性并不能反映真实的交互逻辑。比如，对向车道的车辆虽然空间距离近，但实际交互影响可能远小于同车道后方车辆。

3.3 栅格化地图：空间上下文的图像式编码

为了引入道路结构信息，研究者开始将高精地图渲染为鸟瞰图(BEV)形式的栅格图像，使用CNN卷积网络提取特征。典型的栅格通道包括：车道线、路缘、交通标志、可行驶区域等语义图层。

工程挑战：这种方法面临分辨率与计算量的权衡。高分辨率(0.1米/像素)能保留精细的车道几何，但导致巨大的计算负担；低分辨率又可能丢失关键细节。另一个问题是旋转不变性——车辆朝向变化时，固定视角的栅格表示需要特殊处理（如空间变换网络）来保持一致性。

4. GNN革命：结构化交互的崛起

4.1 图结构在行为预测中的自然适配

图神经网络(GNN)的兴起为行为预测带来了范式转变。交通场景本质就是一个动态图：车辆、行人、骑行者是节点；它们之间的空间关系、道路连接关系构成边。GNN的消息传递机制完美匹配了这种结构化交互建模的需求。

关键优势：

1. 置换不变性：不依赖输入顺序，适应交通参与者数量变化
2. 关系显式化：不同类型的交互可以通过不同的边类型表达
3. 计算高效：只需在真实存在的交互对上计算，避免全连接开销

4.2 LaneGCN：车道拓扑的结构化编码

2021年的LaneGCN是这一范式的里程碑工作。它彻底摒弃了栅格化表示，将车道中心线离散为节点序列，构建了三个层次的图结构：

1. 车道内连接：相邻车道点相连，编码局部几何
2. 车道间连接：相同车道的前后继节点相连，处理长距离依赖
3. 交叉连接：不同车道在交汇处相连，表达拓扑关系

车辆节点通过与空间最近的车道节点交互，将道路结构信息注入轨迹预测。这种设计首次实现了车辆-车道的统一结构化表征。

4.3 VectorNet：矢量化场景表示

另一个重要创新是VectorNet提出的矢量化(polyline)表示。它将车道线、车辆轨迹都表示为折线(polyline)，每个polyline内部通过子图聚合信息，不同polyline之间通过全局图交互。

实际价值：这种表示既保留了矢量数据的几何精度，又通过层次化图结构实现了高效计算。工业界发现，相比栅格方法，矢量表示在保持相同精度下可减少3-5倍计算量。

5. Transformer时代：统一注意力机制

5.1 自注意力的革命性优势

Transformer架构在行为预测中的应用带来了质的飞跃。其核心的自注意力机制具有三项关键能力：

1. 全局感受野：任意两个元素可直接交互，无需多层传播
2. 统一表示：轨迹点、车道节点、语义标记都映射为相同维度的token
3. 动态交互：注意力权重自动学习不同上下文元素的重要性

5.2 Scene Transformer：端到端统一建模

2021年的Scene Transformer首次展示了完整的行为预测可以完全用Transformer实现。它将所有交通参与者的历史轨迹点、地图元素、自车状态统一编码为token序列，通过多层Transformer编码器进行全局交互，最后并行解码所有目标的未来轨迹。

架构创新：

• 时空注意力掩码：保持因果性（未来不依赖未来）
• 可变长度输入输出：适应场景中目标数量的变化

5.3 MTR：基于查询的多模态预测

Motion Transformer(MTR)系列引入了"意图查询"机制。预先定义一组可学习的查询向量，每个查询对应一种可能的运动意图（如左转、直行、右转）。这些查询通过交叉注意力与场景上下文交互，逐步细化为具体的轨迹预测。

实际效果：相比传统的锚点(anchor)方法，查询机制能生成更自然、更符合物理约束的多模态轨迹。Waymo的报告显示，MTR将复杂交叉路口的预测错误率降低了40%。

6. 工业实践与性能权衡

6.1 主流架构的性能对比

根据公开基准测试，不同架构在Waymo Open Motion数据集上的典型表现：

趋势解读：Transformer架构在精度上全面领先，但计算成本显著更高。工业界在实际部署时往往需要权衡精度与延迟，常见策略是：

• 城市复杂场景使用Transformer
• 高速公路等简单场景使用优化后的GNN

6.2 矢量化表示的工业共识

无论底层使用GNN还是Transformer，现代预测系统已全面转向矢量化场景表示。与早期栅格方法相比，矢量表示具有明显优势：

1. 精度：亚米级几何保真，不受像素化损失影响
2. 效率：稀疏计算，仅处理实际存在的元素
3. 可扩展性：天然支持高清地图的复杂拓扑

7. 前沿探索与未来方向

7.1 预测基础模型

当前预测模型通常针对特定数据集从头训练。新兴的研究方向是构建"基础模型"——在大规模异构驾驶数据上预训练通用场景理解能力，然后通过少量目标域数据微调。关键挑战包括：

• 设计有效的预训练任务（如掩码轨迹重建）
• 处理多传感器输入的差异性
• 实现跨地理区域的泛化

7.2 隐式交互规划

传统模块化架构中，预测与规划是分离的。前沿工作开始探索二者共享隐式场景表征，让规划梯度直接影响预测特征学习。这种方法有望使预测更专注于对决策真正重要的交互因素。

7.3 认知启发的交互建模

当前模型在复杂社会交互（如非信号灯路口的通行协商）中仍显笨拙。受认知科学启发的新方向尝试将其他交通参与者建模为有信念、有意图的理性主体，通过逆强化学习等技术推断其决策机制。

8. 实践建议与经验分享

8.1 架构选型指南

根据我们的实践经验，不同场景下的架构选择建议：

1. 研发资源有限：从优化后的LaneGCN开始，平衡性能与实现难度
2. 追求最高精度：采用MTR类架构，准备充足计算资源
3. 边缘设备部署：考虑轻量化的VectorNet变体，结合知识蒸馏

8.2 数据准备要点

高质量的行为预测依赖精心构建的数据集：

1. 场景多样性：确保覆盖各种道路类型、交通密度、天气条件
2. 标注一致性：轨迹标注应平滑且符合物理约束
3. 交互标注：对重要的交互事件（如让行、变道）进行额外标记

8.3 评估陷阱与规避

行为预测评估存在一些常见陷阱：

1. 过拟合静态指标：minADE优化可能导致轨迹过于保守
2. 忽视交互合理性：单独看每条轨迹可能合理，但整体交互不真实
3. 忽略规划兼容性：预测结果应便于下游规划模块使用

建议采用多维度评估，包括：

• 传统度量（ADE,FDE）
• 交互合理性评分
• 规划模块端到端测试

9. 典型问题排查

在实际开发中，我们经常遇到以下问题：

问题1：模型在简单场景表现良好，但复杂交叉路口错误率高

排查步骤：

1. 检查训练数据中该类场景的覆盖率
2. 分析注意力权重，确认模型是否关注了正确的上下文元素
3. 考虑引入专门的路口交互模块

问题2：预测轨迹出现物理不可能的突变

可能原因：

1. 训练数据存在标注抖动
2. 解码器缺乏足够的运动学约束
3. 时间维度信息丢失

解决方案：

1. 数据预处理应用平滑滤波
2. 在损失函数中添加运动学正则项
3. 使用TCN等保持时序一致性的结构

问题3：模型对远处车辆预测不准

原因分析：

1. 远处车辆观测噪声大
2. 长距离交互建模不足
3. 地图信息衰减

改进方向：

1. 输入中增加观测不确定性估计
2. 采用层次化注意力机制（先局部后全局）
3. 增强地图特征的传播距离

10. 经验总结与实用技巧

经过多个实际项目的锤炼，我们总结了以下宝贵经验：

1. 上下文编码不是越多越好：要区分关键上下文与噪声。有时简单的距离阈值过滤比复杂的注意力机制更有效。

2. 运动学约束至关重要：无论使用何种高级架构，都应确保解码器输出的轨迹符合车辆运动学。我们发现在输出层加入简单的动力学滤波器，能显著减少物理不可能预测。

3. 多任务学习有帮助：联合训练意图识别、速度预测等辅助任务，可以提升主任务的表征学习。

4. 实时性优化技巧：

   • 对远处车辆使用低频率更新
   • 注意力计算采用top-k稀疏化
   • 使用级联预测（粗预测+局部精修）

5. 场景理解与预测的协同：我们发现，当预测模型能够访问更高层的场景理解特征（如交通灯状态、路权关系）时，性能提升显著。这提示我们，预测模块应该与感知、地图模块深度集成，而非简单串联。

在具体实现上，对于刚接触这一领域的团队，我们建议从简化版的LaneGCN开始，逐步迭代到更复杂的架构。一个实用的路线图可能是：

1. 实现基本的LSTM轨迹编码器
2. 加入静态地图的GNN编码
3. 引入车辆间交互图
4. 用Transformer替换部分GNN组件
5. 最终过渡到完整的Transformer架构

这种渐进式的方法可以让团队在每一步都验证收益，避免一开始就陷入复杂架构的调试困境。