1. 项目概述
ACC（Adaptive Cruise Control）自适应巡航控制系统是现代智能驾驶领域的关键技术之一。不同于传统定速巡航，ACC系统能够根据前方车辆状态自动调整车速，保持安全跟车距离。这个项目采用深度确定性策略梯度（DDPG）算法来实现更智能的ACC控制策略。
我在实际车载控制系统开发中发现，传统PID控制在复杂交通场景下表现有限。当遇到前车急刹、加塞车辆或弯道工况时，固定参数的控制器往往反应滞后。而DDPG作为典型的Actor-Critic架构算法，能够通过与环境持续交互来优化控制策略，特别适合处理这类连续动作空间的决策问题。
2. 核心需求解析
2.1 ACC系统的基本要求
一个合格的ACC控制器需要满足三个核心指标：
- 安全性：在任何工况下保持最小安全距离（通常采用时间间隔TTC计算）
- 舒适性：加速度变化平缓（jerk值一般要求小于2.5m/s³）
- 燃油经济性：尽量减少不必要的加减速
传统方法通常采用分层控制架构：上层基于规则计算期望加速度，下层用PID跟踪。这种方法在简单场景有效，但面对以下情况时表现欠佳：
- 前车频繁变速
- 曲率变化的弯道
- 多目标车辆干扰
2.2 为什么选择DDPG算法
DDPG结合了DQN和策略梯度的优势，特别适合我们的场景：
- 连续动作空间：直接输出加速度指令（传统DQN需要离散化）
- 记忆回放：能学习不同交通场景下的策略
- 目标网络：提升训练稳定性
实测表明，在NGSIM数据集模拟的复杂交通流中，DDPG控制的ACC比PID的急刹次数减少63%，平均燃油效率提升12%。
3. 系统设计与实现
3.1 状态空间设计
我们定义的状态向量包含7个维度：
python复制state = [
ego_velocity, # 自车速度 (m/s)
relative_distance, # 与前车距离 (m)
relative_velocity, # 相对速度 (m/s)
road_curvature, # 道路曲率 (1/m)
acceleration, # 当前加速度 (m/s²)
jerk, # 加加速度 (m/s³)
time_gap # 时间间隔 (s)
]
注意：相对速度的符号定义很重要——前车比自车快时为正。这个细节会影响reward函数的设计。
3.2 动作空间设计
动作输出为归一化的加速度值：
code复制action ∈ [-1, 1] 对应实际加速度范围 [-3m/s², 2m/s²]
负值代表制动，正值代表加速。这个范围考虑了普通乘用车的动力性能限制。
3.3 关键网络结构
Actor网络（策略网络）：
python复制class Actor(nn.Module):
def __init__(self, state_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 256)
self.fc2 = nn.Linear(256, 128)
self.fc3 = nn.Linear(128, 1) # 输出加速度
def forward(self, state):
x = F.relu(self.fc1(state))
x = F.relu(self.fc2(x))
return torch.tanh(self.fc3(x)) # 输出归一化到[-1,1]
Critic网络（价值网络）采用双输入结构，分别处理状态和动作：
python复制class Critic(nn.Module):
def __init__(self, state_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 256)
self.fc2 = nn.Linear(256 + 1, 128) # 合并动作
self.fc3 = nn.Linear(128, 1)
def forward(self, state, action):
x = F.relu(self.fc1(state))
x = torch.cat([x, action], dim=1)
x = F.relu(self.fc2(x))
return self.fc3(x)
3.4 Reward函数设计
这是整个项目的核心难点之一。我们的reward函数包含四个部分：
code复制R = w1*R_safety + w2*R_comfort + w3*R_efficiency + w4*R_tracking
具体定义：
- 安全项：
R_safety = -exp( (TTC_desired - TTC_actual)/TTC_scale ) - 舒适项：
R_comfort = -|jerk| - 效率项：
R_efficiency = -(velocity - desired_velocity)^2 - 跟踪项：
R_tracking = -|distance - desired_distance|
权重系数通过网格搜索确定为：w1=0.5, w2=0.2, w3=0.2, w4=0.1
4. 训练与调优
4.1 仿真环境搭建
使用CARLA+SUMO联合仿真平台：
- CARLA：提供高保真车辆动力学模型
- SUMO：生成多样化交通流场景
关键参数配置：
yaml复制simulation:
time_step: 0.1s
max_episode_steps: 1000
traffic_density: [0.1, 0.3] # 随机车流密度
4.2 训练技巧
-
课程学习：先简单场景后复杂场景
- 阶段1：单车道恒定速度前车
- 阶段2：前车变速
- 阶段3：多车道车流干扰
-
探索策略：采用OU噪声，参数随时间衰减
python复制ou_noise = OUProcess(theta=0.15, mu=0, sigma=0.2) noise = ou_noise.sample() * max(0.5, 1 - episode/200) -
关键超参数：
- 学习率：actor=1e-4, critic=1e-3
- 折扣因子γ=0.99
- 软更新参数τ=0.01
4.3 模型部署
将训练好的模型转换为TensorRT格式，部署到NVIDIA Drive PX2平台。实测延迟：
- 推理时间：8.3ms（满足100Hz控制频率要求）
- 内存占用：23MB
5. 性能评估与对比
5.1 测试场景设计
我们设计了5类典型场景：
- 前车匀速（基准测试）
- 前车急刹（安全测试）
- 加塞车辆（反应测试）
- 弯道工况（横向耦合测试）
- 走走停停（舒适性测试）
5.2 结果对比
| 指标 | PID控制 | DDPG控制 | 提升幅度 |
|---|---|---|---|
| 平均跟车误差(m) | 3.2 | 1.7 | 47% |
| 急刹次数(/100km) | 5.4 | 2.0 | 63% |
| 燃油消耗(L/100km) | 6.8 | 6.0 | 12% |
| 乘客不适指数 | 0.32 | 0.18 | 44% |
5.3 实车测试发现
在长安某型SUV上的实测中发现两个关键问题：
- 传感器噪声影响：毫米波雷达的误报会导致突然减速
- 解决方案：在状态输入前增加卡尔曼滤波
- 执行器滞后：电子油门响应比仿真慢约200ms
- 解决方案：在动作输出端增加一阶滞后补偿
6. 常见问题与解决
6.1 训练不收敛怎么办
可能原因及对策：
- Reward设计不合理：检查各项reward的量级是否平衡
- 探索不足：增加OU噪声的初始方差
- 网络结构问题：尝试增加层宽或引入残差连接
6.2 实车与仿真差异大
建议采取以下措施：
- 域随机化：在仿真中随机化车辆质量、路面摩擦等参数
- 系统辨识：先采集实车数据拟合动力学模型
- 在线学习：部署后继续用真实数据微调
6.3 如何处理极端场景
对于训练数据中未覆盖的场景（如突然横穿的行人），建议：
- 安全监控层：增加基于规则的紧急制动模块
- 不确定性估计：当Critic输出的Q值方差过大时触发保守策略
- 增量学习：定期用新场景数据更新模型
7. 优化方向
在实际项目中，我们发现还可以从以下方面提升：
- 多车协同：引入V2X通信获取更远距离的交通信息
- 驾驶员个性化：根据驾驶风格在线调整reward权重
- 模型轻量化：使用知识蒸馏压缩网络规模
这个项目的完整代码和仿真场景已开源在GitHub（为避免平台限制不展示具体链接），包含详细的部署教程和数据集。对于想尝试强化学习在控制领域应用的同学，ACC是个非常好的起点——它有明确的评价指标，又不像完全自动驾驶那样涉及复杂的感知问题。