Thepoly1. 从规则控制到智能协同：交通信号优化的范式革命
在传统交通信号控制系统中，我们通常采用固定配时方案或基于简单规则的感应控制。这些方法虽然实现简单，但存在明显的局限性：固定配时无法适应动态变化的交通流，而感应控制往往只关注局部车辆检测，缺乏全局协同视角。我在实际项目中曾遇到一个典型案例：某城市主干道在早高峰时段，虽然每个交叉口的感应信号灯都能快速响应车流，但由于缺乏协同，导致车辆频繁在相邻路口遇到红灯，形成"走走停停"的交通波，整体通行效率反而比固定配时更差。
这正是我们需要引入多智能体强化学习(MARL)的根本原因。通过让多个信号灯智能体在仿真环境中自主学习协同策略，我们有望突破传统方法的性能天花板。我在SUMO仿真平台上做过对比测试：在相同交通流量下，基于规则的控制方案平均延误时间为78秒/车，而经过MARL训练后的智能体系统能将延误降低到42秒/车，效果提升显著。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 交通信号协同控制的问题建模
2.1 多智能体系统的基本框架
将城市路网中的信号灯建模为智能体集合时，需要考虑以下几个关键因素：
-
智能体边界划分：每个信号灯控制一个独立的交叉口，但相邻交叉口之间存在强耦合关系。在实践中，我建议采用"控制区域+影响区域"的双层定义：
- 控制区域：智能体直接管理的交叉口（动作执行范围）
- 影响区域：上下游1-2个相邻交叉口（观察和奖励计算范围）
-
异构智能体处理：不同交叉口可能具有不同的相位方案和车道配置。我们的系统需要兼容这种异构性，可以通过为每种路口类型设计对应的观察空间和动作空间来实现。
2.2 状态与观察空间设计
全局状态理论上应包含路网中所有车辆的完整信息，但这在实际中既不现实也不必要。经过多次实验验证，我发现以下几个关键观测指标最为有效：
- 排队长度：进口道停止线后20米范围内的静止车辆数
- 等待时间：车辆从减速到停止的累计时间
- 交通压力：进口道车辆数/车道长度的归一化值
- 相位状态：当前相位索引及已持续时间
一个实用的观察空间设计示例：
python复制def get_observation(self):
obs = []
# 车道级信息
for lane in self.incoming_lanes:
obs.append(traci.lane.getLastStepHaltingNumber(lane)) # 排队长度
obs.append(traci.lane.getLastStepMeanSpeed(lane)/13.89) # 归一化速度
obs.append(traci.lane.getLastStepVehicleNumber(lane)/self.lane_c