1. 交通灯感知系统设计背景与挑战
在自动驾驶系统中,交通灯状态感知是最基础也是最具挑战性的任务之一。不同于常规目标检测,交通灯识别面临着多重技术难点:
- 光照条件多变:从正午强光到夜间低照度,同一交通灯在不同光照下呈现完全不同的视觉特征
- 形态多样性:不同城市、不同路口的交通灯存在圆形、箭头形、数字倒计时等多种形态
- 动态变化特性:状态切换时可能出现黄灯闪烁、红绿同亮等过渡状态
- 小目标检测:远距离场景下交通灯在图像中可能仅占几十个像素
我们团队在开发第三代自动驾驶系统时,发现传统单模型方案在跨城市测试中表现不稳定。特别是在深圳南山区与北京朝阳区的对比测试中,模型在南方强光照和北方雾霾天气下的性能差异达到23%。这促使我们转向多模型融合架构,通过场景自适应策略提升系统鲁棒性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构设计解析
2.1 两阶段处理流程
系统采用"检测+分类"的级联架构,这种设计主要基于三个考量:
- 任务解耦:检测需要关注位置信息,分类需要聚焦颜色特征,分开建模更高效
- 计算优化:全图检测后只在ROI区域做分类,避免全局高分辨率计算
- 错误隔离:检测失败时可通过时序信息补偿,分类错误可通过多帧投票纠正
流程中的关键创新点是引入了光照自适应模块,通过分析图像直方图特征自动选择日间/夜间检测模型。实测表明,这种动态切换策略比单一模型在夜间场景的漏检率降低47%。
2.2 多模型协同机制
系统包含三类核心模型:
- 主检测模型:YOLOX-s(日间)和RTMDet(夜间)构成基础检测网络
- 精细检测模型:针对小目标的YOLOX-tiny,输入尺寸动态调整
- 分类模型:基于ResNet-18改进的专用分类网络
模型选型经验:在特斯拉HW3.0硬件上,YOLOX-s的推理延迟为28ms,RTMDet为22ms,而分类模型仅需8ms。这种组合在保证精度的同时满足了100ms的端到端时延要求。
3. 核心模型技术细节
3.1 检测模型优化
日间模型(YOLOX-s改进版)
- 输入分辨率提升至1920×1088,较标准640×640提升小目标召回率
- 采用两阶段训练策略:
- 基础检测:CO
