1. 项目背景与核心价值
在计算机视觉领域,目标检测技术一直是研究热点,而RT-DETR作为基于Transformer的实时检测器,因其端到端的特性和高效的性能备受关注。但在实际应用中,特别是在恶劣天气条件下(如雾天、雨天),传统检测模型的性能往往会大幅下降。这主要是因为恶劣天气会导致图像对比度降低、颜色失真、细节模糊等问题,严重影响模型的特征提取能力。
我们团队针对这一问题,提出了颜色增强模块CEM(Color Enhancement Module),通过双色引导保真色和轻量调制提对比度两大核心技术,有效提升了RT-DETR在雾天等恶劣环境下的检测性能。这一工作已被AAAI 2025接收,下面我将详细介绍我们的技术方案和实现细节。
提示:在实际应用中,雾天检测的难点不仅在于能见度低,更在于颜色失真和对比度下降导致的特征混淆。传统方法往往只关注去雾而忽略了颜色保真,这正是CEM的创新之处。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术方案设计
2.1 整体架构
我们的改进方案在RT-DETR的骨干网络前端加入了CEM模块,形成多模态信息融合的预处理阶段。整体流程如下:
- 输入图像首先经过双色引导保真色处理,恢复雾天失真的颜色信息
- 然后通过轻量调制网络提升图像对比度,突出目标边缘特征
- 处理后的图像与原始图像进行特征融合,形成多模态输入
- 最终送入RT-DETR进行目标检测
这种设计既保留了原始图像的信息,又增强了关键特征,为后续检测提供了更优质的输入。
2.2 双色引导保真色技术
雾天图像的颜色失真主要表现为:
- 整体色调偏灰白
- 颜色饱和度降低
- 色相偏移
我们提出的双色引导机制通过以下步骤实现颜色保真:
- 参考色提取:从清晰图像数据集中学习典型场景的颜色分布,建立颜色先验库
- 主导色识别:对输入图像进行超像素分割,识别出主导颜色区域
- 双色映射:将雾天失真的主导色映射到清晰图像的颜色空间
- 全局调整:基于主导色映射关系,调整整幅图像的颜色分布
具体实现上,我们设计了一个轻量级的颜色转换网络:
python复制class ColorMappingNetwork(nn.Module):
def __init__(self):
super().
