1. 夜间图像去雾的挑战与现状
夜间图像去雾是计算机视觉领域一个极具挑战性的研究方向。与白天场景相比,夜间图像不仅受到大气散射效应导致的雾霾影响,还面临着多种复杂的光照干扰。我在实际处理这类问题时发现,夜间场景至少存在三个关键难点:
首先是多色光源干扰。城市夜景中常见的路灯、车灯、霓虹灯等人工光源会产生强烈的光晕效应(glow effect)。这些光源往往呈现不同的色温,导致传统基于单一物理模型的去雾方法失效。我曾尝试直接应用白天去雾算法处理夜间图像,结果发现高光区域会出现严重的色彩失真。
其次是噪声与雾霾的耦合。夜间图像由于光照不足,相机传感器需要提高ISO感光度,这不可避免地引入大量噪声。更棘手的是,这些噪声信号与雾霾效应在频域上相互交织——雾霾主要影响低频成分,而噪声则集中在高频区域。常规的去噪或去雾算法很难同时处理这种耦合失真。
第三是亮度平衡问题。夜间场景本身具有极高的动态范围,从极暗的阴影区域到明亮的光源区域可能跨越多个数量级。直接去除雾霾后,图像往往出现不自然的亮度分布,要么整体过暗丢失细节,要么高光区域溢出。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. SFSNiD框架的核心设计思想
2.1 空间-频率双域协同处理
SFSNiD框架最具创新性的部分是它的空间-频率信息交互模块(SFII)。这个设计源于我对传统方法局限性的观察:单纯在空间域操作很难解耦雾霾、光晕和噪声的混合效应。
频域动态滤波是该模块的第一个关键步骤。具体实现时,我们首先对输入特征进行快速傅里叶变换(FFT),将图像分解为幅度谱和相位谱。这里的一个技术细节是:我们不是简单地对整个频谱进行全局滤波,而是设计了可学习的频域注意力机制。通过1×1卷积生成通道自适应的滤波权重,模型可以动态地抑制与失真相关的频率成分。
实际调试中发现,直接使用固定滤波器(如理想低通滤波器)会导致边缘信息丢失。而动态滤波可以根据图像内容自适应调整,保留有用的高频细节。
在空间域处理方面,我们借鉴了Swin Transformer的局部窗口注意力机制。但与原始设计不同,我们的BLP模块处理的是经过频域增强后的特征。具体实现时,我们将图像划分为8×8的非重叠窗口,在每个窗口内计算自注意力。这种设计有两个优势:
- 计算复杂度从O(n²)降至O(n)
- 更适合处理夜间图像中局
