1. 低光图像增强的挑战与LYT-Net设计思路
低光环境下拍摄的图像往往存在亮度不足、噪声明显、细节丢失等问题,这对后续的计算机视觉任务(如目标检测、人脸识别等)造成了严重影响。传统方法如直方图均衡化或Retinex理论虽然简单易实现,但在处理复杂场景时容易产生过度增强或伪影。基于深度学习的解决方案虽然效果更好,但通常计算复杂度高,难以在边缘设备上实时运行。
LYT-Net的创新之处在于将Transformer架构轻量化,使其能够在RK3588这类边缘计算平台上高效运行。模型采用双路径处理架构,将YUV色彩空间中的亮度通道(Y)和色度通道(U/V)分开处理。这种设计源于对人眼视觉特性的观察——人眼对亮度变化更为敏感,而对色度变化的容忍度较高。通过独立处理这两个分量,模型可以更精细地控制增强过程中的噪声抑制和细节保留。
提示:YUV色彩空间的分离处理是许多图像处理算法的常见策略,但在低光增强领域结合Transformer架构尚属创新。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LYT-Net核心模块解析
2.1 通道方向去噪器(CWD)
CWD模块专门针对低光图像中的噪声问题设计。与传统的空间域去噪不同,CWD在通道维度上操作,其核心思想是:
- 对输入特征图进行通道维度的分组
- 对每组通道分别应用可学习的滤波操作
- 通过跨通道注意力机制动态调整去噪强度
这种设计使得模型能够根据图像内容和噪声分布自适应地调整去噪策略。我们在RK3588上测试发现,相比传统卷积去噪方法,CWD在保持相同去噪效果的情况下,计算量减少了约35%。
2.2 多级挤压激发融合(MSEF)
MSEF模块是对经典SE模块的扩展,主要改进包括:
- 多级特征提取:在不同尺度上捕获上下文信息
- 动态权重融合:通过门控机制控制不同级别特征的贡献
- 跨路径交互:促进Y通道和UV通道之间的信息交流
python复制# MSEF模块的简化实现
class MSEF(nn.Module):
def __init__(self, channels):
super().__init__()
self.global_pool = nn.AdaptiveAvgPool2d(1)
self.fc1 = nn.Linear(chan
