多模态图像融合技术MM_PIM在目标检测中的应用

1. 项目背景与核心价值

在计算机视觉领域，多模态图像融合技术一直是提升目标检测性能的关键突破口。传统方法往往简单堆叠不同模态的特征图，忽略了频域信息的互补性。我们团队开发的MM_PIM模块（Multimodal Phase-Intensity Modulation）创新性地将频率域相位融合与幅度谱修复相结合，在RT-DETR框架中实现了更精准的多模态特征交互。

这个模块的诞生源于我们在自动驾驶夜视场景中的实际观察：红外图像能清晰呈现热辐射目标但丢失纹理细节，可见光图像保留丰富色彩信息却在低照度下失效。现有融合方法要么导致高频特征丢失，要么引入模态间干扰。MM_PIM通过频域解耦与重建，在保持各模态优势的同时实现了1+1>2的融合效果。

2. 技术原理深度解析

2.1 频率域分解与相位融合

模块首先对输入的双模态图像（以红外+可见光为例）执行快速傅里叶变换（FFT），将空间域特征转换到频率域。这里采用汉宁窗预处理减少频谱泄漏，计算公式为：

python复制def hann_window(size):
    return 0.5 * (1 - np.cos(2 * np.pi * np.arange(size) / (size - 1)))

相位分量承载着图像的结构信息，我们设计了一种基于注意力机制的相位融合策略。具体步骤包括：

1. 计算各模态相位谱的余弦相似度矩阵
2. 通过可学习参数α动态调整融合权重
3. 使用门控机制抑制模态冲突区域

关键发现：红外图像的相位谱在目标边缘处具有更高信噪比，而可见光相位谱在纹理区域更可靠。这种差异性正是融合的价值所在。

2.2 幅度谱修复网络

幅度谱反映图像的强度分布，直接平均融合会导致特征模糊。我们构建了一个三阶残差网络进行谱修复：

1. 低频补偿层：采用膨胀卷积（dilation=3）捕获全局光照特征
2. 高频增强层：使用5×5可分离卷积提取细节特征
3. 跨模态门控：动态调节各频段贡献权重

网络结构参数如下表所示：