基于MAE预训练模型的红外与可见光图像融合技术解析

1. 项目概述

在计算机视觉领域，红外与可见光图像融合（IVIF）是一个极具挑战性的研究方向。这项技术旨在将两种不同成像模态的优势互补结合——红外图像能清晰显示热辐射信息，而可见光图像则保留了丰富的纹理细节。传统方法往往需要依赖下游任务（如目标检测）来获取高级语义特征，这不仅增加了计算成本，还可能导致特征提取的局限性。

MaeFuse模型创新性地采用了预训练的掩码自动编码器（MAE）作为特征提取器。这种设计思路源于一个关键观察：MAE在自监督预训练过程中已经学习到了从低级纹理到高级语义的全面特征表示。通过迁移学习，我们可以直接利用这些现成的特征，避免从头训练带来的资源消耗和特征缺失问题。

提示：MAE预训练模型之所以强大，是因为它通过随机掩码图像块并重建的任务，迫使模型学习图像的本质特征表示。这种自监督学习方式特别适合需要全面特征理解的融合任务。

2. 核心架构解析

2.1 预训练编码器设计

MaeFuse的核心在于其编码器部分直接采用了MAE的预训练权重。具体实现时，作者对标准MAE做了以下关键调整：

1. 特征层级选择：同时提取浅层（第3层）和深层（第11层）的特征输出。浅层特征保留更多细节信息（如边缘、纹理），而深层特征则包含高级语义（如物体形状、场景结构）。

2. 特征融合策略：采用通道注意力机制动态调整不同层级特征的权重。具体计算公式为：

   code复制F_fused = α·F_shallow + (1-α)·F_deep
   

   其中α是通过1×1卷积和sigmoid函数生成的注意力图，取值范围[0,1]。

3. 计算效率优化：冻结了编码器前80%的层，只微调最后几层。这样既保留了预训练特征的质量，又减少了训练时的计算量。

2.2 引导训练机制

模型采用了一种创新的双分支训练策略：

1. 重建分支：强制模型学习精确的像素级重建能力。使用L1损失函数：

   code复制L_recon = ||I_fused - I_gt||_1
   

2. 感知分支：通过预训练的VGG网络提取高级特征，使用感知损失：

   code复制L_percep = ||Φ(I_fused) - Φ(I_gt)||_2
   

   其中Φ表示V