多模态语义分割：对称式框架与参数高效微调实践

1. 多模态语义分割的挑战与机遇

在计算机视觉领域，语义分割任务要求对图像中的每个像素进行分类，这在自动驾驶、医疗影像分析等应用中至关重要。传统方法主要依赖RGB图像，但在复杂场景下（如夜间、雾天或快速运动场景）表现往往不尽如人意。多模态数据（如深度、热红外、偏振等）的引入为解决这些挑战提供了新思路，但如何有效融合不同模态的信息一直是研究难点。

当前主流方法存在两个主要问题：一是计算成本高，需要对预训练模型进行全量微调（FFT）；二是模态利用不平衡，通常以RGB为主导，其他模态仅作为辅助。我们的工作正是针对这些问题，提出了一种参数高效的对称式框架，让不同模态能够平等贡献，同时大幅降低计算开销。

提示：参数高效微调（PEFT）是近年来兴起的技术，它通过冻结预训练模型的大部分参数，只训练少量新增参数，既能保留模型强大的特征提取能力，又能快速适配新任务。

2. 对称式框架设计原理

2.1 整体架构概述

我们的框架基于预训练的Swin Transformer构建，包含三个核心组件：

1. 模态感知提示与适配模块（MAPA）：为每种模态生成定制化提示，并适配预训练模型
2. 动态稀疏跨模态融合模块（DSCF）：选择性融合不同模态的关键信息
3. 掩码模态自教学策略（MMST）：通过随机遮蔽模态增强模型鲁棒性

与传统非对称结构不同，我们的设计将RGB和X模态置于完全平等的地位。如图1所示，两种模态都经过相同的处理流程，最后通过融合模块结合各自优势。

2.2 模态感知提示与适配（MAPA）

MAPA模块的创新之处在于它能够同时增强两种模态的特征表示能力，具体分为三个步骤：

双模态特征统一：首先将两种模态的特征融合为统一表示：

code复制X_uni = LayerNorm(Conv1x1([X_rgb, X_x]))

这一步骤建立了模态间的信息桥梁，使后续处理能够利用跨模态知识。

异构提示生成：将统一特征投影到各模态空间，生成定制化提示：

code复制P_rgb = MLP_rgb(X_uni)
P_x = MLP_x(X_uni)

这些提示会引导预训练模型关注对当前模态重要的特征。

模态特定适配：采用沙漏型结构的适配器（降维→ReLU→升维）将预训练模型的能力迁移到