杨力扬1. MultiMAE：多模态多任务掩码自编码器技术解析
在计算机视觉领域，自监督学习近年来取得了显著进展，其中掩码自编码器（Masked Autoencoder, MAE）因其出色的特征学习能力而备受关注。然而，传统MAE方法存在两个主要局限：仅支持单模态（通常为RGB图像）输入，以及仅针对单一重建任务进行优化。瑞士洛桑联邦理工学院（EPFL）团队提出的MultiMAE（Multi-modal Multi-task Masked Autoencoders）创新性地解决了这些问题，为多模态视觉表征学习开辟了新方向。
作为一名长期关注自监督学习的研究者，我认为MultiMAE的核心价值在于其"三合一"的设计理念：通过一个统一的框架同时实现多模态支持、多任务学习和高效训练。这不仅提升了模型在下游任务中的表现，更重要的是解决了实际应用中多模态标注数据稀缺的痛点。下面我将从技术原理、实现细节和实验验证三个维度深入剖析这一工作。
1.1 核心架构设计
MultiMAE的整体架构基于Transformer，主要由三部分组成：多模态投影层、共享编码器和任务特定解码器。这种模块化设计既保证了各模态数据的特性保留，又实现了跨模态的特征交互。
多模态投影层 是第一个关键创新点。对于输入的不同模态数据（RGB、深度图、语义分割图等），模型首先使用独立的线性投影层将原始数据转换到统一的特征空间。具体来说，对于每个16×16的图像块，RGB模态使用3通道到D维的投影，深度图使用1通道到D维的投影，语义分割图则先通过嵌入层将类别索引映射为64维向量，再投影到D维空间。这种设计确保了不同模态的特征可以在同一空间中进行比较和融合。
共享编码器 采用标准的ViT架构，但引入了模态特定的全局token。这些token类似于ViT中的[CLS]token，但专门用于捕获各模态的全局特征。在训练过程中，所有模态的特征会在Transformer层中自然交互，使模型能够学习跨模态的关联规律。值得注意的是，编码器仅处理未被掩码的patch（约1/6），这大幅降低了计算开销。
任务特定解码器 采用轻量级设计，每个重建任务（RGB重建、深度估计、语义分割）都有独立的解码器。这些解码器共享底层参数以减少模型复杂度，仅在高层使用任务特定的注意力头和预测头。实验表明，这