1. TerraFM:遥感基础模型的范式革新
遥感技术正经历从单任务专用模型向通用基础模型的范式转变。传统遥感分析通常针对特定传感器(如Sentinel-2光学影像)和特定任务(如土地分类)训练独立模型,这种模式存在三个根本性缺陷:首先,不同传感器数据分布差异导致模型难以跨模态迁移;其次,小规模训练数据限制模型泛化能力;最重要的是,分散的模型架构无法积累和迁移跨任务知识。TerraFM的提出正是为了解决这些核心痛点。
作为首个真正统一处理多模态遥感数据的基础模型,TerraFM的创新性体现在三个维度:在架构层面,通过模态特定的patch embedding和跨注意力融合模块,首次实现单一ViT主干对SAR(2通道)、多光谱(13通道)等异构数据的统一处理;在训练策略上,采用18.7M全球样本的对比学习框架,配合双中心化机制有效缓解土地覆盖长尾分布问题;在应用层面,模型展示出强大的零样本迁移能力,在GEO-Bench等基准测试中相对现有方法提升达15.3%的mIoU。
关键突破:传统方法处理多模态遥感数据时需要分别训练不同模型,而TerraFM通过统一的表示空间,使单一模型能同时理解SAR的散射特性和光学影像的光谱特征,这为构建地球观测领域的"通用智能体"奠定了基础。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构设计解析
2.1 模态特定Patch Embedding机制
标准ViT的patch embedding层假设输入具有固定通道数(如RGB图像的3通道),这直接阻碍了其在多模态遥感中的应用。TerraFM的创新设计包含三个关键组件:
-
独立卷积投影层:为Sentinel-1(2通道VV/VH)、Sentinel-2 L1C(13波段)、Sentinel-2 L2A(12波段)分别设计独立的卷积核。以Sentinel-1为例,使用2×16×16的卷积核(stride=16)将256×256输入图像转换为16×16的256维token序列。
-
模态标识嵌入:每个token会叠加可学习的模态特定向量$e_m∈R^d$,使后续transformer层能区分不同传感器来源。实验显示,这种设计比简单通道填充(如将SAR补零到13通道)在土地分类任务中提升约8.2%准确率。
-
共享潜在空间映射:所有模态的token通过共享的线
