1. SAM模型:图像分割领域的范式革命
2023年4月,Meta AI研究院发布的Segment Anything Model(SAM)如同一枚技术核弹,彻底改写了计算机视觉中图像分割的游戏规则。这个拥有10亿参数的基础模型,在1100万张图像和11亿个掩码标注的SA-1B数据集上训练完成,其最颠覆性的突破在于实现了"零样本"(zero-shot)通用分割能力——不需要针对特定任务进行微调,仅通过提示(point/box/text)就能完成从未见过的图像分割任务。
传统分割模型如Mask R-CNN、U-Net等需要针对每个细分场景(医疗影像、自动驾驶等)单独训练,而SAM的promptable segmentation设计使其像ChatGPT处理文本那样,通过交互式提示处理任意图像。实测显示,在COCO等23个主流数据集上的零样本表现,SAM已超越多数经过全监督训练的专用模型,这种"以一敌百"的通用能力正是其被称为"分割界的GPT-3"的原因。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构解析:三大核心创新
2.1 图像编码器的进化
SAM采用经过改进的Vision Transformer(ViT)作为图像编码器主干网络,特别之处在于:
- 使用MAE(Masked Autoencoder)预训练策略,通过随机掩码75%的图像块并重建原始像素,使模型学习到更鲁棒的视觉表征
- 采用分级下采样设计,在浅层保留高分辨率细节(适用于边缘分割),深层捕获语义信息(用于物体识别)
- 图像编码耗时仅需50ms/张(Tesla V100),比传统CNN快3倍的同时保持更高精度
2.2 提示编码器的巧思
模型支持多种交互方式:
- 点提示:将屏幕点击坐标转换为256维位置编码,区分前景/背景点(正/负样本)
- 框提示:将矩形对角两点编码为位置嵌入,加入可学习的框宽高表征
- 文本提示:可选CLIP文本编码器,实现"文字->分割"的跨模态能力
所有提示统一映射到256维向量空间,通过轻量级MLP实现模态对齐
2.3 掩码解码器的二段式设计
- 动态卷积头:根据提示生成1024个候选掩码,覆盖不同分割粒度
- IoU预测头:评估每个掩码质量,选择最优3个输出
- 不确定性估计:对模糊边界提供置信度评分
