1. 项目概述:少标签精准分割的自动驾驶革新方案
在计算机视觉领域,标注数据的获取成本一直是制约模型性能提升的瓶颈。KAIST团队在ICCV 2025提出的S⁴M(Structural Similarity Self-Supervised Mask)方法,通过结构蒸馏与伪标签精炼的协同创新,为自动驾驶场景下的实例分割任务带来了突破性进展。这项工作的核心价值在于:仅需传统方法10%-20%的标注量,就能达到同等甚至更优的分割精度。
自动驾驶对实例分割的特殊需求在于:
- 需要处理动态场景中多尺度目标(从远处行人到近处车辆)
- 必须保证实时性(通常要求>30FPS的处理速度)
- 对遮挡、光照变化等极端条件具有鲁棒性
传统全监督方法如Mask R-CNN在这些场景下面临两个致命问题:一是标注成本过高(Cityscapes数据集单帧标注需1.5小时);二是小样本学习能力不足。S⁴M通过自监督预训练+半监督微调的双阶段框架,巧妙地解决了这些痛点。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析:结构蒸馏与伪标签精炼
2.1 结构蒸馏的跨模态知识迁移
结构蒸馏模块的创新之处在于将深度估计任务中的几何先验知识迁移到分割任务。具体实现包含三个关键步骤:
-
多模态特征对齐:
- 使用预训练的Monodepth2网络提取深度特征图
- 通过可变形卷积建立深度特征与RGB特征的像素级对应关系
- 设计几何一致性损失函数:
code复制其中Φ_d为深度特征,Φ_s为分割特征,M_edge为边缘掩码L_geo = Σ|Φ_d(I) - Φ_s(I)|·M_edge
-
层次化注意力机制:
- 在ResNet-101的stage3/4引入空间-通道双路注意力
- 动态调节深度特征与外观特征的融合权重
- 实验表明该设计使小目标召回率提升17.3%
-
渐进式蒸馏策略:
- 第一阶段冻结深度网络,只训练适配层
- 第二阶段联合微调整个网络
- 第三阶段加入对抗训练提升域适应能力
2.2 伪标签精炼的自迭代优化
伪标签精炼模块通过"预测-过滤-增强"的闭环流程实现自训练优化:
- 置信度感知的标签生成:
- 对未标注数据生成
