1. 场景变化检测的泛化性挑战与GeSCF框架
在计算机视觉领域,场景变化检测(Scene Change Detection, SCD)一直是个既基础又关键的任务。想象一下自动驾驶汽车需要识别路况变化,或者安防系统要发现监控场景中的异常——这些都需要可靠的场景变化检测能力。然而,当前最先进的SCD方法面临一个尴尬的现实:在实验室环境下表现优异(达到77.6%的准确率),一旦遇到未见过的环境或不同时间条件,性能就会断崖式下跌至8.0%甚至4.6%。这种巨大的性能落差揭示了现有方法在泛化能力上的严重缺陷。
传统SCD方法通常依赖监督学习,需要大量标注数据进行训练。但现实世界中,变化标注的成本极高——标注一对图像的变化区域可能需要专业人员花费数小时。这导致现有数据集普遍存在三个问题:(1) 规模有限;(2) 场景覆盖稀疏;(3) 大量使用合成数据。当模型遇到训练数据未覆盖的场景时,就像拿着城市地图在乡村迷路一样无所适从。
更棘手的是时间一致性问题。现有方法对输入图像的时间顺序非常敏感——同一组图像调换输入顺序,可能得到完全不同的检测结果。这种不一致性在实际应用中会造成严重问题,比如自动驾驶系统可能因为检测结果随输入顺序变化而做出危险决策。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. GeSCF框架设计原理与技术突破
2.1 基于SAM的零样本迁移思路
Segment Anything Model(SAM)的出现为解决SCD泛化问题提供了新思路。SAM是在1100万张图像、10亿个掩码上训练的基础模型,具有惊人的零样本迁移能力。但直接将SAM用于SCD面临两个核心挑战:
- 输入形式不匹配:SAM设计用于单图像交互式分割,依赖用户提供的点或框作为提示;而SCD需要处理图像对,且应无需人工干预。
- 变化检测的特殊性:SCD需要识别两幅图像间的差异,而SAM原生只能处理单幅图像的内容。
GeSCF框架创新性地通过两个关键模块解决这些问题:初始伪掩码生成(Initial Pseudo-mask Generation)和几何-语义掩码匹配(Geometry-Semantic Mask Matching)。这种设计既保留了SAM强大的泛化能力,又使其适应了SCD的任务需求。
2.2 初始伪掩码生成技术细节
初始伪掩码生成模块的核心思想是利用SAM特征空
