1. 项目概述：基于双特征引导的源自由域自适应方法
在医学影像分析领域，一个长期存在的痛点在于不同医疗机构采集的数据存在显著差异。以肝脏分割任务为例，某三甲医院使用西门子3.0T MRI设备采集的训练数据，在应用到基层医院的老式CT设备时，模型性能往往会断崖式下跌。传统解决方案需要重新标注目标域数据并微调模型，但这在医疗场景面临两大难题：一是患者隐私保护使得源数据无法共享，二是专业标注成本高昂。这正是源自由域适应(Source-Free Domain Adaptation, SFDA)技术要解决的核心问题。
近期，Segment Anything Model (SAM)的出现为医学图像分割带来了新的可能性。但我们在实际应用中发现，直接将SAM与现有SFDA方法结合效果并不理想。究其原因，在于SAM对输入提示框(prompt box)的精度极为敏感——当边界框偏移5个像素时，肝脏分割结果的Dice系数可能下降超过15%。而在没有目标域标注的情况下，如何自动生成高质量的提示框成为关键挑战。
本文介绍的DFG方法(双特征引导自动提示框生成)通过创新性地结合源模型特征和SAM特征，实现了在无标注情况下的精准提示框生成。我们在腹部多器官分割任务上的实验表明，该方法将MRI到CT跨模态适应的平均Dice系数从基线方法的74.4%提升到84.9%，其中脾脏分割的提升幅度更是达到惊人的18.6%。更重要的是，这套方案完全不需要访问源数据，符合医疗数据隐私保护的要求。
2. 核心问题与技术挑战
2.1 源自由域适应的特殊性
与传统域适应不同，SFDA面临三个刚性约束：
- 源数据不可获得（隐私/合规要求）
- 目标域无标注（降低成本）
- 只能使用预训练的源模型和目标域未标注数据
在肝脏分割任务中，这相当于：
- 源域：高场强MRI图像（1.0mm各向同性分辨率）
- 目标域：低剂量CT图像（3.0mm层厚，含金属伪影）
- 可用资源：MRI上训练的分割模型 + 未标注的CT扫描序列
2.2 SAM模型的应用瓶颈
虽然MedSAM展现出强大的零样本分割能力，但其性能高度依赖提示框质量。我们的实验显示：
| 提示框误差 | 肝脏Dice系数 | 脾脏Dice系数 |
|---|---|---|
| 精确框(IOU>0.9) | 92.3% | 89.7% |
| 5像素偏移 | 86.1%(-6.2%) | 81.4%(-8.3%) |
| 10像素偏移 | 72.9%(-19.4%) | 68.5%(-21.2%) |
更棘手的是，在SFDA设置下：
- 无法用目标域数据微调SAM（无标注）
- 源模型预测的伪标签噪声大（domain gap导致）
- 人工标注违背"源自由"前提
2.3 特征空间的异构性矛盾
深度分析发现问题的本质在于两种特征空间的不匹配：
源模型特征空间：
- 优势：保留类别语义（如肝/脾区分）
- 劣势：受domain shift污染（特征扭曲）
SAM特征空间：
- 优势：对成像模态鲁棒（CT/MRI通用）
- 劣势：缺乏器官类别信息（仅前景/背景）
这种异构性导致直接使用伪标签生成提示框的效果甚至不如不用SAM（见表1基线比较）。如何协同利用这两种互补特征成为突破关键。
3. 方法设计与实现细节
3.1 整体架构设计
DFG方法的pipeline包含四个关键阶段：
- 特征聚合(FA)：在源模型特征空间构建可靠的类原型
- 目标特征引导搜索(TBS)：利用类内聚集特征生成初始框
- SAM特征引导搜索(MBS)：处理离散特征完善框边界
- 连通性后处理(CP)：去除碎片化误分割
整个流程在推理时完全自动运行，无需人工干预。下面重点解析各模块的技术细节。
3.2 特征聚合(FA)模块
该模块旨在减轻domain shift带来的特征分布扭曲。具体实现：
-
计算内存库中每个类的原型向量：
$$
\mathbf{p}c = \frac{1}{|Q_c|}\sum{\mathbf{f}_i \in Q_c}\mathbf{f}_i
$$
其中$Q_c$是预测为类别$c$的所有特征向量集合 -
双向特征-原型对齐损失：
$$
\mathcal{L}{FA} = \lambda_1\mathcal{L} + \lambda_2\mathcal{L}_{p→f}
$$- 特征→原型：减小类内距
- 原型→特征：防止原型漂移
我们在腹部CT数据上的实验表明，仅FA模块就能将脾脏分割Dice从41.2%提升至69.8%，证明特征空间重整的有效性。
关键参数设置：
- 特征维度：256
- $\lambda_1=0.7$, $\lambda_2=0.3$
- 内存库更新动量：0.999
3.3 双阶段框搜索机制
目标特征引导搜索(TBS)
- 选择预测置信度最高的像素作为种子点
- 在特征空间进行区域生长：
- 计算相邻像素特征与种子点的余弦相似度
- 相似度>0.85的像素纳入候选区域
- 生成最小外接矩形作为初始框
- 逐步扩展框边界，观察MedSAM输出的稳定性
稳定区间判定条件：
$$
\Delta M(j,j') = \frac{||M(B_j)-M(B_{j'})||_1}{|M(B_j)|} < \epsilon
$$
其中$B_j$表示第$j$次扩展后的框，$\epsilon=0.05$。
SAM特征引导搜索(MBS)
针对TBS可能遗漏的离散特征区域：
- 在MedSAM的ViT特征空间计算前景原型
- 对未被TBS覆盖的像素，计算其与前景原型的特征距离
- 动态调整框边界包含特征距离<阈值$\tau$的区域
实验发现设置$\tau=1.2$能在召回率和精度间取得最佳平衡。
3.4 连通性后处理(CP)
医学图像分割需要保证解剖结构的连续性，我们设计了三步后处理：
- 对每个器官预测结果提取连通区域
- 仅保留面积最大的前$k$个区域（肝脏$k=1$, 肾脏$k=2$）
- 使用形态学闭运算填充小孔洞
该处理能消除约87%的假阳性区域，尤其对肠道气体伪影导致的误分割特别有效。
4. 实验分析与应用建议
4.1 跨模态适应性能对比
在MM-WHS数据集上的实验结果：
| 方法 | 肝脏Dice | 脾脏Dice | 平均Dice |
|---|---|---|---|
| 源模型直接测试 | 45.2% | 38.7% | 39.7% |
| SHOT | 72.1% | 70.3% | 71.5% |
| ProDA | 75.6% | 73.8% | 74.2% |
| ProtoContra+MedSAM | 76.9% | 74.1% | 75.3% |
| DFG(ours) | 86.7% | 88.3% | 84.9% |
特别值得注意的是，对于形状不规则的脾脏，我们的方法展现出最大优势，这得益于双特征引导能更好地捕捉器官边界。
4.2 消融实验分析
各模块的贡献度评估：
| 配置 | 平均Dice | 提升幅度 |
|---|---|---|
| 基线(ProtoContra) | 74.4% | - |
| +FA | 79.2% | +4.8% |
| +FA+TBS | 82.1% | +7.7% |
| +FA+TBS+MBS | 83.8% | +9.4% |
| 完整DFG | 84.9% | +10.5% |
结果表明每个模块都带来实质性提升，其中特征聚合(FA)奠定基础，而双阶段框搜索(TBS+MBS)解决核心难题。
4.3 实际部署建议
基于我们的工程实践经验，给出以下实施建议：
-
计算资源配置：
- GPU：至少RTX 3090(24GB显存)
- 内存：32GB以上
- 单次推理时间：约1.2秒/切片(512×512)
-
参数调优指南：
- 初始学习率：3e-4（使用Cosine衰减）
- 批量大小：8（受限于MedSAM内存占用）
- 训练周期：20000次迭代
-
异常情况处理：
- 遇到极端伪影时，可启用TTA(测试时增强)
- 对小于10像素的区域建议二次验证
- 多器官冲突时优先保证解剖连续性
5. 常见问题与解决方案
5.1 边界模糊情况处理
问题表现：器官边界处出现锯齿状分割
解决方案：
-
在TBS阶段引入边界感知权重：
$$
w(x,y) = 1 + \gamma \cdot \text{Edge}(x,y)
$$
其中$\gamma=0.5$，Edge为Canny边缘强度 -
对最终输出应用高斯平滑（$\sigma=1.0$）
5.2 小器官漏分割问题
问题表现：胰脏等小器官召回率低
优化策略：
- 在FA阶段对小器官原型施加2倍权重
- 在TBS阶段降低生长阈值至0.75
- 后处理时适当减小最小连通区域面积阈值
5.3 计算效率优化
针对实时性要求高的场景：
- 将MedSAM的ViT-H替换为ViT-B（速度提升3倍，精度下降约2%）
- 采用滑动窗口处理大尺寸图像
- 对连续帧应用运动一致性约束
我们在实际部署中发现，经过优化后系统可达到5FPS的处理速度，满足大部分临床实时需求。