PDFNet深度完整性先验在图像分割中的应用与优化

1. 从深度图到分割掩码：PDFNet的核心创新解析

在计算机视觉领域，二值图像分割（Dichotomous Image Segmentation, DIS）一直面临着精度与效率难以兼得的困境。传统非扩散方法虽然计算速度快，但往往难以兼顾全局结构理解和局部细节保留；而基于扩散的模型虽然精度高，却伴随着巨大的计算开销。四川大学团队提出的PDFNet（Prior-guided Depth Fusion Network）通过引入"深度完整性先验"这一创新概念，成功打破了这一僵局。

深度完整性先验的核心观察非常直观：在深度图中，一个完整的物体通常表现为内部深度值平滑（低方差）、边界深度变化剧烈（高梯度）的区域。这种特性与人类对物体完整性的感知高度一致——我们潜意识里认为物体应该具有连续的三维结构。PDFNet巧妙地将这种直觉形式化为可计算的数学约束，通过伪深度图（由单目深度估计模型DAM-v2生成）为分割任务提供强大的空间引导。

关键突破：深度完整性先验不是简单的深度信息拼接，而是将深度特征与RGB特征在多个尺度上进行有选择的融合，并通过专门的损失函数强制模型学习这种结构一致性。

2. PDFNet架构详解：多模态特征融合的艺术

2.1 三流特征编码设计

PDFNet的架构核心在于其精心设计的三流特征处理机制：

• RGB流：使用Swin Transformer作为骨干网络，提取多尺度视觉特征F_v^i
• 深度流：同一骨干网络处理伪深度图，生成几何特征F_d^i
• 补丁流：将图像划分为8×8的补丁网格，通过轻量级编码器提取高分辨率细节特征F_p^i

这种设计的关键在于共享编码器策略——RGB和深度流使用相同的Transformer权重，迫使网络学习视觉外观与几何结构的关联表示。实验表明，这种权重共享不仅减少了参数量，还能提升特征的协同表达能力。

2.2 特征选择与提取（FSE）模块

FSE模块是PDFNet实现细粒度分割的核心组件，其工作流程可分为三个关键步骤：

1. 动态注意力分配：根据前一层的预测结果，生成完整性图S_i（物体内部）和边界图B_i（物体轮廓）
2. 自适应补丁选择：计算每个补丁的边界响应得分Bd_i^n，对包含重要边界的补丁分配更多计算资源
3. **跨模态