1. 特征金字塔与自注意力机制的技术融合
计算机视觉领域近年来最引人注目的突破之一,就是将特征金字塔网络(FPN)与自注意力机制进行创新性结合。这种组合在NeurIPS等顶级会议上频频亮相,成为解决多尺度目标检测与语义分割问题的黄金搭档。
特征金字塔的本质是构建多尺度特征表示的金字塔结构。传统CNN网络随着层数加深,感受野逐渐增大,但会丢失浅层网络捕获的细节信息。FPN通过自上而下的路径将高层语义信息与底层细节特征融合,使每个金字塔层级都具备丰富的多尺度表征能力。我在实际项目中发现,标准的FPN结构在融合不同层级特征时,采用简单的1x1卷积和逐元素相加操作,这种线性融合方式难以充分挖掘跨层特征的互补性。
自注意力机制的引入彻底改变了这一局面。其核心思想是通过计算特征图中任意两点间的相关性,建立全局依赖关系。具体到实现层面,当我们将自注意力模块嵌入FPN时,每个金字塔层级的特征会先通过三个可学习的线性变换(Query、Key、Value),然后计算注意力权重:
code复制Attention(Q,K,V) = softmax(QK^T/√d)V
这个公式中的d代表特征维度,softmax归一化后的注意力权重决定了不同位置特征的重要性。在PyTorch中,我们可以用nn.MultiheadAttention模块快速实现:
python复制class CrossScaleAttention(nn.Module):
def __init__(self, embed_dim, num_heads):
super().__init__()
self.mha = nn.MultiheadAttention(embed_dim, num_heads)
def forward(self, queries, keys, values):
# 输入维度调整:(B,C,H,W) -> (HW,B,C)
b, c, h, w = queries.shape
queries = queries.view(b, c, -1).permute(2, 0, 1)
keys = keys.view(b, c, -1).permute(2, 0, 1
