目标检测中特征融合：concat与add操作对比与实践

markdown复制## 1. 特征融合的底层逻辑与核心挑战

在目标检测模型的neck结构中，特征融合的质量直接决定了模型对多尺度目标的识别能力。YOLO系列从v3开始就采用FPN（特征金字塔网络）结构进行跨层特征融合，而到了YOLOv11时代，neck部分的设计变得更加复杂精细。这里我们需要先理解一个基本问题：为什么需要融合不同层级的特征？

浅层特征（如backbone早期层输出）包含丰富的纹理、边缘等细节信息，但对语义的理解较弱；深层特征（如backbone末端输出）具有更强的语义抽象能力，但空间分辨率较低。以输入640x640的图像为例，经过5次下采样后得到的feature map尺寸为20x20，此时要检测小目标（如20像素以下的物体）就非常困难。

> 注：实际项目中遇到过因融合策略不当导致小目标漏检的情况。某次在无人机航拍图像检测中，直接使用add操作融合不同尺度特征，导致小车辆目标AP下降12.3%，改用concat后恢复。

## 2. Concat操作的技术解析

### 2.1 数学本质与实现方式
concat操作在数学上表示为沿通道维度的张量拼接。给定两个特征图A∈R^(B×C1×H×W)和B∈R^(B×C2×H×W)，concat后的输出为R^(B×(C1+C2)×H×W)。在PyTorch中的典型实现：

```python
def forward(self, x1, x2):
    # 假设x1.shape=[1,256,40,40], x2.shape=[1,128,40,40]
    return torch.cat([x1, x2], dim=1)  # 输出shape=[1,384,40,40]

2.2 信息保留特性分析

concat的最大优势是完整保留输入特征的全部信息通道。通过实验可以验证：

1. 梯度传播路径独立：反向传播时两个输入特征的梯度互不干扰
2. 通道关系可学习：后续的1x1卷积可以自主决定如何组合不同来源的特征
3. 多尺度特征互补：浅层的细节特征和深层的语义特征可以同时发挥作用

2.3 计算成本实测

在RTX 3090上测试不同通道数的concat操作耗时：
| 输入通道组合 | 输出通道数 | 耗时(ms) |
|--------------|------------|