Deformable DETR：目标检测中的可变形注意力机制解析

1. Deformable DETR核心思想解析

在目标检测领域，DETR（Detection Transformer）作为首个完全基于Transformer架构的检测器，其端到端的特性与简洁的pipeline令人耳目一新。但实际应用中暴露出三个关键问题：

1. 训练收敛速度慢：在COCO数据集上需要500个epoch才能收敛，相比Faster R-CNN慢10-20倍
2. 高分辨率处理能力弱：全局注意力机制导致计算复杂度随图像尺寸平方增长
3. 小目标检测性能差：单尺度特征难以兼顾不同尺寸目标的特征表达

Deformable DETR的创新在于将可变形卷积（Deformable Convolution）的稀疏空间采样思想与Transformer的关系建模能力相结合。其核心组件——可变形注意力模块（Deformable Attention Module）通过两个关键设计解决上述问题：

• 局部稀疏采样：每个query只需关注参考点(reference point)周围的少量采样点（典型设置K=4），而非全局特征图
• 多尺度特征融合：从不同分辨率的特征层（通常4-5个尺度）动态采样特征，增强小目标检测能力

技术细节：参考点的初始位置通过线性投影从query向量预测得到，采样偏移量(Δp)和注意力权重(A)则通过独立的线性层计算。这种设计使得网络可以端到端学习"看哪里"和"看多少"。

2. 模型架构深度拆解

2.1 整体Pipeline对比

标准DETR流程：

code复制图像 → CNN骨干网络 → 特征图 → Transformer编码器 → Transformer解码器 → 预测头

Deformable DETR改进点：

1. 编码器中使用多尺度可变形注意力替代标准自注意力
2. 解码器中交叉注意力同样采用可变形机制
3. 引入迭代边界框精炼机制（可选）

2.2 多尺度可变形注意力公式解析

给定第$l$层特征图$\mathbf{x}^l \in \mathbb{R}^{C\times H_l \times W_l}$，对于第$q$个query，其可变形注意力输出为：

$$
\text{DeformAttn}(\mathbf{z}_q, \math