1. 注意力机制轻量化演进背景
在计算机视觉领域,注意力机制的发展经历了从简单到复杂、从单一到多维的演进过程。2017年提出的SENet开创性地引入了通道注意力机制,通过全局平均池化(GAP)和全连接层来学习通道间的重要性权重。虽然效果显著,但这种设计存在明显的空间信息丢失问题。随后出现的CBAM模块尝试同时引入通道和空间注意力,但两个分支是独立计算的,缺乏维度间的交互。
轻量化设计的需求主要来自实际部署场景的限制。以移动端目标检测为例,模型需要在有限的算力资源下保持实时性。传统注意力模块如SENet在ResNet50上会增加约10%的计算量,而更复杂的CBAM则可能带来15-20%的计算开销。这促使研究者探索更高效的注意力实现方式。
关键发现:注意力机制的有效性与其计算效率并非正相关。实验表明,过度复杂的注意力结构反而可能导致性能下降,因为额外的参数增加了过拟合风险。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Triplet Attention 架构解析
2.1 三分支并行设计原理
Triplet Attention的核心创新在于其独特的三分支架构,分别处理(C,W)、(C,H)和(H,W)三个维度的交互关系。与传统的串行或独立分支设计不同,这三个分支通过共享权重和旋转操作实现高效计算:
- 通道-宽度分支:输入特征图沿高度维度旋转90度,使H维与W维交换位置
- 通道-高度分支:输入特征图沿宽度维度旋转90度,使W维与H维交换位置
- 空间分支:保持原始H-W空间关系不变
每个分支都采用相同的轻量化处理流程:
python复制def branch_processing(x):
x = Z_Pool(x) # 通道压缩到2维
x = conv7x7(x) # 空间关系建模
x = sigmoid(x) # 生成注意力权重
return x
2.2 零参数跨维度交互实现
传统方法要实现跨维度交互通常需要引入额外的全连接层或大卷积核,而Triplet Attention通过张量旋转这一零计算成本的操作巧妙解决了这个问题。具体实现上:
- 对于输入张量X ∈ R^
- 分支1旋转:X.permute(0,2,1,3) → R^
- 分支2旋转:
