WEVT模块：小波变换优化ViT自注意力计算

1. WEVT模块技术背景解析

TCSVT 2025最新发表的WEVT模块，本质上是对传统Vision Transformer(ViT)架构中自注意力机制的一次革新性改造。这个工作的核心价值在于：通过引入小波变换(Wavelet Transform)的多分辨率分析特性，实现了视觉特征的高低频分离处理，从而规避了标准自注意力机制在全局特征处理上的计算冗余问题。

在传统ViT架构中，自注意力机制需要计算所有图像块(patch)之间的相互关系，这种全局计算模式存在两个固有缺陷：

1. 计算复杂度随token数量呈平方级增长（O(n²)）
2. 对高频细节特征和低频结构特征采用相同的处理策略，缺乏针对性

WEVT模块的创新之处在于：

• 采用离散小波变换(DWT)将输入特征分解为LL(低频)、LH(水平高频)、HL(垂直高频)、HH(对角高频)四个子带
• 对低频分量保留标准自注意力计算以捕获全局结构
• 对高频分量改用轻量化的局部交互模块处理纹理细节
• 通过逆小波变换(IWT)重建最终特征

实际测试表明，这种分频处理策略在ImageNet-1K分类任务上，相比标准ViT能提升1.2-1.8%的准确率，同时减少约35%的FLOPs计算量。

2. 核心算法实现细节

2.1 小波变换层设计

WEVT默认采用Haar小波作为基础变换核，其二维分解的卷积核参数为：

实现时通过分组卷积高效完成分解：

python复制class DWT(nn.Module):
    def __init__(self):
        super().__init__()
        self.ll = nn.Conv2d(3, 3, 2, stride=2, padding=0, groups=3)
        self.lh = nn.Conv2d(3, 3, 2, stride=2,