1. 从自注意力到物理方程:视觉骨干网的范式转移
在计算机视觉领域,Transformer架构凭借其强大的自注意力机制,近年来几乎统治了各类视觉任务。但当我们翻开2023年CVPR会议论文集时,一篇来自北大和清华联合团队的论文《WaveFormer: Modeling Visual Representations with Wave Equations》却提出了一个大胆的假设:物理波动方程可能比自注意力机制更适合建模视觉表征。
这个观点初看有些反直觉——毕竟自注意力机制通过计算像素或图像块之间的关联权重,已经在图像分类、目标检测等任务上证明了其优越性。但仔细思考会发现,自然图像本质上是由光波传播形成的,其内在的波动特性与物理波动方程有着天然的契合度。WaveFormer团队正是抓住了这一本质联系,用经典的波动偏微分方程(Wave PDE)替代了传统的自注意力操作。
提示:波动方程∂²u/∂t² = c²∇²u描述的是波在介质中的传播行为,而图像中的边缘、纹理等特征本质上也是"视觉信息波"在二维平面上的传播结果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. WaveFormer的核心架构设计
2.1 波动方程与视觉表征的数学对应
WaveFormer的核心创新在于建立了波动方程参数与视觉特征的映射关系。具体实现上,他们将图像块(patch)的嵌入向量视为波场u(x,y,t),通过以下离散化方案进行迭代更新:
code复制u_{i,j}^{t+1} = 2u_{i,j}^t - u_{i,j}^{t-1} +
(cΔt/Δx)²(u_{i+1,j}^t + u_{i-1,j}^t +
u_{i,j+1}^t + u_{i,j-1}^t - 4u_{i,j}^t)
其中关键的超参数包括:
- 波速c:控制信息传播速度,对应不同尺度特征的感知范围
- 时间步长Δt:影响数值稳定性,需满足CFL条件
- 空间步长Δx:与图像patch大小相关
2.2 频域处理与多尺度建模
与传统Transformer不同,WaveFormer在频域进行操作带来了独特优势:
- 通过快速傅里叶变换(FFT)将特征转换到频域
- 在频域实现波动方程的解析解计算
- 使用可学习的频域滤波器组处理不同频率成分
