1. 项目概述:波动方程如何颠覆视觉建模范式
去年在CVPR现场咖啡厅里,我和清华的几位同行聊起视觉Transformer的瓶颈问题时,他们提到正在尝试用物理方程替代Attention机制。没想到短短一年后,这项名为WaveFormer的研究就斩获了AAAI 2026最佳论文。传统基于Attention的视觉模型就像用放大镜逐个区域观察图像,而波动方程建模则像是将图像视为水面,通过模拟波纹扩散自然捕获全局关系。
这项由北大清华联合提出的创新工作,在ImageNet-1K上实现了85.7%的top-1准确率(同等参数量下比Swin Transformer提升2.3%),推理速度更是快了1.8倍。其核心在于用二维波动方程:
code复制∂²u/∂t² = c²(∂²u/∂x² + ∂²u/∂y²)
替代了传统的QKV注意力计算,其中u(x,y,t)表示图像特征在位置(x,y)和时间t的状态,c是波速参数。这种建模方式天然具备三个优势:(1) 微分方程的数值解具有全局信息传播特性;(2) 可并行计算的显式求解算法;(3) 物理启发的稳定性和收敛性保证。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心原理拆解:从物理方程到特征传播
2.1 波动方程与视觉特征的类比映射
在WaveFormer的框架中,输入图像被视为初始时刻(t=0)的波场分布。每个像素点的特征向量对应该位置的波幅,卷积层提取的局部特征则转化为波速场c(x,y)。这种映射的巧妙之处在于:
- 空间相关性:波动方程中的二阶导数项天然等价于图拉普拉斯算子,能建模像素间的相互作用
- 多尺度传播:通过调节时间步长Δt,可以控制特征信息的传播范围(如图1所示)
- 能量守恒:离散化后的数值格式自动保持特征能量的稳定,避免传统Attention中的梯度爆炸
实际实现时采用显式差分格式:
u^{n+1} = 2u^n - u^{n-1} + (cΔt/Δx)²·L(u^n)
其中L表示离散拉普拉斯算子,计算复杂度仅为O(N)
2.2 与传统Attention的对比优势
我们在COCO数据集上对比了WaveFormer与经典Attention模块的表现(表1):
| 指标 | WaveFormer | FlashAttention | 相对提升 |
