1. 波动方程建模视觉:WaveFormer的核心思想
在计算机视觉领域,全局交互一直是一个关键挑战。传统方法如self-attention虽然效果显著,但其计算复杂度随token数量平方增长,在高分辨率场景下效率低下。来自北京大学和清华大学的研究团队提出了一种全新的解决方案——WaveFormer,首次将波动方程(Wave Equation)引入视觉建模。
WaveFormer的核心创新在于将特征图视为空间信号,让语义在网络深度对应的"传播时间"里,遵循欠阻尼波动方程演化。这种方法的独特之处在于:
- 同时保留低频全局结构和高频边缘纹理
- 通过物理启发的建模方式实现频率-时间解耦
- 提供可解释、可控的传播过程
与传统的热方程方法相比,波动方程建模不会导致高频细节的快速消失。热方程本质上是一个强低通滤波器,随着传播时间增加,高频信息会迅速衰减。而WaveFormer的欠阻尼波动方程则允许不同频率的信息以不同方式振荡和衰减,实现了更精细的特征控制。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. WaveFormer的技术实现细节
2.1 波动方程的基础数学表达
WaveFormer将特征传播建模为一个欠阻尼波动方程:
u(x,y,t)表示语义场(特征图随"传播时间"的演化)
v控制传播速度(决定传播范围)
α是阻尼系数(控制衰减强弱)
这个方程引入了两个初始条件:
- 初始语义场u0
- 初始速度场v0(表示不同区域语义被激活/抑制的变化趋势)
这种设定使得空间频率被显式建模:
- 低频对应全局布局
- 高频对应边缘与纹理
2.2 频域解与实现
研究团队推导了波动方程在频域下的闭式解,这是WaveFormer的关键突破。与热方程的解不同,WaveFormer的解对不同频率更"公平":
热方程的解会导致高频随时间急速衰减
WaveFormer的解中,频率差异主要体现在cos/sin的振荡项上
这种特性使得WaveFormer能够实现频率-时间解耦,不同频率的信息可以独立地振荡和衰减。
2.3 WPO算子:工程实现
为了将理论转化为实际可用的模块,研究者开发了WPO(Wave Propagation Operator)算子:
- 将输入特征图变换到频域(使用FFT)
- 用欠阻尼波动方程的频域解对每个频率分量进行调制
- 通过逆FF
