1. 从热传导到波动方程:视觉模型的新物理直觉
在计算机视觉领域,Transformer架构近年来已经成为主流,但研究者们逐渐发现一个顽固的问题:随着网络层数加深,特征图会变得越来越"糊"——就像用美颜软件过度磨皮后的照片,细节大量丢失。传统方法试图通过调整注意力机制或增加跳跃连接来缓解,但效果有限。北大和清华联合团队的最新研究WaveFormer另辟蹊径,直接从物理学中找到了解决方案。
这个思路的巧妙之处在于将特征传播类比为物理过程。早期的物理启发模型多采用热传导方程(Heat Equation),这确实能描述信息在空间中的扩散,但存在本质缺陷:热传导是典型的耗散过程。想象一下把金属勺放进热汤里,初始时手柄与汤接触的部分很烫,但随着热量传导,整把勺子最终会达到均匀温度——特征信息就这样被"烫平"了。对应到视觉任务中,高频细节(如物体边缘、纹理)在这种传导过程中会逐渐模糊。
WaveFormer的核心突破是改用波动方程(Wave Equation)来建模特征传播。与热传导不同,波的传播具有保持形状的特性。往池塘扔一块石头产生的水波纹,可以传播很远而基本保持原有波形。这种物理直觉转化为模型优势就是:深层网络依然能保持特征的清晰度。具体实现上,团队采用了欠阻尼波动方程(Underdamped Wave Equation),它在保持波形的同时还允许适度的能量耗散,更符合实际场景需求。
关键洞见:波动方程的非耗散特性使其成为特征传播的理想数学模型,解决了深层网络中的信息模糊问题。这种跨学科思维正是该研究的精髓所在。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. WaveFormer架构解析:当FFT遇见波动方程
2.1 WPO模块:传统注意力机制的物理替代
传统Transformer依赖自注意力机制实现特征交互,其计算复杂度随序列长度呈平方增长,成为限制模型规模的瓶颈。WaveFormer的创新点在于用波动传播算子(Wave Propagation Operator, WPO)替代标准注意力,其核心是利用快速傅里叶变换(FFT)在频域求解波动方程。
具体实现分为三个关键步骤:
- 空间频率分解:通过2D FFT将特征图转换到频域,得到不同频率分量
- 波动方程求解:对每个频率分量应用离散化的波动方程:
python复制# 简化的频域波动方
