1. 项目背景与核心挑战
在医学影像分析领域,边缘信息的保留一直是个棘手问题。去年参加MICCAI会议时,我注意到一个有趣现象:许多基于Mamba架构的模型在病灶分割任务中表现出色,但在处理高频边缘细节时却频频失手。这就像用钝刀切西红柿——整体形状能保持,但汁水(高频信息)全流失了。
问题的根源在于传统Mamba架构的频域特性。通过傅里叶分析我们发现,其门控机制本质上相当于一个低通滤波器,对30Hz以上的高频信号衰减达到-12dB。这在处理CT影像中的血管分叉或MRI上的皮质褶皱时尤为致命——这些关键解剖结构的边缘信息往往集中在40-60Hz频段。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. PolyMamba架构设计精要
2.1 双高斯频域调制模块
我们提出的解决方案是在SSM(State Space Model)层前插入可学习的频域滤波器组。具体实现上:
python复制class DualGaussianFilter(nn.Module):
def __init__(self, hidden_dim):
super().__init__()
# 初始化高斯参数(均值与方差)
self.mu_low = nn.Parameter(torch.randn(hidden_dim) * 0.02)
self.sigma_low = nn.Parameter(torch.ones(hidden_dim) * 0.3)
self.mu_high = nn.Parameter(torch.randn(hidden_dim) * 0.02 + 1.0)
self.sigma_high = nn.Parameter(torch.ones(hidden_dim) * 0.2)
def forward(self, x_freq):
# x_freq: [B, D, H, W] 频域特征
freq = torch.fft.fftfreq(x_freq.size(-1)).to(x_freq.device)
# 双高斯滤波核
filter_low = torch.exp(-0.5 * ((freq
