1. 项目背景与技术定位
计算机视觉领域近年来在图像处理任务上取得了显著进展,但边缘特征的有效提取和保持仍然是提升图像质量的关键挑战。传统卷积神经网络(CNN)在处理长距离依赖关系时存在固有局限,而Transformer架构虽然通过自注意力机制解决了这一问题,但在边缘特征聚焦方面仍有优化空间。
DHOGSA(HOG-guided Self-Attention)的提出正是为了解决这一痛点。该方法创新性地将方向梯度直方图(HOG)先验知识融入Transformer的自注意力机制,使网络能够更精准地聚焦于图像边缘特征。从实验结果来看,这种改进带来了PSNR指标的显著提升,在多个基准测试集上达到了当前最优水平。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心算法原理剖析
2.1 HOG特征先验引导机制
HOG(Histogram of Oriented Gradients)是一种经典的边缘特征描述子,能够有效表征图像局部区域的梯度方向分布。DHOGSA的核心创新在于:
-
多尺度HOG特征提取:在输入Transformer前,先对图像进行多尺度HOG特征计算,获取边缘方向分布的先验知识
-
注意力权重修正:将HOG特征作为位置偏置项引入自注意力计算,公式表达为:
code复制Attention = Softmax(QK^T/√d + λ·HOG)其中λ是可学习的调节系数,用于平衡原始注意力与边缘引导的权重
-
动态融合机制:不同网络层采用自适应的HOG引导强度,浅层网络侧重边缘定位,深层网络侧重语义理解
2.2 网络架构设计细节
DHOGSA的完整架构包含三个关键组件:
-
特征金字塔编码器:
- 采用5级下采样结构
- 每级包含2个DHOGSA块
- 跳跃连接保留多尺度特征
-
DHOGSA核心模块:
python复制class DHOGSA(nn.Module): def __init__(self, dim, heads): super().__init__() self.hog_proj = nn.Conv2d(9, heads, 3, padding=1) # 9-bin H
