1. 隐式神经表示与超网络基础
在计算机视觉领域,如何高效地表示和处理图像一直是个核心问题。传统方法通常将图像视为像素矩阵,但这种显式表示存在诸多限制。隐式神经表示(Implicit Neural Representation, INR)提供了一种全新的思路——将图像信息编码到神经网络的权重中。
1.1 图像INR的工作原理
INR本质上是一个坐标到颜色的映射函数fθ: (x,y)→(r,g,b)。以一个1024×1024的RGB图像为例:
- 输入:归一化的像素坐标(x,y) ∈ [0,1]²
- 输出:对应的RGB颜色值 ∈ [0,1]³
- 典型网络结构:
python复制class INR(nn.Module): def __init__(self): super().__init__() self.position_enc = PositionalEncoding(d_pos=128) # 位置编码 self.mlp = nn.Sequential( nn.Linear(128, 256), nn.ReLU(), # 第一层 nn.Linear(256, 256), nn.ReLU(), # 第二层(通常在此层进行调制) nn.Linear(256, 256), nn.ReLU(), # 第三层 nn.Linear(256, 3), nn.Sigmoid() # 输出层 ) def forward(self, coords): feats = self.position_enc(coords) return self.mlp(feats)
训练INR采用"内部学习"范式——没有训练集和测试集之分,目标是通过反向传播让网络记住单张图像的所有像素信息。这个过程通常需要数百次迭代才能达到视觉无损的重建质量。
注意:INR的性能高度依赖于位置编码的设计。常见选择包括:
- 正弦编码:γ(p)=[sin(2⁰πp),cos(2⁰πp),...,sin(2ᴸ⁻¹πp),cos(2ᴸ⁻¹πp)]
- 高斯随机傅里叶特征:γ(p)=[cos(2πBp),sin(2πBp)],B∼N(0,σ²)
1.2 超网络的引入与演进
传统INR存在两个主要瓶颈:1) 每张图像需要单独训练,耗时严重;2) 缺乏泛化能力。超网络(HyperNetwork)的提出解决了这些问题。
超网络h:I→fθ'的工作原理:
- 预训练阶段:在大规模数据集上训练,学习从图像到INR参数的映射
- 推理阶段:对新图像I,单次前向传播即可预测其INR参数θ'
早期超网络如Trans
