1. GAN发展历程与技术演进
生成对抗网络(Generative Adversarial Networks,简称GAN)自2014年由Ian Goodfellow等人提出以来,已经发展成为人工智能领域最具影响力的技术之一。GAN的核心思想是通过两个神经网络——生成器(Generator)和判别器(Discriminator)的对抗训练来学习数据分布。
1.1 基础理论与架构演进
2014年的原始GAN论文奠定了基本框架:生成器试图生成逼真的假样本欺骗判别器,判别器则努力区分真实样本和生成样本。这种对抗过程可以用极小极大博弈来描述:
min_G max_D V(D,G) = E[logD(x)] + E[log(1-D(G(z)))]
其中x来自真实数据分布,z是潜在空间的随机噪声。理论上,当训练达到纳什均衡时,生成器将完美复制真实数据分布。
2015年的DCGAN(Deep Convolutional GAN)首次将CNN架构成功应用于GAN:
- 使用全卷积网络替代全连接层
- 引入批量归一化(Batch Normalization)
- 采用LeakyReLU激活函数
- 潜在空间具有可解释的算术特性
DCGAN的架构设计成为后续图像生成GAN的基础模板。其关键创新点包括:
- 去除全连接层,使用跨步卷积进行上采样和下采样
- 在生成器和判别器中都使用批量归一化
- 生成器使用ReLU激活,判别器使用LeakyReLU
- 潜在空间z的向量运算可以对应图像语义变化
1.2 训练稳定性突破
GAN训练面临的主要挑战是模式崩溃(Mode Collapse)和梯度消失问题。2017年的WGAN(Wasserstein GAN)通过以下改进显著提升了训练稳定性:
- 用Wasserstein距离替代JS散度作为损失函数
- 移除判别器的Sigmoid输出层
- 采用权重裁剪(Weight Clipping)保持Lipschitz连续性
- 损失函数与生成质量具有相关性
WGAN-GP进一步改进:
- 用梯度惩罚(Gradient Penalty)替代权重裁剪
- 在真实数据和生成数据的连线上随机采样施加梯度约束
- 公式:λE[(||∇D(x̂)||₂ - 1)²],其中x̂ = εx + (1-ε)G(z)
