1. 项目概述
作为一名计算机视觉方向的从业者，我经常遇到需要修复破损或缺失图像的需求。这次分享的毕业设计项目，将带你从零实现一个基于深度学习的图像修复系统。不同于传统的Photoshop手动修复，这套方案能自动理解图像内容，智能填充缺失区域。
图像修复技术在实际中有广泛的应用场景：老照片修复、监控视频去遮挡、医学影像补全等。我们采用的生成对抗网络(GAN)方法，在2014年由Ian Goodfellow提出后，已经成为图像生成领域的标杆技术。下面我会详细解析如何用TensorFlow搭建一个DCGAN模型，实现专业级的图像补全效果。
2. 核心原理解析
2.1 图像的概率分布建模
传统图像处理方法是基于像素级的规则运算，而深度学习将图像视为高维概率分布的样本。举个例子，当我们看到一张人脸照片时：
- 眼睛通常在上半部分
- 鼻子位于中央
- 嘴巴在下方
- 肤色整体均匀
这些先验知识本质上就是概率分布规律。我们的模型需要学习：
python复制P(x|y) # 给定上下文y时，缺失区域x的条件概率
2.2 生成对抗网络架构
GAN由两个子网络组成：
-
生成器(Generator)：
- 输入：随机噪声z
- 输出：生成图像G(z)
- 目标：生成以假乱真的图像
-
判别器(Discriminator)：
- 输入：真实图像或生成图像
- 输出：真/假判断
- 目标：准确识别真假
两者相互对抗训练，最终生成器能产生逼真的图像。在图像修复中，我们会约束生成器必须保持已知区域的像素不变。
2.3 上下文感知的损失函数
除了常规的对抗损失，我们还引入：
python复制L_context = ||M⊙(G(z)-I)|| # 确保已知区域M与原始图像I一致
L_texture = 感知相似度损失 # 保持纹理一致性
其中⊙表示逐像素相乘，M是二值掩模（缺失区域为0）。
3. 实现细节
3.1 网络结构设计
采用DCGAN（深度卷积生成对抗网络）架构：
生成器：
python复制def generator(z):
# 全连接层将噪声z映射到初始特征图
h0 = tf.layers.dense(z, 4*4*512)
h0 = tf.reshape(h0, [-1, 4, 4, 512])
# 4层转置卷积实现上采样
h1 = tf.layers.conv2d_transpose(h0, 256, 5, strides=2, padding='same')
h2 = tf.layers.conv2d_transpose(h1, 128, 5, strides=2, padding='same')
h3 = tf.layers.conv2d_transpose(h2, 64, 5, strides=2, padding='same')
output = tf.layers.conv2d_transpose(h3, 3, 5, strides=2, padding='same',
activation=tf.tanh)
return output
判别器：
python复制def discriminator(img, reuse=False):
with tf.variable_scope('disc', reuse=reuse):
# 4层卷积下采样
h0 = tf.layers.conv2d(img, 64, 5, strides=2, padding='same')
h1 = tf.layers.conv2d(h0, 128, 5, strides=2, padding='same')
h2 = tf.layers.conv2d(h1, 256, 5, strides=2, padding='same')
h3 = tf.layers.conv2d(h2, 512, 5, strides=2, padding='same')
# 全连接层输出判别结果
logits = tf.layers.dense(tf.layers.flatten(h3), 1)
return tf.sigmoid(logits), logits
3.2 训练策略
采用渐进式训练技巧：
- 先训练判别器识别真实/生成图像
- 固定判别器，训练生成器
- 交替进行，保持两者能力平衡
关键代码：
python复制# 定义损失
d_loss_real = tf.reduce_mean(
tf.nn.sigmoid_cross_entropy_with_logits(
logits=d_logits_real, labels=tf.ones_like(d_logits_real)))
d_loss_fake = tf.reduce_mean(
tf.nn.sigmoid_cross_entropy_with_logits(
logits=d_logits_fake, labels=tf.zeros_like(d_logits_fake)))
g_loss = tf.reduce_mean(
tf.nn.sigmoid_cross_entropy_with_logits(
logits=d_logits_fake, labels=tf.ones_like(d_logits_fake)))
# 优化器
d_optimizer = tf.train.AdamOptimizer(0.0002, beta1=0.5).minimize(d_loss)
g_optimizer = tf.train.AdamOptimizer(0.0002, beta1=0.5).minimize(g_loss)
4. 实战技巧与调优
4.1 数据预处理
- 人脸数据集建议使用CelebA：
python复制# 示例数据增强
def preprocess(img):
img = tf.image.random_flip_left_right(img)
img = tf.image.random_brightness(img, 0.2)
return tf.image.resize_images(img, [64, 64])
- 掩模生成策略：
- 随机矩形遮挡
- 中心区域遮挡
- 不规则形状遮挡（模拟真实破损）
4.2 模型调优经验
- 学习率设置：
- 初始值0.0002
- 每10个epoch衰减10%
- 使用Adam优化器的beta1=0.5
- 批归一化：
python复制# 在生成器和判别器中都加入批归一化
h0 = tf.layers.batch_normalization(h0, training=is_training)
- 梯度惩罚（避免模式崩溃）：
python复制# WGAN-GP中的梯度惩罚项
alpha = tf.random_uniform(shape=[batch_size,1,1,1], minval=0., maxval=1.)
interpolates = alpha*real_data + (1-alpha)*fake_data
gradients = tf.gradients(discriminator(interpolates), [interpolates])[0]
grad_penalty = tf.reduce_mean((tf.norm(gradients, axis=1)-1.)**2)
5. 效果评估与改进
5.1 定量指标
- PSNR（峰值信噪比）：
python复制def psnr(original, reconstructed):
mse = np.mean((original - reconstructed) ** 2)
return 20 * np.log10(255. / np.sqrt(mse))
- SSIM（结构相似性）：
python复制from skimage.metrics import structural_similarity as ssim
ssim_val = ssim(original, reconstructed, multichannel=True)
5.2 常见问题解决
- 生成图像模糊：
- 增加判别器的感受野（扩大卷积核）
- 加入感知损失（VGG特征匹配）
- 颜色不一致：
- 在损失函数中加入颜色直方图约束
- 使用Lab色彩空间替代RGB
- 训练不稳定：
- 采用Wasserstein GAN（WGAN）架构
- 添加梯度惩罚项
- 使用谱归一化
6. 扩展应用
6.1 视频修复
逐帧处理+时间一致性约束：
python复制# 光流约束
flow = cv2.calcOpticalFlowFarneback(prev_frame, next_frame, None,
0.5, 3, 15, 3, 5, 1.2, 0)
6.2 高分辨率修复
采用渐进式增长GAN：
- 先训练低分辨率（64x64）
- 逐步增加层数提高分辨率
- 最终达到1024x1024
6.3 多模态修复
结合文本描述：
python复制# 文本编码器
text_embed = tf.layers.dense(text_input, 256)
# 与噪声z拼接
combined_input = tf.concat([z, text_embed], axis=1)
在实际部署时，建议使用PyTorch的TorchScript或TensorFlow Lite将模型转换为移动端可用的格式。对于实时性要求高的场景，可以尝试知识蒸馏技术，训练一个小型化的学生网络。