1. 项目背景与核心价值
在数字图像处理领域，黑白照片上色一直是个极具挑战性的任务。传统方法依赖人工标记和色彩传播算法，不仅效率低下，而且对复杂场景的适应性较差。2016年加州大学伯克利分校的研究团队首次将CNN应用于图像着色任务，准确率突破75%大关，这个毕业设计项目正是基于当前最前沿的深度学习技术，构建端到端的自动着色系统。
我选择这个课题源于实际需求——档案馆需要将大量历史照片数字化并还原色彩。传统人工上色每张耗时2-3小时，而我们的系统能在3秒内完成着色，且保持85%以上的色彩准确度。系统核心包含三个创新点：改进的U-Net网络结构、自适应色彩空间转换模块，以及基于注意力机制的细节增强层。
2. 技术方案选型与对比
2.1 主流着色算法对比
在方案设计阶段，我们测试了三种主流架构：
| 算法类型 | PSNR值 | 训练时间 | 显存占用 | 适用场景 |
|---|---|---|---|---|
| 传统算法 | 18.7 | - | 2GB | 简单物体着色 |
| 普通CNN | 23.1 | 8小时 | 6GB | 通用场景 |
| 本系统（改进） | 26.4 | 12小时 | 8GB | 复杂历史照片 |
测试数据集采用MIT-Adobe 5K标准集，在RTX 3060显卡环境下进行。结果显示改进后的U-Net结构在保持合理训练成本的同时，峰值信噪比提升14.3%。
2.2 网络结构设计
核心网络采用编码器-解码器架构：
python复制class ColorNet(nn.Module):
def __init__(self):
super().__init__()
# 编码器部分（下采样）
self.encoder = nn.Sequential(
nn.Conv2d(1, 64, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2),
# ...共5个下采样层
)
# 注意力模块
self.attention = CBAM(512)
# 解码器部分（上采样）
self.decoder = nn.Sequential(
nn.ConvTranspose2d(512, 256, 3, stride=2),
nn.ReLU(),
# ...共5个上采样层
)
关键改进在于：
- 在瓶颈层加入CBAM注意力模块，提升重要区域着色精度
- 使用LeakyReLU替代普通ReLU，缓解梯度消失
- 输出层采用tanh激活，将色彩值约束到[-1,1]范围
3. 数据准备与增强策略
3.1 数据集构建
我们组合使用了三个数据源：
- 历史照片扫描件（2000张）
- COCO数据集（10000张）
- 自建街景数据集（5000张）
预处理流程包括：
- 统一resize到512x512分辨率
- 随机裁剪为256x256训练样本
- 使用imgaug库进行数据增强：
python复制seq = iaa.Sequential([
iaa.Fliplr(0.5), # 50%水平翻转
iaa.GaussianBlur(sigma=(0, 0.5)),
iaa.AdditiveGaussianNoise(scale=0.05*255)
])
3.2 LAB色彩空间转换
将RGB转为LAB空间是关键技术点：
- L通道（亮度）作为网络输入
- ab通道作为监督信号
- 转换公式：
code复制L = 116 * f(Y/Yn) - 16 a = 500 * (f(X/Xn) - f(Y/Yn)) b = 200 * (f(Y/Yn) - f(Z/Zn))
其中f(t) = t^(1/3)当t>0.008856，否则f(t)=7.787t+16/116
4. 模型训练细节
4.1 损失函数设计
采用复合损失函数：
python复制def loss_function(pred_ab, true_ab):
# 1. L2损失
mse_loss = F.mse_loss(pred_ab, true_ab)
# 2. 色彩分布损失
hist_loss = histogram_loss(pred_ab, true_ab)
# 3. 感知损失
vgg_loss = perceptual_loss(vgg16(pred_rgb), vgg16(true_rgb))
return 0.6*mse_loss + 0.3*hist_loss + 0.1*vgg_loss
4.2 训练参数配置
关键训练参数：
- 优化器：AdamW (lr=3e-4, weight_decay=1e-4)
- 批次大小：32（需至少8GB显存）
- 学习率调度：CosineAnnealingLR
- 早停机制：验证集loss连续5轮不下降时终止
实际训练中发现，在epoch=120左右会出现明显的性能平台期，此时适当调低学习率到1e-5可突破瓶颈
5. 系统实现与部署
5.1 技术栈选型
前端采用Vue.js + Canvas实现实时着色演示：
javascript复制// 着色处理核心逻辑
async function colorize(imageFile) {
const tensor = preprocess(imageFile);
const output = await model.executeAsync(tensor);
const coloredImg = postprocess(output);
canvasCtx.putImageData(coloredImg, 0, 0);
}
后端服务基于FastAPI构建REST接口：
python复制@app.post("/colorize")
async def api_colorize(file: UploadFile):
img = Image.open(file.file).convert('L')
tensor = transform(img).unsqueeze(0).to(device)
with torch.no_grad():
output = model(tensor)
return StreamingResponse(gen_image(output), media_type="image/jpeg")
5.2 性能优化技巧
- 模型量化：将FP32转为INT8，模型体积减小4倍，推理速度提升2.3倍
- 缓存机制：对高频访问图片建立LRU缓存
- GPU加速：使用TensorRT优化计算图
实测性能：
- 单张256x256图片：CPU 3.2s → GPU 0.15s
- 并发处理：16路并发下RTX 3090利用率达92%
6. 典型问题与解决方案
6.1 色彩溢出问题
现象：天空区域出现紫色斑块
解决方法：
- 在损失函数中加入色彩范围约束
- 后处理阶段应用双边滤波
- 修改网络最后层为soft-argmax
6.2 低分辨率输入处理
当输入图像<128px时：
- 先使用ESRGAN超分到256px
- 着色后再降采样回原尺寸
- 添加锐化滤波器保持细节
6.3 内存不足报错
常见于显存<6GB的显卡：
- 降低批次大小到16或8
- 使用梯度累积模拟更大批次
- 启用混合精度训练
7. 效果评估与改进方向
在历史照片测试集上：
- 色彩准确率：86.7%（相比基线高11.2%）
- 用户满意度：92/100分
- 常见错误类型：
- 服装纹理着色不连续（12%）
- 特殊材质反光误判（7%）
后续优化方向：
- 引入Transformer模块处理长距离依赖
- 增加场景理解分支（如识别建筑年代）
- 开发移动端轻量化版本