1. 项目概述
在钢铁制造行业，钢板表面缺陷检测一直是个老大难问题。传统的人工质检方式不仅效率低下，而且容易因视觉疲劳导致漏检误检。我在某大型钢铁企业实地考察时发现，即使是最有经验的质检员，连续工作4小时后检测准确率也会下降15%左右。这促使我开始探索用深度学习技术来解决这个问题。
经过两年多的实践验证，我们团队开发了一套完整的钢板表面缺陷与字符识别系统。这个系统最大的特点是针对工业场景的特殊性做了大量优化：比如处理类内差异大的缺陷、适应不同光照条件下的成像、解决标注数据稀缺等问题。实测在中厚板生产线上，系统将缺陷检出率从人工的92%提升到98.5%，单个钢板的检测时间从平均45秒缩短到8秒。
2. 核心算法设计
2.1 多尺度特征融合网络
钢板表面缺陷的复杂性在于其多尺度特性——既有需要显微镜才能看清的微裂纹（尺度在0.1-1mm），也有横贯整块钢板的划痕（长度可达数米）。传统CNN使用固定尺寸卷积核，就像只用一种放大倍率的显微镜观察，必然会有信息损失。
我们的解决方案是构建多分支并行网络：
python复制class MultiScaleFeatureExtractor(nn.Module):
def __init__(self, in_channels, out_channels):
super().__init__()
# 1x1卷积捕捉像素级特征
self.branch1 = nn.Sequential(
nn.Conv2d(in_channels, out_channels//4, kernel_size=1),
nn.BatchNorm2d(out_channels//4),
nn.ReLU()
)
# 3x3卷积捕捉局部纹理
self.branch2 = nn.Sequential(...)
# 5x5卷积捕捉区域特征
self.branch3 = nn.Sequential(...)
# 7x7卷积捕捉全局形状
self.branch4 = nn.Sequential(...)
def forward(self, x):
return torch.cat([b(x) for b in [self.branch1, self.branch2,
self.branch3, self.branch4]], dim=1)
这种设计的关键在于：
- 各分支使用独立的BatchNorm层，避免不同尺度特征的分布冲突
- 最终通过1x1卷积进行特征融合，而非简单拼接
- 在ResNet50的每个残差块后插入该模块，形成层次化多尺度感知
注意：实际部署时发现，过大卷积核（如9x9）会导致特征图过度平滑，最终选定7x7作为上限。
2.2 面向工业数据的域适应技术
钢铁厂的生产环境导致图像具有以下特点：
- 强反光区域与阴影并存
- 表面氧化导致的颜色变化
- 传送带振动引起的运动模糊
我们采用图像重构作为辅助任务来提升域适应性：
python复制class ImageReconstructionModule(nn.Module):
def __init__(self):
super().__init__()
self.decoder = nn.Sequential(
nn.Linear(512, 1024),
nn.Linear(1024, 3*56*56), # 先解码到低分辨率
nn.Upsample(size=224) # 再上采样
)
def forward(self, features):
return self.decoder(features)
训练时采用多任务损失：
code复制L = α·L_class + β·L_recon
其中重构损失L_recon采用MS-SSIM指标，更适合评估结构相似性。实验表明，当α:β=1:0.3时效果最佳，分类准确率提升2.1%。
3. 创新检测架构
3.1 分类优先检测网络
传统Faster RCNN等算法在钢板检测中会遇到：
- 缺陷形状不规则，Anchor匹配困难
- 小缺陷（<10像素）容易被忽略
- 分类与定位任务相互干扰
我们提出分类优先网络（CFN）：
python复制class ClassificationFirstDetector(nn.Module):
def __init__(self):
super().__init__()
self.backbone = ResNet50()
# 为每类缺陷配置独立卷积组
self.class_convs = nn.ModuleList([
nn.Sequential(
nn.Conv2d(2048, 64, 3),
nn.Conv2d(64, 32, 3)
) for _ in range(num_classes)
])
# 类特定的回归器
self.bbox_regressors = nn.ModuleList(...)
def forward(self, x):
features = self.backbone(x)
# 先分类
class_maps = [conv(features) for conv in self.class_convs]
# 再定位
bboxes = [regressor(maps) for regressor, maps in
zip(self.bbox_regressors, class_maps)]
return class_logits, bboxes
这种架构的优势在于：
- 分类准确率提升带来检测召回率提高
- 类特定特征提取使小缺陷检测更敏感
- 可解释性强——可视化class_maps可直接定位缺陷区域
3.2 半监督学习方案
钢铁生产每天产生数十万张图像，但标注成本极高（约5元/张）。我们设计了两阶段训练方案：
阶段一：无监督预训练
python复制conv_autoencoder = ConvAutoencoder()
optimizer = Adam(conv_autoencoder.parameters())
for unlabeled_img in dataset:
_, reconstructed = conv_autoencoder(unlabeled_img)
loss = F.msssim_loss(reconstructed, unlabeled_img)
loss.backward()
optimizer.step()
阶段二：半监督微调
python复制sgan = SemiSupervisedGAN()
# 有标签数据
real_fake, class_logits = sgan.discriminate(labeled_img)
# 无标签数据
fake_img = sgan.generator(noise)
d_real_fake, _ = sgan.discriminate(unlabeled_img)
通过这种方案，在仅10%标注数据的情况下，达到了全监督90%的准确率。
4. 工程实现细节
4.1 数据增强策略
针对工业场景的特殊性，我们设计了专属增强方案：
-
光照模拟增强
python复制def random_illumination(img): # 模拟强反光 if random() < 0.3: center = (img.shape[1]//2, img.shape[2]//2) radius = min(center)//2 mask = create_circular_mask(center, radius) img[mask] = torch.clamp(img[mask]*1.5, 0, 1) # 模拟阴影 if random() < 0.3: img = img * uniform(0.3, 0.8) return img -
物理过程模拟
- 轧制纹理生成
- 氧化色斑合成
- 水渍痕迹模拟
4.2 模型轻量化部署
产线要求推理速度<50ms/帧，我们采用以下优化：
- 通道剪枝：基于APoZ指标移除冗余通道
- 量化部署：使用TensorRT进行FP16量化
- 硬件适配：针对产线GPU（Tesla T4）优化CUDA核
优化前后对比：
| 指标 | 原始模型 | 优化后 |
|---|---|---|
| 参数量 | 85.6M | 12.3M |
| 推理速度 | 120ms | 38ms |
| 准确率 | 98.2% | 97.8% |
5. 实际应用效果
在某热轧产线的测试数据：
| 缺陷类型 | 人工检出率 | 系统检出率 |
|---|---|---|
| 划痕 | 89% | 98% |
| 凹坑 | 93% | 99% |
| 氧化皮 | 95% | 97% |
| 结疤 | 82% | 96% |
关键改进点：
- 采用在线学习机制，每周用新数据微调模型
- 引入不确定性估计，低置信度样本自动转人工复核
- 开发了基于Grad-CAM的可视化工具，辅助质检员快速验证
6. 常见问题解决
Q1：小缺陷漏检怎么办？
- 解决方案：在检测头前加入FPN结构
- 调参经验：将正样本IoU阈值从0.5降到0.3
- 数据层面：对小缺陷进行过采样
Q2：模型在不同产线泛化性差？
- 采用测试时增强（TTA）：对输入图像做5种变换后集成结果
- 添加风格迁移模块：将新产线图像映射到已知分布
Q3：实时性不达标？
- 使用C++重写预处理流水线
- 采用多流并行处理：1个GPU线程处理图像，另1个运行模型
这套系统目前已稳定运行超过1年，累计检测钢板超过200万吨。最大的收获是认识到工业AI项目必须深入现场——实验室准确率再高，不能解决产线的实际问题也是徒劳。比如我们最初没考虑轧机振动导致的图像模糊，直到跟班3天才发现这个问题，后来专门为此开发了运动模糊鲁棒训练模块。