1. 焊接缺陷检测系统概述
在工业生产中，焊接质量直接影响产品的安全性和使用寿命。传统的人工检测方法不仅效率低下，而且受检测人员主观因素影响较大。我们团队开发的这套基于深度学习的焊接缺陷检测系统，采用ResNet18网络模型结合CAM可视化技术，能够自动识别焊接完成状态以及气孔、裂纹、未熔合三种常见缺陷类型。
系统核心优势在于：
- 采用轻量级ResNet18模型，在保证精度的同时实现快速推理
- 集成CAM可视化技术，直观展示模型关注区域
- 基于PyQt5开发友好GUI界面，支持一键式操作
- 平均检测时间控制在200ms以内，满足产线实时检测需求
提示：系统对输入图像要求为224×224像素的RGB格式图片，建议在实际应用前对焊接件进行标准化拍摄。
2. 系统核心技术解析
2.1 ResNet18网络架构优化
我们选择的ResNet18模型经过以下针对性改进：
python复制class CustomResNet(nn.Module):
def __init__(self, num_classes=4):
super().__init__()
# 加载预训练ResNet18
self.base_model = models.resnet18(pretrained=True)
# 替换最后一层全连接
in_features = self.base_model.fc.in_features
self.base_model.fc = nn.Linear(in_features, num_classes)
# 添加梯度hook
self.gradients = None
self.base_model.layer4.register_forward_hook(self.save_gradient)
def save_gradient(self, module, input, output):
def grad_hook(grad):
self.gradients = grad
output.register_hook(grad_hook)
关键改进点包括：
- 使用ImageNet预训练权重进行迁移学习
- 将原始1000类分类层替换为4类（正常+3种缺陷）
- 添加梯度hook用于后续CAM可视化
2.2 CAM可视化实现原理
Class Activation Mapping的实现流程如下：
- 前向传播获取最后一个卷积层输出（特征图）
- 反向传播获取对应类别的梯度
- 计算梯度全局平均得到权重
- 对特征图进行加权求和
- 上采样至输入图像尺寸生成热力图
python复制def generate_cam(self, input_tensor):
# 前向传播
logits = self.model(input_tensor)
# 获取最后一个卷积层输出
features = self.model.base_model.layer4.output
# 计算梯度
one_hot = torch.zeros_like(logits)
one_hot[0, predicted_class] = 1
self.model.zero_grad()
logits.backward(gradient=one_hot, retain_graph=True)
# 生成CAM
weights = torch.mean(self.model.gradients, dim=(2, 3))
cam = torch.sum(weights[0, :, None, None] * features, dim=1)
cam = F.relu(cam) # ReLU过滤负响应
cam = F.interpolate(cam, size=input_tensor.shape[2:], mode='bilinear')
# 归一化处理
cam = cam - cam.min()
cam = cam / cam.max()
return cam.squeeze().cpu().numpy()
3. 系统实现细节
3.1 数据准备与增强
我们收集了2000张焊接样本图像，数据分布如下：
| 类别 | 训练集 | 验证集 | 测试集 | 合计 |
|---|---|---|---|---|
| 正常 | 600 | 150 | 150 | 900 |
| 气孔 | 400 | 100 | 100 | 600 |
| 裂纹 | 300 | 75 | 75 | 450 |
| 未熔合 | 300 | 75 | 75 | 450 |
数据增强策略：
python复制train_transform = transforms.Compose([
transforms.RandomResizedCrop(224),
transforms.RandomHorizontalFlip(),
transforms.ColorJitter(brightness=0.2, contrast=0.2),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
3.2 模型训练技巧
关键训练参数配置：
python复制optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)
criterion = nn.CrossEntropyLoss(weight=torch.tensor([1.0, 1.5, 2.0, 2.0]))
训练过程中的重要发现：
- 类别权重设置对不平衡数据集效果显著
- 初始学习率0.001配合每10epoch衰减0.1倍效果最佳
- 早停策略(patience=5)可有效防止过拟合
4. 系统界面开发
4.1 PyQt5界面架构
python复制class MainWindow(QMainWindow):
def __init__(self):
super().__init__()
self.setWindowTitle("焊接缺陷检测系统")
self.setFixedSize(1000, 600)
# 中央部件
central_widget = QWidget()
self.setCentralWidget(central_widget)
# 主布局
main_layout = QHBoxLayout(central_widget)
# 图像显示区域
self.original_view = QLabel()
self.cam_view = QLabel()
# 控制面板
control_panel = QVBoxLayout()
self.load_btn = QPushButton("加载图片")
self.result_label = QLabel("检测结果: ")
self.time_label = QLabel("检测耗时: ")
# 布局组装
main_layout.addWidget(self.original_view)
main_layout.addWidget(self.cam_view)
main_layout.addLayout(control_panel)
4.2 核心功能实现
图片加载与处理流程：
python复制def load_image(self):
file_path, _ = QFileDialog.getOpenFileName(
self, "选择焊接图片", "", "Image Files (*.png *.jpg *.bmp)")
if file_path:
start_time = time.time()
# 图像预处理
image = Image.open(file_path).convert('RGB')
input_tensor = self.transform(image).unsqueeze(0)
# 模型推理
with torch.no_grad():
output = self.model(input_tensor)
_, predicted = torch.max(output.data, 1)
# 生成CAM
cam = self.generate_cam(input_tensor)
# 结果显示
self.display_results(image, cam, predicted, start_time)
5. 系统优化与部署
5.1 性能优化技巧
- 模型量化：采用FP16半精度推理，速度提升40%
python复制model = model.half()
input_tensor = input_tensor.half()
- 多线程处理：将图像加载与模型推理分离
python复制class Worker(QThread):
finished = pyqtSignal(object, object, float)
def run(self):
start_time = time.time()
# 执行耗时操作
self.finished.emit(result, cam, start_time)
- 缓存机制：对重复检测的图片使用缓存结果
5.2 常见问题解决方案
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 检测结果不稳定 | 图像光照条件变化 | 增加直方图均衡化预处理 |
| CAM热力图不明显 | 模型关注点分散 | 调整ReLU阈值或使用Grad-CAM++ |
| 界面卡顿 | 大尺寸图片处理 | 添加加载进度条和异步处理 |
| 特定缺陷误检 | 样本不足 | 针对性增加该缺陷的训练样本 |
6. 实际应用案例
在某汽车零部件生产线的部署效果：
- 检测速度：平均180ms/张
- 准确率指标：
- 正常焊接：98.2%
- 气孔缺陷：95.6%
- 裂纹缺陷：93.4%
- 未熔合缺陷：94.1%
- 误检率：<2%
注意：实际准确率受拍摄角度、光照条件等因素影响，建议在使用前针对具体场景进行微调。
系统扩展方向：
- 增加缺陷定位功能（使用Faster R-CNN等目标检测模型）
- 开发多相机协同检测版本
- 集成到MES系统实现自动分拣
- 添加模型在线学习功能
这套系统经过我们团队半年多的迭代优化，在实际工业场景中表现稳定。特别在夜间检测场景下，通过添加红外图像处理模块，进一步提升了检测可靠性。对于想要复现系统的开发者，建议先从小的数据集开始，逐步验证各模块功能，再扩展到完整系统。