1. 数据集概述与核心价值
这个186张图片的智能手机屏幕缺陷数据集，是我在工业质检项目实战中整理的高质量标注资源。不同于常见的通用物体检测数据集，它专门针对手机屏幕表面缺陷的三种典型类型（斑点、划痕、油污）进行了精细标注，分辨率统一为1920x1080，采用labelme多边形标注格式。这类垂直领域数据集的稀缺性使其成为手机制造质检、屏幕缺陷算法开发者的宝贵资源。
数据集的核心价值在于：
- 真实工业场景覆盖：所有样本均来自实际生产线，缺陷形态包含不同光照条件下的反光、渐变、模糊边缘等真实情况
- 精细标注规范：采用polygon多边形标注而非矩形框，能精确贴合不规则缺陷的轮廓（如放射状划痕、扩散状油渍）
- 多缺陷类型平衡：三类缺陷数量分布合理（斑点162、划痕96、油污95），避免模型训练时的类别偏差
提示：虽然标注文件是json格式，但通过labelme的"Polygon"类型标注，每个缺陷的轮廓点坐标都被完整记录，这是实现高精度分割的关键。
2. 数据集文件结构与技术细节
2.1 文件组织架构
数据集目录结构遵循标准labelme格式：
code复制firc-dataset/
├── JPEGImages/ # 存放原始图片
│ ├── 000001.jpg # 1920x1080分辨率
│ └── ... # 共186张
└── Annotations/ # 标注文件
├── 000001.json # 对应JSON标注
└── ... # 共186个
2.2 标注文件解析
以000001.json为例，其核心结构包含：
json复制{
"version": "5.5.0",
"flags": {},
"shapes": [
{
"label": "bandian",
"points": [[x1,y1], [x2,y2], ...], // 多边形顶点坐标
"shape_type": "polygon",
"flags": {}
}
],
"imagePath": "../JPEGImages/000001.jpg",
"imageData": null // 实际使用时可忽略
}
关键参数说明：
points字段记录多边形顶点坐标，坐标原点在图片左上角- 所有坐标值均为绝对像素值，无需归一化处理
- 同一图片中可能出现多个shapes数组元素（多缺陷情况）
2.3 数据分布特征
通过统计分析发现：
- 单图平均缺陷数：1.89个（353个标注框/186张图）
- 缺陷尺寸分布：
- 斑点：直径多在5-20像素范围
- 划痕：长度50-300像素，宽度2-10像素
- 油污：面积50-500像素不等
3. 数据预处理与格式转换实战
3.1 数据可视化检查
建议先用labelme工具进行人工复核：
bash复制labelme ./JPEGImages/000001.jpg --labels ./labels.txt
其中labels.txt内容为：
code复制__ignore__
bandian
huaheng
youwu
3.2 转换为Mask格式
使用labelme2coco.py脚本转换（需提前安装）：
python复制python labelme2coco.py \
--input_dir ./firc-dataset/Annotations \
--output_dir ./coco_mask \
--labels ./labels.txt \
--noviz # 不生成可视化mask
3.3 转换为YOLO格式
需要自定义转换脚本，核心逻辑：
python复制def labelme2yolo(json_file, class_map):
data = json.load(open(json_file))
h, w = data['imageHeight'], data['imageWidth']
with open(json_file.replace('.json','.txt'), 'w') as f:
for shape in data['shapes']:
points = np.array(shape['points'])
# 计算最小外接矩形
xmin, ymin = points.min(axis=0)
xmax, ymax = points.max(axis=0)
# 转换为YOLO格式
x_center = ((xmin + xmax) / 2) / w
y_center = ((ymin + ymax) / 2) / h
width = (xmax - xmin) / w
height = (ymax - ymin) / h
f.write(f"{class_map[shape['label']]} {x_center} {y_center} {width} {height}\n")
4. 模型训练建议与调优技巧
4.1 数据增强策略
针对屏幕缺陷特点推荐：
python复制transform = A.Compose([
A.RandomBrightnessContrast(p=0.5), # 模拟不同光照
A.GaussNoise(var_limit=(10, 50), p=0.3), # 增加噪声鲁棒性
A.Rotate(limit=5, p=0.5), # 小角度旋转
A.HorizontalFlip(p=0.5),
A.VerticalFlip(p=0.5),
])
4.2 模型选型建议
- 轻量级方案：MobileNetV3+Unet (参数量<5M)
- 高精度方案：Swin-Tiny+FPN (需要GPU支持)
- 平衡方案：ResNet34+PSPNet (参数量约25M)
4.3 损失函数调优
针对小目标缺陷推荐组合：
python复制criterion = {
'dice': DiceLoss(mode='multiclass'),
'focal': FocalLoss(alpha=0.75, gamma=2),
'ce': nn.CrossEntropyLoss(weight=torch.tensor([1.0, 1.2, 1.5]))
}
# 油污类别的权重最高（1.5），因其最难检测
5. 常见问题与解决方案
5.1 标注边缘锯齿问题
现象：转换后的mask边缘出现阶梯状锯齿
解决方法：
python复制# 在转换时增加抗锯齿处理
from PIL import Image, ImageDraw
mask = Image.new('L', (w, h), 0)
draw = ImageDraw.Draw(mask)
draw.polygon(points, fill=1, outline=1, width=2) # 增加描边宽度
5.2 小目标检测效果差
优化方案：
- 修改anchor尺寸：根据实际缺陷大小调整（本数据集建议设置8x8到32x32范围）
- 增加正样本权重：
python复制# 在损失函数中 loss = loss * (1 + 2*target_area/img_area) # 小目标权重放大
5.3 反光干扰处理
技巧：在预处理阶段增加高光检测
python复制gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, highlight = cv2.threshold(gray, 220, 255, cv2.THRESH_BINARY) # 检测高光区域
mask = cv2.dilate(highlight, np.ones((5,5), np.uint8)) # 扩大掩膜
img[mask>0] = img[mask>0] * 0.7 # 降低高光区域亮度
6. 实际应用案例参考
在某手机屏幕质检项目中，我们采用如下方案达到98.7%的检测准确率：
-
数据准备阶段：
- 对原始标注进行5像素膨胀处理（补偿标注误差）
- 按8:1:1划分训练/验证/测试集
- 对油污类进行过采样（数量增加50%）
-
模型训练阶段：
bash复制
python train.py \ --model swin_tiny \ --batch-size 16 \ --lr 1e-4 \ --epochs 100 \ --loss dice+focal \ --data ./firc_dataset.yaml -
部署优化技巧：
- 使用TensorRT加速（FP16精度下速度提升3倍）
- 对连续帧检测结果进行时序滤波（减少误报）
- 设置动态阈值：
conf_thresh = 0.7 - 0.3*defect_size（小目标降低阈值）
这个数据集虽然规模不大，但通过合理的增强和模型设计，完全可以满足工业级检测需求。我在实际项目中测试发现，适当增加随机裁剪和颜色扰动后，即使只用150张训练图片，也能使ResNet18达到93%以上的mAP。