1. 项目背景与核心价值
瓶子识别作为计算机视觉中的经典分类任务，在工业生产、零售管理和环保回收等领域具有广泛的应用场景。传统图像处理方法依赖人工设计特征（如HOG、SIFT），但面对瓶体透明度变化、标签干扰和形变等问题时泛化能力有限。基于CNN的解决方案通过端到端学习自动提取多层次特征，在准确率和鲁棒性上展现出显著优势。
这个毕设选题特别适合计算机视觉入门者：数据集易于采集（可自行拍摄或使用公开数据集）、模型结构清晰（典型分类网络可复用）、结果可视化直观。完成该项目后，学生将掌握以下核心技能：
- 图像分类任务的完整实现流程
- PyTorch/TensorFlow框架的实战应用
- 数据增强与模型调优的实用技巧
- 工业级视觉系统的开发方法论
2. 技术方案设计
2.1 数据集构建要点
建议采用混合数据策略：
-
自建数据集（2000+张）：
- 覆盖常见瓶型（矿泉水瓶、酒瓶、饮料瓶等）
- 多角度拍摄（正视/侧视/倾斜）
- 不同光照条件（强光/背光/散射光）
- 背景复杂度分级（纯色/复杂场景）
-
公开数据集补充：
- TrashNet（包含玻璃瓶分类）
- BottleDetection-6K（带标注的工业数据集）
- 使用爬虫抓取电商平台瓶装商品图片
数据标注建议使用LabelImg工具，保存为PASCAL VOC格式。特别注意瓶体透明区域的标注技巧：通过瓶内液体颜色辅助边缘识别。
2.2 模型选型对比
针对瓶子识别特性，推荐以下CNN架构：
| 模型 | 参数量 | 优点 | 适用场景 |
|---|---|---|---|
| MobileNetV3 | 5.4M | 轻量化，适合移动端部署 | 实时检测场景 |
| ResNet18 | 11.7M | 精度与速度平衡 | 通用分类任务 |
| EfficientNet | 8.8M | 复合缩放优化 | 资源受限环境 |
| 自定义CNN | <1M | 可解释性强 | 教学演示目的 |
对于毕设项目，建议采用ResNet18+自定义分类头的方案：
python复制from torchvision import models
import torch.nn as nn
class BottleClassifier(nn.Module):
def __init__(self, num_classes):
super().__init__()
self.backbone = models.resnet18(pretrained=True)
self.backbone.fc = nn.Sequential(
nn.Linear(512, 256),
nn.ReLU(),
nn.Dropout(0.2),
nn.Linear(256, num_classes)
)
def forward(self, x):
return self.backbone(x)
2.3 关键技术创新点
-
针对透明物体的数据增强：
- 模拟折射效果：添加随机光斑噪声
- 混合样本增强：将瓶体区域与其他背景合成
- 弹性变形：模拟挤压变形状态
-
多尺度特征融合：
python复制# 在ResNet基础上增加FPN结构
class FPN(nn.Module):
def __init__(self, backbone):
self.lateral1 = nn.Conv2d(64, 256, 1)
self.lateral2 = nn.Conv2d(128, 256, 1)
self.smooth = nn.Conv2d(256, 256, 3, padding=1)
def forward(self, x):
c2, c3 = backbone.features[1:3]
p3 = self.lateral1(c3)
p2 = self.lateral2(c2) + F.upsample(p3, scale_factor=2)
return self.smooth(p2)
3. 实现流程详解
3.1 环境配置
推荐使用conda创建虚拟环境：
bash复制conda create -n bottle_cnn python=3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
pip install opencv-python albumentations matplotlib
3.2 数据预处理管道
使用Albumentations库实现强增强：
python复制train_transform = A.Compose([
A.RandomResizedCrop(224, 224),
A.Transpose(p=0.5),
A.RandomBrightnessContrast(p=0.2),
A.GlassBlur(p=0.1), # 模拟玻璃模糊效果
A.CoarseDropout(max_holes=8, max_height=16, max_width=16, p=0.3),
A.Normalize(),
])
3.3 训练技巧
-
损失函数选择：
- Label Smoothing CrossEntropy（应对类别不平衡）
python复制criterion = nn.CrossEntropyLoss(label_smoothing=0.1) -
学习率调度：
python复制scheduler = torch.optim.lr_scheduler.OneCycleLR( optimizer, max_lr=0.01, steps_per_epoch=len(train_loader), epochs=50 ) -
早停机制：
python复制early_stopping = EarlyStopping(patience=5, delta=0.001)
4. 效果优化与评估
4.1 评估指标设计
除常规Accuracy外，建议增加：
- 瓶口识别准确率（关键部位检测）
- 抗遮挡测试（用手遮挡30%区域）
- 跨角度泛化测试（训练集未出现的拍摄角度）
4.2 可视化分析
- 特征图可视化：
python复制def visualize_feature_maps(model, img_tensor):
activations = []
def hook_fn(module, input, output):
activations.append(output.detach())
handle = model.backbone.layer4.register_forward_hook(hook_fn)
model(img_tensor.unsqueeze(0))
handle.remove()
plt.figure(figsize=(12,8))
for i in range(16): # 显示前16个通道
plt.subplot(4,4,i+1)
plt.imshow(activations[0][0,i].cpu().numpy(), cmap='jet')
- 混淆矩阵分析：
- 特别关注易混淆类别（如不同颜色的同款瓶型）
- 对误检样本进行归因分析
5. 常见问题解决方案
5.1 透明瓶体识别困难
现象：模型将透明矿泉水瓶误判为背景
解决方案：
- 在瓶内注入有色液体辅助标注
- 使用边缘增强预处理：
python复制class EdgeEnhance(nn.Module):
def __init__(self):
super().__init__()
self.kernel = torch.tensor([[-1,-1,-1], [-1,8,-1], [-1,-1,-1]]).float()
def forward(self, x):
return F.conv2d(x, self.kernel.repeat(3,1,1,1), padding=1)
5.2 小样本类别准确率低
现象：某类瓶子样本不足导致识别率低下
解决方案：
- 使用SMOTE算法生成合成样本
- 采用度量学习（如ArcFace）改进分类头：
python复制class ArcMarginHead(nn.Module):
def __init__(self, in_features, out_features, s=30.0, m=0.5):
super().__init__()
self.weight = nn.Parameter(torch.randn(out_features, in_features))
self.s = s
self.m = m
def forward(self, x):
cosine = F.linear(F.normalize(x), F.normalize(self.weight))
theta = torch.acos(torch.clamp(cosine, -1.0 + 1e-7, 1.0 - 1e-7))
output = torch.cos(theta + self.m) * self.s
return output
6. 项目扩展方向
-
工业部署优化：
- 使用TensorRT进行模型量化（FP16精度下速度提升3倍）
python复制torch2trt.convert(model, [torch.randn(1,3,224,224).cuda()]) -
多模态融合：
- 结合瓶身文字OCR结果提升分类准确率
- 添加重量传感器数据辅助判断
-
异常检测：
python复制# 使用自动编码器检测未知瓶型 class Autoencoder(nn.Module): def __init__(self): super().__init__() self.encoder = nn.Sequential( nn.Conv2d(3,16,3,stride=2,padding=1), nn.ReLU(), nn.Conv2d(16,32,3,stride=2,padding=1) ) self.decoder = nn.Sequential( nn.ConvTranspose2d(32,16,3,stride=2,padding=1), nn.ReLU(), nn.ConvTranspose2d(16,3,3,stride=2,padding=1,output_padding=1) ) def forward(self, x): z = self.encoder(x) return self.decoder(z)
在实际部署中发现，当瓶体表面有冷凝水时，常规CNN的识别准确率会下降约15%。通过添加模拟水珠的数据增强后，该场景下的鲁棒性得到显著提升。建议在数据采集阶段专门拍摄不同湿度条件下的样本。