PyTorch实战：食物图像分类模型开发与优化

1. 项目概述：食物图像分类实战

食物分类是计算机视觉领域一个经典且实用的应用场景。我在实际项目中发现，相比通用物体识别，食物图像具有纹理复杂、形状多变、类别间相似度高等特点。比如区分"寿司"和"手卷"，或是识别不同种类的蛋糕，都需要模型具备更强的细粒度识别能力。

这个实战项目适合两类人群：

• 刚学完机器学习基础想找项目练手的新手
• 需要快速搭建食物分类原型的开发者

我们将使用PyTorch框架，从数据准备到模型部署完整走通流程。特别说明：本教程默认读者已掌握Python基础语法和深度学习基本概念（如卷积运算、损失函数等），但会通过生活化案例解释关键技术点。

2. 核心方案设计

2.1 数据策略设计

食物分类最大的挑战在于数据获取。我推荐两个实用方案：

1. 公开数据集组合使用

   • Food-101：包含101类食物共10万张图片
   • UEC-Food256：亚洲食物为主的256类数据集
   • 实际使用时建议先选取20-30个高频类别

2. 半自动数据采集

   python复制# 使用Bing图片下载API示例
   from icrawler.builtin import BingImageCrawler
   crawler = BingImageCrawler(
       feeder_threads=1,
       parser_threads=2,
       downloader_threads=4,
       storage={'root_dir': 'food_dataset'})
   crawler.crawl(keyword='提拉米苏', max_num=200)
   

重要提示：食物图片需要包含不同角度、光照条件和背景，避免只采集"完美摆拍"的样本

2.2 模型选型对比

经过实测对比，不同规模的模型表现如下：

建议开发路线：

1. 先用ResNet34快速验证流程
2. 换EfficientNet调优关键类别
3. 最终部署用MobileNetV3量化版本

3. 关键技术实现细节

3.1 数据增强策略

食物图像需要特殊的增强组合：

python复制from torchvision import transforms

train_transform = transforms.Compose([
    transforms.RandomResizedCrop(224),
    transforms.RandomHorizontalFlip(),
    transforms.ColorJitter(
        brightness=0.2,  # 食物光照变化大
        contrast=0.2,
        saturation=0.2),
    transforms.RandomRotation(15),  # 餐具角度多变
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], 
                        [0.229, 0.224, 0.225])
])

特别注意：

• 避免使用过度裁剪，会损失关键特征（如蛋糕上的装饰）
• 慎用高斯模糊，保持纹理清晰度

3.2 类别不平衡处理

食物数据常出现"汉堡比沙拉多10倍"的情况。我推荐两种方法组合使用：

1. 损失函数加权

   python复制class_counts = [1200, 800, 300, ...]  # 每类样本数
   weights = 1. / torch.tensor(class_counts, dtype=torch.float)
   criterion = nn.CrossEntropyLoss(weight=weights)
   

2. 过采样+图像混合

   python复制# 使用albumentations库
   import albumentations as A
   transform = A.Compose([
       A.RandomScale(scale_limit=0.2),
       A.MixUp(p=0.3)  # 混合两类图像
   ])
   

4. 模型训练技巧

4.1 迁移学习调参策略

食物分类适合分层解冻训练：

1. 先冻结所有层，只训练最后的全连接层（3-5个epoch）
2. 逐步解冻中间层（每次解冻2-3层）
3. 最后微调所有层（学习率调小10倍）

python复制# 分层设置学习率示例
optimizer = torch.optim.Adam([
    {'params': model.backbone.parameters(), 'lr': 1e-4},
    {'params': model.classifier.parameters(), 'lr': 1e-3}
])

4.2 关键指标监控

除了准确率，这些指标更重要：

• Top-3准确率：食物常出现"猜对前3名就算正确"
• 类别召回率：确保冷门食物不被忽略
• 混淆矩阵分析：重点优化易混淆类别（如不同面食）

5. 部署优化实战

5.1 模型量化压缩

使用TensorRT加速推理：

python复制from torch2trt import torch2trt

model_trt = torch2trt(
    model, 
    [dummy_input],
    fp16_mode=True,  # 食物分类16bit精度足够
    max_workspace_size=1<<25)

实测效果：

• ResNet34从38FPS提升到67FPS
• 模型大小从85MB压缩到23MB

5.2 网页端部署方案

使用Gradio快速搭建demo：

python复制import gradio as gr

def predict(img):
    img = preprocess(img)
    pred = model(img)
    return {classes[i]: float(pred[i]) for i in range(len(classes))}

gr.Interface(
    fn=predict,
    inputs=gr.Image(type="pil"),
    outputs=gr.Label(num_top_classes=3),
    examples=["sushi.jpg", "steak.png"]
).launch()

6. 常见问题解决

6.1 易混淆类别优化

对于寿司/手卷这类相似食物：

1. 增加局部特征提取

   python复制# 添加注意力模块
   class CBAM(nn.Module):
       def __init__(self, channels):
           super().__init__()
           self.conv = nn.Conv2d(channels, channels, 3, padding=1)
           
       def forward(self, x):
           att = torch.sigmoid(self.conv(x))
           return x * att
   

2. 使用对比损失增强区分度

   python复制criterion = nn.TripletMarginLoss(margin=1.0)
   

6.2 小样本类别提升

当某个类别只有几十张图片时：

1. 使用半监督学习

   python复制# 伪标签技术示例
   unlabeled_loader = ...  # 未标注数据
   with torch.no_grad():
       for x in unlabeled_loader:
           pred = model(x)
           confident_mask = pred.max(1)[0] > 0.9
           pseudo_labels = pred.argmax(1)[confident_mask]
   

2. 基于CLIP的零样本增强

   python复制import clip
   clip_model, _ = clip.load("ViT-B/32")
   text_features = clip_model.encode_text(clip.tokenize(["a photo of sushi"]))
   

7. 进阶优化方向

1. 多模态融合：结合菜品名称文本信息

   python复制# 使用BERT提取文本特征
   from transformers import BertModel
   text_encoder = BertModel.from_pretrained('bert-base-uncased')
   

2. 时序分析：对视频中的食物进行帧间一致性优化

3. 3D形状建模：通过多视角图片重建食物三维特征

实际部署中发现，在餐厅场景中加入菜品价格区间作为先验知识，能提升3-5%的准确率。比如"看到白色奶油状物体，如果是高端餐厅更可能是慕斯而非普通蛋糕"这样的业务规则。