1. 项目概述与背景
餐桌美食识别是计算机视觉领域一个极具实用价值的研究方向。作为计算机专业毕业设计的选题，这个项目结合了当下热门的深度学习技术与日常生活中的实际需求。我选择使用Python作为开发语言，主要基于其丰富的深度学习生态库和简洁的语法特性。
这个项目的核心目标是通过卷积神经网络（CNN）实现对餐桌上各类食物的自动识别与分类。想象一下这样的场景：当你用手机拍摄餐桌上的美食照片，系统能立即识别出盘中是宫保鸡丁还是水煮鱼，甚至能估算卡路里含量——这正是计算机视觉技术改变生活的典型案例。
从技术角度看，美食识别相比通用物体识别有着独特的挑战。食物往往没有固定形状（比如一碗汤和一块牛排的视觉特征差异极大），同一类食物在不同烹饪方式下呈现的外观也不同（比如清蒸鱼和红烧鱼）。此外，餐桌场景中常见的遮挡、反光、多角度拍摄等问题，都增加了识别难度。
2. 核心技术选型与原理
2.1 卷积神经网络基础架构
我选择ResNet50作为基础模型架构，主要基于以下几点考虑：
- 残差连接有效解决了深层网络梯度消失问题，152层的深度能提取更丰富的特征
- 预训练模型在ImageNet上的表现证明其特征提取能力
- 相比更复杂的模型，ResNet在计算资源和模型性能间取得了较好平衡
模型输入层设置为224x224x3的RGB图像，经过以下核心处理阶段：
- 初始卷积层：7x7卷积核，步长2，输出112x112x64特征图
- 最大池化层：3x3池化窗口，步长2
- 残差块组：包含4组残差块，分别进行3,4,6,3次残差运算
- 全局平均池化层：将特征图降维为1x1x2048
- 全连接层：根据食物类别数设置输出维度
2.2 数据增强策略
针对食物图像的特点，我设计了专门的数据增强方案：
python复制train_datagen = ImageDataGenerator(
rotation_range=30,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True,
fill_mode='nearest',
brightness_range=[0.8,1.2] # 模拟不同光照条件
)
特别注意：
- 避免使用垂直翻转（食物通常不会倒置出现）
- 增加亮度调整模拟餐厅不同灯光环境
- 适度剪切变换模拟食物被部分遮挡的情况
2.3 迁移学习实现
使用在ImageNet上预训练的权重初始化模型：
python复制base_model = ResNet50(weights='imagenet', include_top=False, input_shape=(224,224,3))
# 冻结前150层权重
for layer in base_model.layers[:150]:
layer.trainable = False
# 添加自定义分类层
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(1024, activation='relu')(x)
predictions = Dense(num_classes, activation='softmax')(x)
关键技巧：逐步解冻层进行微调能获得更好效果。先训练全连接层，然后解冻部分卷积层进行联合训练。
3. 数据集构建与处理
3.1 数据收集方案
构建了包含8大类、120小类的中餐数据集：
- 主流外卖平台爬取菜品图片（注意遵守robots协议）
- 自行拍摄实验室模拟餐盘布置
- 使用公开数据集Food-101中的中餐子集
- 数据增强生成额外样本
最终获得约15,000张标注图像，类别分布如下：
| 大类 | 子类示例 | 样本量 |
|---|---|---|
| 主食 | 米饭、面条 | 2,100 |
| 荤菜 | 红烧肉、清蒸鱼 | 6,800 |
| 素菜 | 炒青菜、地三鲜 | 4,200 |
| 汤类 | 紫菜汤、排骨汤 | 1,500 |
3.2 数据清洗与标注
处理流程：
- 去除低质量图片（模糊、严重遮挡）
- 统一调整为正方形构图（保持长宽比填充灰色边缘）
- 使用LabelImg工具进行边界框标注
- 转换为YOLO格式的标注文件
python复制# 示例标注文件内容
0 0.5 0.5 0.8 0.3 # 类别索引 中心x 中心y 宽度 高度
3.3 数据集划分策略
采用分层抽样保证各类别比例一致：
- 训练集：70%
- 验证集：15%
- 测试集：15%
特别注意保留某些"困难样本"到测试集，如：
- 多菜品重叠摆放
- 反光严重的餐具
- 非常规拍摄角度
4. 模型训练与优化
4.1 超参数配置
经过多次实验确定的最终配置：
python复制model.compile(
optimizer=Adam(learning_rate=0.0001),
loss='categorical_crossentropy',
metrics=['accuracy']
)
# 回调函数配置
callbacks = [
EarlyStopping(patience=10, monitor='val_loss'),
ModelCheckpoint('best_model.h5', save_best_only=True),
ReduceLROnPlateau(factor=0.1, patience=5)
]
4.2 训练过程监控
使用TensorBoard记录的关键指标：
- 训练/验证准确率曲线
- 混淆矩阵动态变化
- 特征图可视化
- 梯度直方图
常见问题：当验证准确率停滞时，尝试解冻更多底层卷积层或调整学习率。
4.3 模型量化与优化
为部署准备的优化措施：
- 使用TensorRT进行FP16量化
- 模型剪枝移除冗余连接
- 转换为TFLite格式支持移动端
bash复制# 转换命令示例
tflite_convert --saved_model_dir saved_model --output_file model.tflite
5. 系统实现与部署
5.1 整体架构设计
采用B/S架构：
- 前端：Vue.js实现上传界面
- 后端：Flask处理请求
- 模型服务：TensorFlow Serving
python复制# Flask接口示例
@app.route('/predict', methods=['POST'])
def predict():
img = request.files['image'].read()
img = preprocess_image(img)
pred = model.predict(img)
return jsonify({'class': classes[np.argmax(pred)]})
5.2 性能优化技巧
- 使用Redis缓存常见菜品的预测结果
- 实现异步预测队列避免阻塞
- 开启GPU加速推理
python复制# 异步处理示例
@app.route('/predict', methods=['POST'])
def predict():
task = predict_queue.enqueue(predict_task, request.files['image'])
return jsonify({'task_id': task.id}), 202
5.3 效果展示与评估
测试集上的表现：
- 整体准确率：89.7%
- 每类精确率/召回率：
| 类别 | 精确率 | 召回率 |
|---|---|---|
| 主食 | 92.3% | 88.5% |
| 荤菜 | 91.1% | 90.2% |
| 素菜 | 87.6% | 85.9% |
| 汤类 | 83.4% | 86.2% |
典型错误案例：
- 颜色相近的菜品混淆（如红烧肉与糖醋排骨）
- 装饰性摆盘被误认为食物
- 半透明容器中的汤类识别困难
6. 项目扩展与优化方向
在实际开发过程中，我发现以下几个值得深入的方向：
- 多模态融合：结合菜品名称文本信息（从菜单OCR获取）提升准确率
- 分量估计：通过深度信息估算食物体积
- 营养计算：建立菜品到营养成分的映射关系
- 轻量化改进：使用MobileNetV3等轻量架构适配移动端
一个有趣的发现是，在模型预测时加入"中国菜系"的上下文先验（如川菜、粤菜等），能显著减少同类菜品的混淆。这启发我们可以将饮食文化知识融入识别系统。
对于想尝试类似项目的同学，我的建议是从小数据集开始，先构建5-10个常见菜品的分类器，再逐步扩展。同时要特别注意数据质量——清洗1000张高质量图片比用5000张杂乱数据训练效果更好。