基于ResNet18的猫狗表情识别项目实战指南

1. 项目背景与核心价值

猫狗表情识别是计算机视觉领域一个既有趣又实用的研究方向。作为本科毕业设计选题，它完美平衡了技术深度与可实现性——既包含卷积神经网络(CNN)等深度学习核心算法，又能通过相对轻量的模型实现不错的效果。我在大四时做过类似项目，实测ResNet18在自制数据集上就能达到92%以上的分类准确率。

这个项目的独特价值在于：

• 技术综合性：涵盖数据采集、标注、模型选型、训练调优全流程
• 强展示性：可视化结果直观有趣，适合毕业答辩演示
• 扩展空间大：可从基础分类升级到表情强度分析、情绪识别等方向

2. 技术方案设计

2.1 整体架构

采用经典的图像分类Pipeline：

code复制原始图片 → 数据增强 → 特征提取(CNN) → 全连接层 → Softmax分类

2.2 关键技术选型

提示：初学者建议先用torchvision.transforms上手，熟练后再尝试Albumentations的复杂增强策略

3. 实操关键步骤

3.1 环境配置

bash复制# 创建conda环境（推荐）
conda create -n pet_expression python=3.8
conda activate pet_expression

# 安装核心依赖
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113
pip install albumentations opencv-python matplotlib

3.2 数据准备技巧

1. 数据收集：

   • 推荐使用Kaggle的"Dogs vs Cats"数据集作为基础
   • 补充爬取B站宠物视频截图（注意版权）

2. 标注规范：
   建立三级表情分类体系：

   mermaid复制graph TD
   A[宠物表情] --> B[狗]
   A --> C[猫]
   B --> D[开心]
   B --> E[警觉]
   C --> F[放松]
   C --> G[紧张]
   

3. 数据增强策略：

   python复制train_transform = A.Compose([
       A.RandomResizedCrop(224, 224),
       A.HorizontalFlip(p=0.5),
       A.RandomBrightnessContrast(p=0.2),
       A.GaussNoise(var_limit=(10.0, 50.0), p=0.3),
       A.Normalize(mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225))
   ])
   

4. 模型训练与调优

4.1 迁移学习实现

python复制model = models.resnet18(pretrained=True)
num_ftrs = model.fc.in_features

# 修改最后一层
model.fc = nn.Sequential(
    nn.Linear(num_ftrs, 256),
    nn.ReLU(),
    nn.Dropout(0.5),
    nn.Linear(256, num_classes)
)

# 冻结底层参数
for param in model.parameters():
    param.requires_grad = False
for param in model.layer4.parameters():
    param.requires_grad = True

4.2 关键训练参数

5. 效果评估与改进

5.1 评估指标对比

在自制测试集上的表现：

5.2 可视化分析

使用Grad-CAM展示模型注意力区域：

python复制def apply_gradcam(model, img_tensor):
    # 获取最后一层卷积层
    target_layer = model.layer4[-1].conv2
    
    # 创建GradCAM对象
    cam = GradCAM(model=model, target_layers=[target_layer])
    
    # 生成热力图
    grayscale_cam = cam(input_tensor=img_tensor)
    grayscale_cam = grayscale_cam[0, :]
    
    return grayscale_cam

6. 常见问题解决方案

6.1 过拟合应对

1. 现象：训练准确率95%但验证集只有70%
2. 解决方法：
   • 增加MixUp数据增强
   • 添加Label Smoothing
   • 使用更强的正则化（Dropout 0.5）

6.2 类别不平衡

当"开心"类样本占比60%时：

python复制# 计算类别权重
class_counts = [1200, 800, 500]  # 各类样本数
weights = 1. / torch.tensor(class_counts, dtype=torch.float)
sample_weights = weights[labels]

# 创建加权采样器
sampler = WeightedRandomSampler(
    weights=sample_weights,
    num_samples=len(sample_weights),
    replacement=True
)

7. 项目扩展方向

1. 实时视频分析：

   python复制cap = cv2.VideoCapture(0)
   while True:
       ret, frame = cap.read()
       frame = preprocess(frame)
       with torch.no_grad():
           outputs = model(frame)
       plot_emotion_bar(outputs, frame)
       cv2.imshow('Pet Emotion', frame)
   

2. 多模态融合：

   • 结合声音特征（犬吠/猫叫频率）
   • 添加姿态估计（尾巴摆动幅度）

3. 轻量化部署：

   bash复制# 模型量化
   torch.quantization.quantize_dynamic(
       model, {nn.Linear}, dtype=torch.qint8
   )
   
   # ONNX导出
   torch.onnx.export(model, dummy_input, "pet_emotion.onnx")
   

提示：答辩时可准备不同品种的猫狗测试视频，展示模型泛化能力