1. 项目概述：用开源工具构建猫狗分类器
在计算机视觉领域，图像分类是最基础的入门项目之一。猫狗分类作为经典任务，能帮助初学者快速理解深度学习模型的工作流程。不同于传统机器学习方法需要手动设计特征，现代深度学习通过卷积神经网络(CNN)可以自动学习图像特征，实现端到端的分类。
这个项目将使用PyTorch框架配合多个开源工具，构建一个完整的训练流水线。我们会从数据准备开始，到模型训练、性能评估，最后实现可视化展示。整个过程不需要昂贵的硬件设备，普通家用电脑即可运行，非常适合深度学习新手作为第一个实践项目。
提示：虽然项目名为"猫狗分类"，但掌握这个流程后，你可以轻松适配其他二分类任务，比如真假币识别、病虫害检测等。
2. 环境配置与工具选型
2.1 基础环境搭建
推荐使用Python 3.8+环境，这是大多数深度学习框架的最佳支持版本。环境隔离建议选择conda或venv：
bash复制conda create -n catdog python=3.8
conda activate catdog
核心依赖库包括：
- PyTorch 1.12+（含torchvision）
- OpenCV 4.5+（图像处理）
- Matplotlib 3.5+（结果可视化）
- Gradio 3.0+（交互式演示）
安装命令：
bash复制pip install torch torchvision opencv-python matplotlib gradio
2.2 为什么选择这些工具？
PyTorch相比TensorFlow对初学者更友好，其动态计算图机制让调试更直观。OpenCV提供高效的图像预处理方法，而Gradio可以快速构建演示界面，避免花费大量时间在前端开发上。
对于可视化训练过程，我们额外推荐WandB或TensorBoard，但本文为简化流程，将使用Matplotlib进行基础可视化。
3. 数据集准备与预处理
3.1 获取标准数据集
Kaggle的"Dogs vs Cats"数据集是最常用的基准数据，包含25,000张图片（12,500狗/12,500猫）。下载后建议按以下结构组织：
code复制data/
├── train/
│ ├── cat/
│ └── dog/
├── val/
│ ├── cat/
│ └── dog/
└── test/
├── cat/
└── dog/
典型划分比例为7:2:1（训练:验证:测试）。可以使用split-folders库自动完成：
bash复制pip install split-folders
python -m split_folders --ratio 0.7 0.2 0.1 --input original_data --output data
3.2 数据增强策略
为防止过拟合，训练时需要应用随机增强：
python复制from torchvision import transforms
train_transform = transforms.Compose([
transforms.RandomResizedCrop(224),
transforms.RandomHorizontalFlip(),
transforms.ColorJitter(brightness=0.2, contrast=0.2),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
val_transform = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
注意：ImageNet的均值和标准差参数([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])已成为业界标准，即使对于非ImageNet数据也表现良好。
4. 模型构建与训练
4.1 选择基础架构
对于入门项目，推荐从ResNet18开始：
- 足够轻量（约11M参数）
- 残差连接解决梯度消失
- 预训练权重加速收敛
python复制import torchvision.models as models
model = models.resnet18(pretrained=True)
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 2) # 修改最后一层
4.2 训练超参数配置
关键参数设置建议：
python复制config = {
'batch_size': 32, # 根据GPU内存调整
'lr': 3e-4, # 初始学习率
'epochs': 15, # 通常10-20足够
'weight_decay': 1e-4 # L2正则化
}
使用交叉熵损失和Adam优化器：
python复制criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(),
lr=config['lr'],
weight_decay=config['weight_decay'])
4.3 训练循环实现
典型训练流程包含以下步骤：
python复制for epoch in range(config['epochs']):
model.train()
for images, labels in train_loader:
optimizer.zero_grad()
outputs = model(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# 验证阶段
model.eval()
with torch.no_grad():
correct = 0
total = 0
for images, labels in val_loader:
outputs = model(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
val_acc = 100 * correct / total
5. 模型评估与可视化
5.1 性能指标计算
除了准确率，还应关注：
- 混淆矩阵
- 精确率/召回率
- F1分数
使用sklearn快速计算：
python复制from sklearn.metrics import classification_report
report = classification_report(true_labels, pred_labels,
target_names=['cat', 'dog'])
print(report)
5.2 可视化训练过程
记录训练损失和验证准确率：
python复制plt.figure(figsize=(12,4))
plt.subplot(121)
plt.plot(train_losses, label='train')
plt.title('Loss curve')
plt.subplot(122)
plt.plot(val_accuracies, label='val')
plt.title('Accuracy curve')
plt.savefig('training_curves.png')
5.3 使用Gradio创建演示
快速构建Web界面：
python复制import gradio as gr
def predict(image):
image = val_transform(image).unsqueeze(0)
with torch.no_grad():
output = model(image)
prob = torch.nn.functional.softmax(output, dim=1)[0]
return {'cat': float(prob[0]), 'dog': float(prob[1])}
gr.Interface(fn=predict,
inputs=gr.Image(type='pil'),
outputs=gr.Label(num_top_classes=2)).launch()
6. 常见问题与解决方案
6.1 内存不足错误
症状：CUDA out of memory
解决方法：
- 减小batch size（16或8）
- 使用梯度累积：
python复制accumulation_steps = 4 loss.backward() if (i+1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()
6.2 过拟合问题
应对策略：
- 增加数据增强（如随机旋转、cutout）
- 添加Dropout层
- 提前停止（early stopping）
- 使用更小的学习率
6.3 类别不平衡
如果数据中猫狗数量不均：
- 使用加权损失函数：
python复制weights = torch.tensor([1.0, 2.0]) # 假设狗样本较少 criterion = nn.CrossEntropyLoss(weight=weights) - 过采样少数类
7. 进阶优化方向
7.1 尝试不同模型架构
- 轻量级：MobileNetV3、EfficientNet-B0
- 高性能：ResNet50、Vision Transformer
7.2 自动化超参数调优
使用Optuna等工具：
python复制import optuna
def objective(trial):
lr = trial.suggest_float('lr', 1e-5, 1e-3, log=True)
optimizer = torch.optim.Adam(model.parameters(), lr=lr)
# 训练流程...
return val_accuracy
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=20)
7.3 模型量化与部署
将模型转换为ONNX格式便于部署：
python复制dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, dummy_input, 'catdog.onnx')
对于移动端，可考虑使用TensorFlow Lite或Core ML转换工具。