1. 项目背景与核心需求
车牌识别作为计算机视觉领域的经典应用场景，在智慧交通、停车场管理、违章抓拍等实际业务中具有广泛需求。传统基于OpenCV的图像处理方法在复杂场景下识别率有限，而深度学习技术凭借其强大的特征提取能力，正在逐步成为工业级车牌识别的主流解决方案。
这个项目选择PyTorch框架实现车牌识别系统，主要基于以下考量：
- PyTorch的动态计算图特性便于调试和模型迭代
- 丰富的预训练模型库可加速开发进程
- Python生态完善，易于部署到生产环境
2. 技术方案设计
2.1 整体架构设计
采用典型的两阶段识别方案：
- 车牌检测阶段：使用YOLOv5定位图像中的车牌位置
- 字符识别阶段：基于CRNN（CNN+RNN+CTC）实现端到端字符识别
python复制# 模型架构示例
class PlateRecognition(nn.Module):
def __init__(self):
super().__init__()
self.detector = torch.hub.load('ultralytics/yolov5', 'yolov5s')
self.recognizer = CRNN(...)
2.2 关键技术创新点
- 多尺度特征融合：在检测阶段引入FPN结构提升小目标检测能力
- 注意力机制：在CRNN的LSTM层后加入CBAM模块
- 数据增强策略：采用Albumentations库实现弹性变换、运动模糊等增强
3. 数据集准备与处理
3.1 数据来源
使用CCPD（Chinese City Parking Dataset）和自采集数据混合训练：
- CCPD提供10万+带标注车牌图像
- 自采集数据覆盖不同天气、光照条件
3.2 数据预处理流程
- 图像归一化：统一resize到640×640
- 标注转换：将CCPD的4点标注转为YOLO格式
- 字符编码：建立65类字符字典（省份简称+字母+数字）
python复制# 标注转换示例
def convert_ccpd_to_yolo(pts):
x_coords = pts[::2]
y_coords = pts[1::2]
x_center = (min(x_coords) + max(x_coords)) / 2 / width
y_center = (min(y_coords) + max(y_coords)) / 2 / height
w = (max(x_coords) - min(x_coords)) / width
h = (max(y_coords) - min(y_coords)) / height
return [0, x_center, y_center, w, h] # YOLO格式
4. 模型训练细节
4.1 检测模型训练
- 骨干网络：CSPDarknet53
- 优化器：SGD(momentum=0.9)
- 学习率：余弦退火0.01→0.001
- 训练时长：300epoch（约8小时）
关键技巧：前10epoch冻结骨干网络，只训练检测头
4.2 识别模型训练
- CNN部分：ResNet34+CBAM
- RNN部分：BiLSTM(256hidden)
- 损失函数：CTC Loss
- Batch Size：32
python复制# CTC Loss计算示例
criterion = nn.CTCLoss(blank=0)
loss = criterion(log_probs, targets, input_lengths, target_lengths)
5. 性能优化技巧
5.1 推理加速方案
- TensorRT部署：FP16量化使推理速度提升3倍
- 多线程处理：分离检测和识别流水线
- 模型剪枝：移除CRNN中贡献度低的通道
5.2 精度提升方法
- 难例挖掘：重点训练识别错误的样本
- TTA（测试时增强）：多尺度预测融合
- 后处理优化：基于车牌规则校正识别结果
6. 实际应用效果
在自建测试集（2000张图像）上指标：
- 检测准确率：98.7%（IoU>0.5）
- 字符识别准确率：95.2%
- 端到端识别率：94.1%
- 推理速度：47ms/张（RTX3060）
典型错误案例：
- 极端光照下的金属反光车牌
- 污损严重的旧车牌
- 特殊字体（如武警车牌）
7. 工程化部署建议
- 服务化封装：使用FastAPI提供REST接口
- 日志监控：记录识别耗时和成功率
- 模型更新：设计AB测试机制
python复制# FastAPI服务示例
@app.post("/recognize")
async def recognize(file: UploadFile):
img = Image.open(file.file)
plates = detector(img)
results = [recognizer(plate) for plate in plates]
return {"results": results}
8. 常见问题排查
-
检测漏检：
- 检查训练数据是否包含各种角度车牌
- 尝试减小NMS阈值
-
字符误识：
- 增加相似字符（如"0"和"D"）的训练样本
- 调整CTC解码的beam search宽度
-
推理速度慢：
- 启用TensorRT
- 减小输入图像尺寸
9. 扩展方向
- 多车牌同时识别
- 新能源车牌特殊处理
- 视频流实时分析
- 跨境车牌识别（考虑不同国家格式）
实际部署中发现，模型对倾斜车牌的识别能力直接影响用户体验。后来通过增加仿射变换的数据增强，使倾斜车牌识别率从82%提升到91%。另一个实用技巧是在CRNN输出层加入语言模型约束，能有效纠正"京B"误识为"京8"这类错误。