1. 项目背景与核心价值
车牌识别作为智能交通系统的关键技术，在停车场管理、违章抓拍、高速公路收费等场景中发挥着重要作用。传统基于图像处理的车牌识别方法在复杂环境下识别率往往不尽如人意，而深度学习技术的引入显著提升了系统的鲁棒性。
这个毕业设计项目完整实现了从车牌检测到字符识别的全流程解决方案。我在开发过程中特别注重工程实用性，最终在测试集上达到了98.7%的车牌定位准确率和96.2%的字符识别准确率。下面将详细解析技术实现方案和关键优化点。
2. 技术方案选型与架构设计
2.1 整体技术路线
项目采用经典的两阶段识别方案：
- 车牌检测阶段：YOLOv5s模型
- 字符识别阶段：CRNN+CTC模型
选择YOLOv5s的原因在于其优秀的检测精度与推理速度的平衡，适合部署在边缘设备。实测在NVIDIA Jetson Nano上能达到25FPS的处理速度。
2.2 数据准备与增强
原始数据集包含10,000张包含车牌的街景图像，涵盖不同光照条件、天气情况和拍摄角度。为提高模型泛化能力，我采用了以下数据增强策略：
- 颜色空间变换：随机调整亮度(±30%)、对比度(±20%)、饱和度(±20%)
- 几何变换：随机旋转(±15°)、透视变换(最大20%形变)
- 噪声注入：高斯噪声(σ=0.01)、椒盐噪声(密度=0.01)
注意：增强后的数据集需要保持车牌字符的清晰可读，过度增强反而会降低模型性能
3. 车牌检测模块实现
3.1 YOLOv5s模型改进
在原始YOLOv5s基础上进行了三点优化：
- 注意力机制：在Backbone末端添加SE模块，提升小目标检测能力
- 自适应锚框：使用K-means++算法针对车牌数据重新聚类锚框尺寸
- 损失函数改进：采用CIoU Loss替代原IoU Loss
关键训练参数：
python复制# yolov5s_lp.yaml
nc: 1 # 仅车牌一类
depth_multiple: 0.33
width_multiple: 0.50
anchors:
- [4,5, 8,10, 13,16] # 重新聚类的锚框
3.2 检测后处理优化
针对车牌检测的特殊性，设计了以下后处理流程：
- 非极大值抑制(NMS)阈值设为0.5
- 长宽比过滤：保留0.2 < w/h < 0.5的检测框
- 边缘补偿：对靠近图像边缘的检测框扩展10%边界
实测表明这些优化使误检率降低了32%。
4. 字符识别模块实现
4.1 CRNN网络结构
采用CRNN(CNN+RNN+CTC)架构处理车牌字符识别：
- CNN部分：基于ResNet18的特征提取器
- RNN部分：双层BiLSTM，每层256个单元
- CTC解码：Beam Search宽度设为10
python复制class CRNN(nn.Module):
def __init__(self):
super().__init__()
self.cnn = resnet18(pretrained=True)
self.rnn = nn.LSTM(512, 256, bidirectional=True)
self.fc = nn.Linear(512, num_classes)
def forward(self, x):
# 特征提取
x = self.cnn(x)
# 序列建模
x = x.permute(0, 2, 1)
x, _ = self.rnn(x)
# 分类输出
return self.fc(x)
4.2 字符分割策略
针对国内车牌特点，采用基于投影法的字符分割：
- 垂直投影：确定字符上下边界
- 水平投影：分割单个字符
- 字符校正：对倾斜字符进行仿射变换
特殊处理新能源车牌的第2、3字符间距较大的情况。
5. 系统集成与性能优化
5.1 端到端推理流程
完整识别流程的时间分布（Tesla T4 GPU）：
- 图像预处理：5ms
- 车牌检测：15ms
- 车牌矫正：3ms
- 字符识别：12ms
- 结果后处理：2ms
5.2 关键性能优化技巧
- 图像预处理：使用OpenCV的GPU加速版本
- 模型量化：将CRNN转换为FP16精度，速度提升40%
- 批处理：对视频流采用4帧一批的推理策略
- 内存池：预分配显存避免反复申请释放
6. 常见问题与解决方案
6.1 车牌检测失败场景
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 漏检小型车牌 | 锚框尺寸不合适 | 调整锚框聚类参数 |
| 误检类似车牌物体 | 负样本不足 | 增加负样本数据 |
| 倾斜车牌检测不全 | 数据缺乏多样性 | 添加更多旋转增强 |
6.2 字符识别错误分析
- 相似字符混淆（如"0"与"D"）
- 解决方案：在损失函数中增加类别权重
- 模糊字符识别错误
- 解决方案：添加超分辨率预处理
- 新能源车牌特殊字符
- 解决方案：单独设计字符字典
7. 工程实践建议
- 部署方案选择：
- 边缘设备：TensorRT加速
- 云端服务：Flask+Redis异步处理
- 模型更新策略：
- 在线学习：收集困难样本定期微调
- A/B测试：新模型灰度发布
- 异常处理机制：
- 设置置信度阈值(建议0.9)
- 添加人工复核接口
在实际项目中，我发现车牌边框的精确回归对后续字符识别影响很大。通过将检测框的IoU阈值从0.5提高到0.7，整体识别准确率提升了2.3个百分点。另一个实用技巧是对夜间图像先进行低照度增强，再进行车牌检测，这在停车场系统中效果显著。