1. 项目背景与核心价值
车牌识别系统作为智能交通领域的基础组件，已经广泛应用于ETC收费站、停车场管理、违章抓拍等场景。传统方案依赖固定摄像头的标准化拍摄环境，而基于机器视觉的解决方案则能适应更复杂的真实路况。这个毕设项目正是要解决动态场景下的车牌定位、字符分割与识别问题。
我去年指导过两个类似课题的学生，发现最大的挑战在于处理倾斜、模糊、光照不均的车辆图像。比如傍晚逆光环境下，普通算法识别率会从95%暴跌至60%以下。通过引入深度学习框架，我们最终将复杂场景的识别准确率稳定在了88%以上。
2. 技术方案设计
2.1 系统架构设计
整个系统采用经典的"检测-定位-识别"三级流水线：
- 车辆检测模块：YOLOv5s轻量模型实时定位图像中的车辆
- 车牌定位模块：改进的MSER算法提取候选区域
- 字符识别模块：CRNN网络处理分割后的字符图像
关键选择：放弃传统OpenCV方案而采用深度学习组合，实测在1080P分辨率下，处理速度仍能达到15FPS（GTX1060显卡）
2.2 核心算法优化
针对学生毕设常见的算力限制问题，我们做了以下优化：
- 车牌定位阶段：将颜色空间转换从RGB-HSV改为YCrCb，减少30%计算量
- 字符分割时：采用投影法结合连通域分析，避免昂贵的形态学运算
- 识别网络：使用MobileNetV3作为CRNN的CNN backbone
python复制# 示例：改进的MSER区域检测
def enhanced_mser(img):
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
mser = cv2.MSER_create(_delta=5, _min_area=200)
regions, _ = mser.detectRegions(gray)
return [cv2.boundingRect(r) for r in regions]
3. 关键实现细节
3.1 数据准备与增强
建议使用以下公开数据集组合：
- CCPD（中国车牌）：包含30万张真实场景样本
- AOLP（台湾车牌）：提供多种光照条件数据
- 自采集数据：用手机拍摄100张不同角度的本地车牌
数据增强策略：
- 模拟运动模糊：kernel_size随机取3-7
- 颜色扰动：在HSV空间随机调整V通道（±20%）
- 透视变换：最大倾斜角度控制在15度以内
3.2 模型训练技巧
-
车牌检测模型：
- 输入尺寸：640x640
- 初始学习率：0.01（Cosine退火）
- 关键参数：置信度阈值设为0.6，IOU阈值0.5
-
CRNN识别网络：
- LSTM隐藏层：128单元
- CTC损失函数：blank类别权重设为0.8
- 测试时采用beam search（width=3）
4. 典型问题与解决方案
4.1 车牌定位失败场景
| 问题现象 | 原因分析 | 解决方案 |
|---|---|---|
| 误检金属边框 | 纹理特征相似 | 增加长宽比约束（中国车牌3:1） |
| 漏检蓝色车牌 | 颜色通道干扰 | 改用YCrCb空间的Cb通道分析 |
| 倾斜车牌丢失 | 旋转角度过大 | 改进MSER的delta参数为动态调整 |
4.2 字符识别错误处理
实测中发现三类典型错误：
- 相似字符混淆（如"川"与"州"）
- 对策：在CRNN后增加规则引擎校验
- 污损字符误判
- 对策：引入注意力机制增强特征提取
- 新能源车牌识别率低
- 对策：单独训练专用识别头
5. 性能优化方案
5.1 速度优化技巧
- 图像预处理：先缩放到800宽度再处理
- 模型量化：FP32转INT8带来3倍加速
- 流水线并行：检测与识别分线程运行
5.2 准确率提升方法
- 难例挖掘：重点训练识别错误的样本
- 多模型融合：投票法整合3个CRNN输出
- 后处理规则：校验省份缩写与车牌编号规则
6. 扩展应用方向
完成基础功能后，可以考虑：
- 视频流实时处理：结合OpenCV的VideoCapture
- 多车牌同帧识别：改进YOLOv5的检测头
- 移动端部署：转换为TFLite格式
- 无牌车检测：增加负样本训练
我在实际测试中发现，系统在树莓派4B上也能达到3FPS的识别速度（量化后的INT8模型）。如果改用Jetson Nano，性能可以提升到8-10FPS，完全能满足停车场等场景的实时性要求。