怀古游戏宅SIR1. 项目概述
这个车牌识别系统是我本科毕业设计的开源项目，基于OpenCV和卷积神经网络实现了一套完整的车牌检测与识别方案。在实际测试中，对国内蓝牌车辆的识别准确率能达到92%以上，处理单张图片耗时约300ms（i5-8250U CPU环境）。系统包含车牌定位、字符分割和字符识别三个核心模块，特别针对中文车牌的特点进行了优化。
提示：项目所有代码已在GitHub开源，文末会提供仓库地址。建议先通读全文了解实现原理后再动手实践。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心需求解析
2.1 车牌识别的基本流程
一个完整的车牌识别系统通常包含以下处理环节：
- 图像采集：通过摄像头或图片输入获取原始图像
- 预处理：灰度化、降噪、边缘增强等操作
- 车牌定位：从复杂背景中提取车牌区域
- 字符分割：将车牌上的字符单独分离
- 字符识别：识别每个字符的具体内容
- 结果输出：格式化识别结果（如"京A·12345"）
2.2 技术选型考量
经过对比测试，最终技术栈确定为：
- OpenCV 4.5：用于图像处理和传统视觉算法
- TensorFlow 2.4：构建深度学习模型
- Python 3.8：主要开发语言
选择依据：
- OpenCV在图像处理方面有成熟API和优化实现
- TensorFlow的Keras接口适合快速原型开发
- Python生态有丰富的计算机视觉库支持
3. 车牌定位实现
3.1 基于颜色和形状的初定位
国内车牌具有明显的蓝底白字特征，我们首先利用HSV色彩空间进行粗筛：
python复制import cv2
import numpy as np
def locate_plate(image):
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 蓝色范围阈值
lower_blue = np.array([100, 70, 70])
upper_blue = np.array([140, 255, 255])
mask = cv2.inRange(hsv, lower_blue, upper_blue)
# 形态学处理
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 3))
closed = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
# 查找轮廓
contours, _ = cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
candidates = []
for contour in contours:
rect = cv2.minAreaRect(contour)
w, h = rect[1]
ratio = max(w, h) / min(w, h)
if 2.5 < ratio < 5.5 and w * h > 2000: # 符合车牌长宽比和面积
candidates.append(rect)
return candidates
3.2 基于边缘特征的精确筛选
初定位后，进一步通过Sobel边缘检测和投影分析确认车牌区域：
- 对候选区域进行透视变换校正
- 计算垂直方向的边缘密度
- 分析水平投影的波峰波谷分布
- 综合评分选择最优候选框
注意：实际场景中要考虑光照变化的影响，建议加入自适应直方图均衡化(CLAHE)预处理。
4. 字符分割技术
4.1 二值化处理
采用局部自适应阈值法应对光照不均：
python复制def binarize(plate_img):
gray = cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY)
binary = cv2.adaptiveThreshold(
gray, 255,
cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
cv2.THRESH_BINARY_INV, 11, 2)
return binary
4.2 垂直投影分割
通过分析像素在水平方向的投影分布定位字符边界：
python复制def vertical_projection(binary):
h, w = binary.shape
# 计算垂直投影
v_proj = np.sum(binary, axis=0)
# 寻找波峰波谷
in_char = False
seg_points = []
for i in range(w):
if v_proj[i] > h * 0.1: # 进入字符区域
if not in_char:
seg_points.append(i)
in_char = True
else: # 离开字符区域
if in_char:
seg_points.append(i)
in_char = False
return seg_points
4.3 特殊处理：中文省份字符
中文字符通常比字母数字更宽，需要单独处理：
- 首个字符宽度阈值设为其他字符的1.5倍
- 对不满足条件的候选区进行合并或拆分
5. 字符识别模型
5.1 卷积神经网络设计
采用改进的LeNet-5架构：
code复制Model: "license_plate_recognition"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d (Conv2D) (None, 28, 28, 32) 320
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 14, 14, 32) 0
_________________________________________________________________
conv2d_1 (Conv2D) (None, 14, 14, 64) 18496
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 7, 7, 64) 0
_________________________________________________________________
flatten (Flatten) (None, 3136) 0
_________________________________________________________________
dense (Dense) (None, 128) 401536
_________________________________________________________________
dropout (Dropout) (None, 128) 0
_________________________________________________________________
dense_1 (Dense) (None, 65) 8385
=================================================================
Total params: 428,737
Trainable params: 428,737
Non-trainable params: 0
5.2 数据集准备
使用公开数据集和自制数据相结合：
- CCPD数据集：约30万张真实场景车牌
- 自制数据：通过程序生成+人工标注约5000张
- 数据增强：旋转(±15°)、缩放(±10%)、亮度调整(±30%)
5.3 模型训练技巧
- 使用Adam优化器，初始学习率0.001
- 添加Early Stopping防止过拟合
- 类别权重处理样本不均衡问题
- 混合精度训练加速过程
最终在测试集上达到98.7%的字符级准确率。
6. 系统集成与优化
6.1 处理流水线设计
python复制class LicensePlateRecognizer:
def __init__(self, model_path):
self.detector = PlateDetector()
self.recognizer = load_model(model_path)
def recognize(self, image):
plates = self.detector.detect(image)
results = []
for plate in plates:
chars = segment_chars(plate)
preds = self.recognizer.predict(chars)
results.append(''.join(decode_prediction(preds)))
return results
6.2 性能优化手段
- 多线程处理：将图像采集和识别放在不同线程
- ROI缓存：对连续视频帧只处理变化区域
- 模型量化：将FP32模型转为INT8提升推理速度
- OpenCV DNN模块：使用OpenCV的深度学习加速接口
7. 常见问题与解决方案
7.1 车牌定位失败
可能原因：
- 极端光照条件
- 车牌污损
- 特殊角度拍摄
解决方案：
- 尝试不同的色彩空间（YCrCb/LAB）
- 加入边缘密度验证
- 使用深度学习检测器作为备选方案
7.2 字符识别错误
典型错误模式：
- 数字"0"与字母"O"混淆
- 省份简称识别错误
- 相似字符误判（如"8"与"B"）
改进方法：
- 增加混淆字符的特例处理
- 引入语言模型进行后处理
- 使用更大的训练数据集
8. 项目扩展方向
- 多车牌检测：改进算法支持单张图片中的多个车牌
- 车型联动识别：结合车辆特征提升准确率
- 移动端部署：使用TensorFlow Lite在Android/iOS运行
- 实时视频处理：优化为流式处理架构
项目完整代码已开源在GitHub：[github-username]/license-plate-recognition（此处应为实际仓库地址）。系统对标准蓝牌效果较好，但对新能源车牌和黄牌的支持还需要进一步完善，欢迎提交PR共同改进。