基于OpenCV和CNN的车牌检测研究

李宗阳 王剑雄 党 然 刘超超 李晨昊 施 陶 方 彬*

(1.河北建筑工程学院,河北 张家口 075000;2.衡水第三中学，河北 衡水 053000)

1 引 言

随着科技和经济的发展，很多传统行业和科技行业进行深度融合.在交通方面，“车联网”一直被人们推在风头的首位.其中实现“车联网”的关键技术就是本文要介绍的智能车牌检测技术.本次车牌识别算法，首先通过OpenCV对原始拍摄图像进行预处理，包括高斯模糊、图像灰化、图像二值化、膨胀腐蚀等.之后，把OpenCV处理过的图片放入过滤器中，统一切分为单个数字形态的图片.最后，把切分的单个小图片循环放入卷积神经网络(CNN)中进行智能识别，最后动态输出到界面上，实现对车牌的智能识别.

2 OpenCV图像预处理

原图像预处理阶段的核心操作为：原图像车牌位置锁定和图形信息增强处理.其中，我国车牌有很多固有特征，如车牌外围有明显边框，车牌第一个字符为汉字，第二个为大写英文字母等.根据这些明显的特征就比较容易定位出车牌的具体位置.因此，本文中所使用程序执行功能顺序为：先进行图片具体信息定位，再进行图片信息增强处理.

2.1 图片具体信息定位

其中，本文中定位车牌的方法是，原始汽车图片中肯定会包含很多的不规则和规则的边缘.关键判定是否为车牌区域的条件之一就是，是否包含大量的线性边缘.而且为了确保识别准确性，还需要判定线性边缘内部颜色是否为黄、蓝、绿.其中，图1为边缘提取后的图.

图1 边缘提取图

确定完成大体边缘框架之后，采用判断边缘内部颜色方法，来判断是否为车牌区域.利用颜色信息特征进行颜色定位，利用HSV颜色空间中车牌RGB颜色空间值对应的色域进行颜色定位.颜色值在200到280之间为蓝色.在30到80之间为黄色，在80到165之间为绿色.进行完成这两步之后就可以精确定位出图片中车牌的位置.如图2为自动提取出来的车牌图.

图2 自动提取出的车牌部分

2.2 图片信息增强处理

2.2.1 高斯模糊

高斯模糊，也称为高斯平滑，通常用于减少图像噪声和降低细节水平.从数学的角度来看，图像的高斯模糊过程是图像和正态分布的卷积.由于正态分布也被称为高斯分布，这种技术被称为高斯模糊.本实验的目的是利用高斯模糊来增强不同比例的图像效果.图3为高斯平滑后的作用效果图.

图3 高斯平滑去噪

2.2.2 灰度处理及自适应阀值处理

图片灰度处理是为了减少图像原始数据量，便于后续处理时计算量更少，因为在车牌图像处理中不需要对彩色图像的RGB三个分量都进行处理.

自适应阈值处理:对于光影变化较多的图像，或者色彩差异不太明显的图像，通过计算机确定并计算二次图像区域的平均阈值是一种迭代过程.两个技术处理完成后为图4.

图4 灰度处理和自适应阀值处理后的效果图

2.2.3 轮廓描述

经过上述的一系列处理之后的图片，对于计算机而言已经相对较为清晰了.接下来只要连通黑白交界位置，再根据车牌位置图片面积和宽高比，大致使用自适应描边工具进行处理即可得到大致车牌样貌，如图5.

图5 轮廓描边效果图

2.2.4 图像切分

本次实验中用到的切分方放为：基于投影的字符切分.在经过灰度化、去噪化和轮廓描述之后，将取轮廓后的车牌区域图做垂直方向的投影，基于投影相间隔的波峰和波谷进行垂直切割，如图6所示.

图6 车牌切割效果图

3 基于CNN的字符识别

卷积神经网络(Convolutional Neural Network，CNN)是一个包含卷积计算并且具有较复杂的拓扑结构的反馈型神经网络.它具有极强的学习能力并且能够根据它们的层次结构以可转置和恒定的方式对传入的信息进行分类，所以本次研究中首选CNN.CNN能否识别正确的关键在是否将隐藏层、卷积层和池化层的神经元中的权重训练好，准确成功的的前提是需要大量的训练集，为此本论文使用爬虫技术爬取网上大量图片，作为训练集，如图7所示.

图7 大量训练集

本次研究实验是在Linux(Ubuntu5.8.0)环境下使用tensorflow的keras框架进行搭建和运行，成功运行后如图8所示.

图8 成功识别效果图

4 总 结

本文通过结合CNN和OpenCV技术，进行了一系列操作，包括信息提取，高斯模糊，自动切分和智能识别等操作，实现了对现实中车辆图片的车牌智能识别.从实验结果分析，操作的准确率高、识别时间快.但是美中不足的是，由于下雪、下雨等原因造成了部分车牌被遮挡，形成了识别准确率低，对于此类问题还有待研究和改进，以后多找一些由于天气原因而形成的遮挡图片的训练集，加以训练研究，提高识别精度.