阅读说明：本技术 一种基于yolo模型的车牌定位和识别方法 (License plate positioning and identifying method based on YOLO model ) 是由 金仙力 汤若聪 刘林峰 于 2019-09-11 设计创作，主要内容包括：本发明公开了一种基于深度学习的车牌定位和识别方法。采用改进的YOLO(You Only look Once)算法与图像的超分辨率技术进行了优化,分别训练一个改进的YOLO卷积神经网络和一个卷积增强的SRCNN(Super Resolution)卷积神经网络。首先采用改进的深度学习YOLO算法进行车牌区域的定位,再利用校正探测器进行检测边框的校正,解决了现有车牌定位方法在某些特定场景下无法正确定位的问题,然后利用增强的卷积神经网络SRCNN模型对车牌区域的图像进行超分辨率技术的处理,使之得到分辨率和辨析率更高的照片,接着利用神经网络进行光学字符识别。本发明在YOLO卷积神经网络的训练时,采用maxout激活函数替代原模型的激活函数,增强了拟合能力,同时通过调整阀值来改进非极大值抑制,能够有效地加快边界框的筛选速度。在训练SRCNN卷积神经网络时,增加卷积核的大小和卷积层的数量,能够有效地提升图像处理的效果,因此本方法兼顾了实时性与准确率的要求。(The invention discloses a license plate positioning and identifying method based on deep learning. An improved YOLO (you Only look one) algorithm and an image super-resolution technology are adopted for optimization, and an improved YOLO convolutional neural network and a convolution enhanced SRCNN (super resolution) convolutional neural network are respectively trained. The method comprises the steps of firstly, positioning a license plate region by adopting an improved deep learning YOLO algorithm, then, correcting a detection frame by using a correction detector, solving the problem that the existing license plate positioning method cannot be correctly positioned in certain specific scenes, then, carrying out super-resolution technology processing on an image of the license plate region by using an enhanced convolutional neural network SRCNN model to obtain a picture with higher resolution and resolution ratio, and then, carrying out optical character recognition by using a neural network. In the training of the YOLO convolutional neural network, the maxout activation function is adopted to replace the activation function of the original model, the fitting capability is enhanced, the non-maximum value inhibition is improved by adjusting the threshold value, and the screening speed of the bounding box can be effectively accelerated. When the SRCNN convolutional neural network is trained, the size of a convolutional kernel and the number of convolutional layers are increased, and the image processing effect can be effectively improved, so that the method meets the requirements of real-time performance and accuracy.)

一种基于YOLO模型的车牌定位和识别方法

技术领域

本发明属于人工智能与计算机视觉识别技术领域，尤其涉及一种深度神经网络相关的自动检测和识别方法。

技术背景

随着经济的快速发展，城市大规模的扩建，交通成为当代社会不可或缺的一个环节。人们逐日增长的出行需求就促使了交通管理的模式发生改变。早期提出的智能交通系统可以有效的缓解不平衡的矛盾，车牌识别技术是指从车牌的图形数据中自动的提取车辆牌照信息，并且进行信息识别。车牌识别技术是智能交通系统的重要组成部分之一，在被盗车辆追踪、交通监控、限速执法以及自动停车等方面发挥着重要作用。

通常车牌识别系统主要包括车牌区域检测和车牌字符识别，而外界环境因素的复杂性给检测带来了一个至关重要的问题，即对于车牌定位，基于特征提取的方法无法准确定位受到光照影响、分辨率低和不清晰的图片，存在错误定位车牌的问题，而基于灰度特征的方法需要大量的计算时间。同时，对于字符识别，由于车牌受到光照，车牌角度变化以及车牌上灰尘覆盖等因素的影响，准确地检测车牌中的每一个字符也是一个技术难题。目前针对车牌字符识别的方法有很多，例如基于模板匹配的方法、基于支持向量机方法等，但现有方法都有各自的优势和局限性。

神经网络方法因其具有良好的学习能力、容错能力和强大的分类能力，同时当前计算能力的极大提高也允许我们计算更多的数据，根据车牌的特征(颜色、面积、中心点等)选取合适的网络模型进行训练，本发明的主要目的是通过网络层数或参数的调整来减少外界环境带来的干扰，以及增加模型的鲁棒性和准确率。

本发明要解决的问题是针对现有的基于车牌字符分割的车牌识别方法，在阴暗、倾斜等特定的自然场景下存在无法定位车牌的情况，或者对于模糊车牌无法正确分割、影响车牌字符识别效果的问题，提出的一种基于YOLO(You Only look Once)模型的车牌定位和识别方法。具体包含如下步骤：

S1：采用改进的深度学习YOLO算法进行车牌区域的定位；

S2：利用校正探测器进行检测边框的校正；

S3：利用增强的卷积神经网络SRCNN模型对车牌区域的图像进行超分辨率技术的处理；

S4：利用神经网络进行光学字符识别；

进一步，上述步骤S1具体包含如下步骤：

A.构建YOLO卷积神经网络并进项相应的网络参数设定，模型由24个卷积层和2个全连接层构成。对于检测任务，将其安排在预处理中前20个卷积层去实现，之后添加4个卷积层，然后是2个全连接层；

B.使用maxout激活函数代替leaky激活函数，并将所有预测值进行归一化操作；

C.进行权值初始化，一方面共享卷积层的权值使用Imagenet分类训练模型进行初始化，而其他的层使用零均值高斯分布进行初始化；

D.调整阀值来改进非极大值抑制，从而加快边界框的筛选速度；

E.训练卷积神经网络，训练时设置不同的loss的权值，通过卷积层来提取特征，然后输入全连接层进行最后的预测，YOLO会选择每个单元网格预测的边界框中置信度最大的一个，对其进行回归；

进一步，上述步骤S2具体包含如下步骤：

A.根据检测阀值的比较，构建将虚构矩形变换为倾斜车牌区域的仿射矩阵；

B.进行图像的仿射变换；

进一步，上述步骤S3具体包含如下步骤：

A.构建SRCNN卷积神经网络并进项相应的网络参数设定，所述的卷积增强的SRCNN卷积神将网络由由6个卷积层构成；

B.对SRCNN卷积神经网络进行初始化，对于网络中的带训练参数使用不同的小随机数进行初始化；

C.训练卷机神经网络；

进一步，上述步骤S4具体包含如下步骤：

A.对车牌区域进项字符分割，将其分割成单独的字体块；

B.进行字符识别；

本发明的有益效果在于：

1.本发明考虑的自然环境因素对于车牌定位的因素下，利用图像相关技术使得定位效果更加精准，有利于后续工作。

2.调整相应的阀值加速检测的速度，实时性有所提升

3.加入了图像的超分辨率处理技术，提高图片的分辨率和辨析率，更有利于之后的字符识别工作，准确性有所提升。

附图说明

图1是本发明所述车牌定位和识别方法整个流程图

图2是本发明所述车牌检测过程示意图

图3是本发明所述增强的SRCNN神经网络的示意图

具体实施方法

下面结合附图对本发明作进一步说明：

本发明具体步骤如下：

步骤一：如图1所示，首先进行车牌区域的检测。制作数据集，并使用LabelImg软件进行标注，对车牌区域进行人工标注，将其以VOC数据格式进行处理，保存有关车牌区域的坐标值，最终形成相应的xml文件和txt文件保存。(其中xml文件存储车牌的坐标值)

步骤二：对YOLO网络进行相应的参数调整，其中包括Makefile文件的设置、pascal数据的cfg文件、data目录下的标签名等。对于网络训练参数进行设定，设置训练迭代次数为50000次，学习率策略选择“steps”方式，权重衰减为0.0005，batch设置为64。

步骤三：训练YOLO网络。在YOLO算法中，从接收端获取到图像时，将图片分为很多个网格，每个网格产生n个边界框用来回归，每个边界框有4个坐标值和1个置信度(共5个参数)，同时还有若干类别参数，可以通过置信度和类别概率共同进行检测。本实例中的YOLO模型由24个卷积层和2个全连接层构成。对于检测任务，我们将其安排在预处理中前20个卷积层去实现，之后添加4个卷积层，然后是2个全连接层。为了使得结果更加精准，需要提高输入图像的分辨率，分辨率从224*224变为448*448。最后，使用maxout激活函数代替leaky激活函数，并将所有预测值进行归一化操作。

步骤四：使用校正探测器对检测输出的候选框进行校正。本发明引入了空间转换网络，该网络核心在于加入了图像的仿射变换。对于倾斜的车牌，首先考虑一个围绕单元格中心的固定大小的虚构平方(m,n)，如果该单元的对象概率高于给定的检测阈值，则使用部分回归参数来构建将虚构矩形变换为倾斜车牌区域的仿射矩阵。这样经过仿射变换矩阵，将可以获得更加精准的边界框。

步骤五：在得到完整的车牌区域后，对图像进行超分辨率技术的处理。使用一种增强的SRCNN网络来实现图片分辨率的提升，更有利于字符识别过程。如图3所示，增强的SRCNN网络由6个卷积层构成，将它们依次串联在一起。在第3至第5层连续使用不同大小的卷积核进行特征的提取，以及使用1*1的卷积层实现非线性的多个映射。第6层使用5*5*1卷积核，对映射后的特征进行重建，生成高分辨率图像。这种卷积增强的SRCNN卷积神经网络参数如表1所示：

表1：卷积增强的SRCNN卷积神经网络参数

步骤六：对车牌区域进项字符分割与字符识别，首先对图像进行灰度化、二值化、取轮廓、找外接矩形和截取图块这一系列操作后，实现了将字符分割的目的，之后再将其输入训练好的ANN(Artificial neural networks)神经网络进行字符识别。