阅读说明：本技术 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备 (License plate calibration and identification method and system based on convolutional neural network and electronic equipment ) 是由 林初赢 林初煌 于 2020-06-22 设计创作，主要内容包括：本发明公开了一种基于卷积神经网络的车牌校准识别方法、系统及电子设备,包括获取车辆轮廓信息；获取某个车辆的多帧图像,对多帧图像的车牌号进行识别；将相邻帧的车牌号识别结果进行比对,得到多个车牌一致性结果；对多个一致性结果进行检验,确定某个车辆的车牌信息。遇到车辆很快的情况,能够对图像进行清晰化选取,从而得到最优的图像来识别出正确的车牌号,另外,如果连续图像当中的车牌被识别出不同的结果,结合卷积神经网络对车辆的轮廓信息进行联网查询,可以有效避免车牌识别出错。(The invention discloses a license plate calibration identification method, a license plate calibration identification system and electronic equipment based on a convolutional neural network, wherein the license plate calibration identification method comprises the steps of obtaining vehicle contour information; acquiring a multi-frame image of a certain vehicle, and identifying the license plate number of the multi-frame image; comparing license plate number recognition results of adjacent frames to obtain a plurality of license plate consistency results; and (4) checking a plurality of consistency results to determine the license plate information of a certain vehicle. When the vehicle is in a fast condition, the image can be selected clearly, so that the optimal image is obtained to identify the correct license plate number, and in addition, if different results are identified from the license plates in the continuous images, the convolutional neural network is combined to perform networking query on the outline information of the vehicle, so that the license plate identification error can be effectively avoided.)

一种基于卷积神经网络的车牌校准识别方法、系统及电子 设备

技术领域

本发明涉及车牌识别技术领域，具体为一种基于卷积神经网络的车牌 校准识别方法、系统及电子设备。

背景技术

车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别 出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识 别车辆牌号、颜色等信息。

在停车场管理中，车牌识别技术也是识别车辆身份的主要手段。

车牌识别技术结合电子不停车收费系统(ETC)识别车辆，过往车辆通 过道口时无须停车，即能够实现车辆身份自动识别、自动收费。在车场管 理中，为提高出入口车辆通行效率，车牌识别针对无需收停车费的车辆(如 月卡车、内部免费通行车辆)，建设无人值守的快速通道，免取卡、不停车 的出入体验，正改变出入停车场的管理模式。

由于汽车的行驶速度不一致，在对不同车辆进行车牌识别的过程中， 遇到车辆很快的情况，往往会造成图像获取模糊，从而无法识别出正确的 车牌号，另外，如果连续图像当中的车牌被识别出不同的结果，现有的技 术也无法进行判断。

发明内容

针对以上问题，本发明提供了一种基于卷积神经网络的车牌校准识别 方法、系统，遇到车辆很快的情况，能够对图像进行清晰化选取，从而得 到最优的图像来识别出正确的车牌号，另外，如果连续图像当中的车牌被 识别出不同的结果，结合卷积神经网络对车辆的轮廓信息进行联网查询， 可以有效避免车牌识别出错，可以有效解决背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种基于卷积神经网络 的车牌校准识别方法，应用于电子设备，包括

获取车辆轮廓信息；

获取某个车辆的多帧图像，对多帧图像的车牌号进行识别；

将相邻帧的车牌号识别结果进行比对，得到多个车牌一致性结果；

对多个一致性结果进行检验，确定某个车辆的车牌信息。

作为本发明一种优选的技术方案，所述获取车辆轮廓信息，其中，轮 廓信息包括

采用CNN网络对车辆图像进行处理，得到不同车辆的颜色、车辆大小 和车辆类型信息。

作为本发明一种优选的技术方案，所述获取某个车辆的多帧图像的方 法包括

对需要观测的车辆图像进行提取，将车辆的图像进行连续帧的提取， 并以时间为顺序对车辆图像进行多帧排序。

作为本发明一种优选的技术方案，所述对多帧图像的车牌号进行识别 的过程包括：

基于时间先后，设定清晰阈值，将不满足要求的图像剔除，对满足要 求的图像当中车牌进行识别；其中清晰阈值可以根据人眼适应性调节；选 择好清晰阈值时，首次自动设置，依据人工调节清晰阈值可变化；

利用卷积神经网络对满足要求的图像当中的车牌进行获取，得到多个 满足要求的车牌号识别结果；

对多个满足要求的车牌号识别结果是否存在一致性进行检验，若不满 足要求，则对任意相似度最大的识别车牌号进行两两配对，定义为相邻帧；

若满足要求，则选择时间靠近的两帧图像为相邻帧。

作为本发明一种优选的技术方案，所述将相邻帧的车牌号识别结果进 行比对，得到多个车牌一致性结果的方法包括：

对相邻帧图像的车牌号各自进行识别，若相邻帧车牌号结果不一致， 识别出不一致处，并输出各自结果；

将不一致处的符号定义为特殊符号，并打上标记，输入到联网信息当 中；

在联网信息中将除特殊符号的其他相同符号进行查询，结合轮廓信息 确定最终的车牌号信息，得到车牌一致性结果。

一种基于卷积神经网络的车牌校准识别系统，应用于电子设备，包括 车辆定位模块，对需要识别车牌的车辆进行定位，获取清晰的轮廓；

轮廓确定模块，获取车辆轮廓信息；

图像获取模块和车牌识别模块，获取某个车辆的多帧图像，对多帧图 像的车牌号进行识别；

结果比对模块，将相邻帧的车牌号识别结果进行比对，得到多个车牌 一致性结果；

结果确定模块，对多个一致性结果进行检验，确定某个车辆的车牌信 息。

作为本发明一种优选的技术方案，所述轮廓确定模块获取车辆轮廓信 息，其中，轮廓信息包括

采用CNN网络对车辆图像进行处理，得到不同车辆的颜色、车辆大小 和车辆类型信息。

作为本发明一种优选的技术方案，所述图像获取模块获取某个车辆的 多帧图像的方法包括

对需要观测的车辆图像进行提取，将车辆的图像进行连续帧的提取， 并以时间为顺序对车辆图像进行多帧排序。

作为本发明一种优选的技术方案，所述车牌识别模块对所述对多帧图 像的车牌号进行识别的过程包括：

基于时间先后，设定清晰阈值，将不满足要求的图像剔除，对满足要 求的图像当中车牌进行识别；其中清晰阈值可以根据人眼适应性调节；选 择好清晰阈值时，首次自动设置，依据人工调节清晰阈值可变化；

利用卷积神经网络对满足要求的图像当中的车牌进行获取，得到多个 满足要求的车牌号识别结果；

所述结果对比模块对所述多个满足要求的车牌号识别结果是否存在一 致性进行检验，若不满足要求，则对任意相似度最大的识别车牌号进行两 两配对，定义为相邻帧；

若满足要求，则选择时间靠近的两帧图像为相邻帧；

所述将相邻帧的车牌号识别结果进行比对，得到多个车牌一致性结果 的方法包括：

对所述相邻帧图像的车牌号各自进行识别，若相邻帧车牌号结果不一 致，识别出不一致处，并输出各自结果；

将不一致处的符号定义为特殊符号，并打上标记，输入到联网信息当 中；

所述结果确定模块在联网信息中将除特殊符号的其他相同符号进行查 询，结合轮廓信息确定最终的车牌号信息，得到车牌一致性结果。

一种电子设备，包括如上任一所述的一种基于卷积神经网络的车牌校 准识别系统。

与现有技术相比，本发明的有益效果是：

将相邻帧的车牌号识别结果进行比对，对相邻帧图像的车牌号各自进 行识别，若相邻帧车牌号结果不一致，识别出不一致处，并输出各自结果； 将不一致处的符号定义为特殊符号，并打上标记，输入到联网信息当中； 在联网信息中将除特殊符号的其他相同符号进行查询，例如，有一个相邻 帧图像识别结果分别为12345678和12346578，那么前面1234和后两位78 是一致的，那么这组数据可以表示为1234**78，并将1234**78输入到联网信息中进行查看，结合一开始识别该车辆的轮廓信息确定最终的车牌号信 息，得到车牌一致性结果。遇到车辆很快的情况，能够对图像进行清晰化 选取，从而得到最优的图像来识别出正确的车牌号，另外，如果连续图像 当中的车牌被识别出不同的结果，结合卷积神经网络对车辆的轮廓信息进 行联网查询，可以有效避免车牌识别出错。

附图说明

图1为本发明方法流程示意图；

图2为本发明方法对多帧图像的车牌号进行识别流程示意图；

图3为本发明方法得到多个车牌一致性结果流程示意图；

图4为本发明系统总模块示意图；

图5为本发明车轮轮廓识别示意图；

图6为本发明卷积流程示意图；

图7为本发明CNN网络识别数字示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的 范围。

实施例：

请参阅图1至图7，本发明提供一种技术方案：一种基于卷积神经网络 的车牌校准识别方法，应用于电子设备，包括

获取车辆轮廓信息；

获取某个车辆的多帧图像，对多帧图像的车牌号进行识别；

将相邻帧的车牌号识别结果进行比对，得到多个车牌一致性结果；

对多个一致性结果进行检验，确定某个车辆的车牌信息。

优选的，所述获取车辆轮廓信息，其中，轮廓信息包括

采用CNN网络对车辆图像进行处理，得到不同车辆的颜色、车辆大小 和车辆类型信息。

优选的，所述获取某个车辆的多帧图像的方法包括

对需要观测的车辆图像进行提取，将车辆的图像进行连续帧的提取， 并以时间为顺序对车辆图像进行多帧排序。

优选的，所述对多帧图像的车牌号进行识别的过程包括：

基于时间先后，设定清晰阈值，将不满足要求的图像剔除，对满足要 求的图像当中车牌进行识别；其中清晰阈值可以根据人眼适应性调节；选 择好清晰阈值时，首次自动设置，依据人工调节清晰阈值可变化；

利用卷积神经网络对满足要求的图像当中的车牌进行获取，得到多个 满足要求的车牌号识别结果；

对多个满足要求的车牌号识别结果是否存在一致性进行检验，若不满 足要求，则对任意相似度最大的识别车牌号进行两两配对，定义为相邻帧；

若满足要求，则选择时间靠近的两帧图像为相邻帧。

优选的，所述将相邻帧的车牌号识别结果进行比对，得到多个车牌一 致性结果的方法包括：

对相邻帧图像的车牌号各自进行识别，若相邻帧车牌号结果不一致， 识别出不一致处，并输出各自结果；

将不一致处的符号定义为特殊符号，并打上标记，输入到联网信息当 中；

在联网信息中将除特殊符号的其他相同符号进行查询，结合轮廓信息 确定最终的车牌号信息，得到车牌一致性结果。

其中，针对车辆的轮廓信息和车牌号信息的识别过程均是采用卷积神 经网络进行训练得到，

卷积神经网络也就是CNN网络，将获取所述将处理的图像信息与训练 好的图像数据进行比对的比对结果，对车轮的轮廓与车轮车牌进行识别输 出结果，与其它神经网络算法类似，由于使用梯度下降进行学习，卷积神 经网络的输入特征需要进行标准化处理。具体地，在将学习数据输入卷积 神经网络前，需在通道或时间/频率维对输入数据进行归一化，若输入数据 为像素，也可将分布于[0，255]的原始像素值归一化至[0，1]区间，对获取的图 像获取后，采用多层网络进行监督学习，判断其分类结果于预设值的差异，

卷积核在工作时，会有规律地扫过输入特征，输入特征，对输入特征 做矩阵元素乘法求和并叠加偏差量：

式中的求和部分等价于求解一次交叉相关(cross-correlation)。b为 偏差量，Z^I和Z^I+1表第l+1层的卷积输入和输出，也被称为特征图(feature map)，L_I+1为Z_I+1的尺寸，这里假设特征图长宽相同。z(i，j)对应特征图的像 素，K为特征图的通道数，f、s₀和p是卷积层参数，应卷积核大小、卷积步 长(stride)和填充(padding)层数；

以轮廓为例，如图5所示CNN算法将车辆的图像输入至网络当中，采 用卷积的方式对车辆的边缘图像进行获取和识别，判断车辆的轮廓信息， 其中包括车辆的颜色、大小和与车辆对应的型号，比如可以识别出一辆车 是小车，颜色是红色，小轿车类型；一辆车是大车，白色，是卡车类型； 一辆车是中等大小车、灰色、面包车类型。

第一次卷积可以提取出低层次的特征。

第二次卷积可以提取出中层次的特征。

第三次卷积可以提取出高层次的特征。

特征是不断进行提取和压缩的，最终能得到比较高层次特征，简言之 就是对原式特征一步又一步的浓缩，最终得到的特征更可靠。利用最后一 层特征可以做各种任务：比如分类、回归等。

对车牌号的识别，如图7所示，类似识别一个3的数字，比如一个6x6 的图片被一个3x3的滤波器(可以看成一个窗口)卷积为例，3x3的滤波器 先和6x6的图片最左上角的3x3矩阵卷积得到结果后，再向右移一步继续 卷积(窗口滑动)，直到将整个图片过滤完成，输出一个4x4的矩阵，增加 滤波器的个数就能增加输出层图片的深度，同时滤波器的个数也决定了输 出层图片的深度(两者相等)

卷积流程如图6，左区域的三个大矩阵是原式图像的输入，RGB三个通 道用三个矩阵表示，大小为7*7*3。

Filter W0表示1个filter助手，尺寸为3*3，深度为3(三个矩阵)； Filter W1也表示1个filter助手。因为卷积中我们用了2个filter，因 此该卷积层结果的输出深度为2(绿色矩阵有2个)。

Bias b0是Filter W0的偏置项，Bias b1是Filter W1的偏置项。

OutPut是卷积后的输出，尺寸为3*3，深度为2。

输入是固定的，filter是指定的，因此计算就是如何得到绿色矩阵。 第一步，在输入矩阵上有一个和filter相同尺寸的滑窗，然后输入矩阵的 在滑窗里的部分与filter矩阵对应位置相乘：将3个矩阵产生的结果求和， 并加上偏置项，即0+2+0+1＝3，因此就得到了输出矩阵的左上角的3；

滑动的步长叫stride记为S。S越小，提取的特征越多，但是S一般 不取1，主要考虑时间效率的问题。S也不能太大，否则会漏掉图像上的信 息。本申请当中S取值为2。由于filter的边长大于S，会造成每次移动 滑窗后有交集部分，交集部分意味着多次提取特征，尤其表现在图像的中 间区域提取次数较多，边缘部分提取次数较少，我们采取在图像***加一 圈0。

在卷积神经网络中，有一个非常重要的特性：权值共享。

所谓的权值共享就是说，给一张输入图片，用一个filter去扫这张图， filter里面的数就叫权重，这张图每个位置是被同样的filter扫的，所以 权重是一样的，也就是共享。池化就是对特征图进行特征压缩，池化也叫 做下采样。选择原来某个区域的max或mean代替那个区域，整体就浓缩了。

从而得到各个不同帧图像的车牌信息。

一种基于卷积神经网络的车牌校准识别系统，应用于电子设备，包括 车辆定位模块，对需要识别车牌的车辆进行定位，获取清晰的轮廓；

轮廓确定模块，获取车辆轮廓信息；

图像获取模块和车牌识别模块，获取某个车辆的多帧图像，对多帧图 像的车牌号进行识别；

结果比对模块，将相邻帧的车牌号识别结果进行比对，得到多个车牌 一致性结果；

结果确定模块，对多个一致性结果进行检验，确定某个车辆的车牌信 息。

优选的，所述轮廓确定模块获取车辆轮廓信息，其中，轮廓信息包括

采用CNN网络对车辆图像进行处理，得到不同车辆的颜色、车辆大小 和车辆类型信息。

优选的，所述图像获取模块获取某个车辆的多帧图像的方法包括

对需要观测的车辆图像进行提取，将车辆的图像进行连续帧的提取， 并以时间为顺序对车辆图像进行多帧排序。

优选的，所述车牌识别模块对所述对多帧图像的车牌号进行识别的过 程包括：

基于时间先后，设定清晰阈值，将不满足要求的图像剔除，对满足要 求的图像当中车牌进行识别；其中清晰阈值可以根据人眼适应性调节；选 择好清晰阈值时，首次自动设置，依据人工调节清晰阈值可变化；

利用卷积神经网络对满足要求的图像当中的车牌进行获取，得到多个 满足要求的车牌号识别结果；

所述结果对比模块对所述多个满足要求的车牌号识别结果是否存在一 致性进行检验，若不满足要求，则对任意相似度最大的识别车牌号进行两 两配对，定义为相邻帧；

若满足要求，则选择时间靠近的两帧图像为相邻帧；

所述将相邻帧的车牌号识别结果进行比对，得到多个车牌一致性结果 的方法包括：

对所述相邻帧图像的车牌号各自进行识别，若相邻帧车牌号结果不一 致，识别出不一致处，并输出各自结果；

将不一致处的符号定义为特殊符号，并打上标记，输入到联网信息当 中；

所述结果确定模块在联网信息中将除特殊符号的其他相同符号进行查 询，结合轮廓信息确定最终的车牌号信息，得到车牌一致性结果。

一种电子设备，包括如上任一所述的一种基于卷积神经网络的车牌校 准识别系统。

本发明在工作时，基于时间先后，设定清晰阈值，将不满足要求的图 像剔除，对满足要求的图像当中车牌进行识别；其中清晰阈值可以根据人 眼适应性调节；选择好清晰阈值时，首次自动设置，依据人工调节清晰阈 值可变化；利用卷积神经网络对满足要求的图像当中的车牌进行获取，得 到多个满足要求的车牌号识别结果；对多个满足要求的车牌号识别结果是 否存在一致性进行检验，若不满足要求，则对任意相似度最大的识别车牌 号进行两两配对，定义为相邻帧；若满足要求，则选择时间靠近的两帧图 像为相邻帧。将相邻帧的车牌号识别结果进行比对，对相邻帧图像的车牌 号各自进行识别，若相邻帧车牌号结果不一致，识别出不一致处，并输出 各自结果；将不一致处的符号定义为特殊符号，并打上标记，输入到联网 信息当中；在联网信息中将除特殊符号的其他相同符号进行查询，例如，有一个相邻帧图像识别结果分别为12345678和12346578，那么前面1234 和后两位78是一致的，那么这组数据可以表示为1234**78，并将1234**78 输入到联网信息中进行查看，结合一开始识别该车辆的轮廓信息确定最终 的车牌号信息，遇到车辆很快的情况，能够对图像进行清晰化选取，从而 得到最优的图像来识别出正确的车牌号，另外，如果连续图像当中的车牌 被识别出不同的结果，结合卷积神经网络对车辆的轮廓信息进行联网查询， 可以有效避免车牌识别出错，得到车牌一致性结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。