一种车牌识别方法、装置、设备及介质

文档序号:1862010 发布日期:2021-11-19 浏览:3次 >En<

阅读说明:本技术 一种车牌识别方法、装置、设备及介质 (License plate recognition method, device, equipment and medium ) 是由 常金鹏 邵明 于 2021-08-06 设计创作,主要内容包括:本发明提供了一种车牌识别方法、装置、设备及介质,用以解决现有技术中识别车辆的车牌时,容易出现的识别不准确的问题。由于在本发明实施例中,通过确定车牌区域在图像中的区域形状信息,若车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则通过透视变换,将车牌区域进行校正,并识别透视变换后的车牌区域中包含车牌信息,从而可以在车牌区域出现异常时,准确地对车牌区域进行识别,提高车牌识别的准确性。(The invention provides a license plate recognition method, a license plate recognition device, license plate recognition equipment and a license plate recognition medium, which are used for solving the problem of inaccurate recognition easily occurring when a license plate of a vehicle is recognized in the prior art. According to the embodiment of the invention, the region shape information of the license plate region in the image is determined, if the region shape information of the license plate region is matched with the region shape information of the abnormal license plate region, the license plate region is corrected through perspective transformation, and the license plate information contained in the license plate region after the perspective transformation is recognized, so that the license plate region can be accurately recognized when the license plate region is abnormal, and the accuracy of license plate recognition is improved.)

一种车牌识别方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域,尤其涉及一种车牌识别方法、装置、设备及介质。

背景技术

随着我国汽车保有量的快速增长,城市交通问题发生的越来越频繁,例如车辆违章停靠现象,若车辆出现违章停靠现象,那么违章停靠的车辆长时间占据人行道或应急通道,造成道路阻塞,导致行人和过往车辆通行不便。并且当发生交通问题时,还存在巨大的安全隐患。

现有技术中通常通过图像识别技术,识别出现违规行为的车辆的车牌号,从而下发一些惩罚措施。然而所进行识别的图像是由固定位置的图像采集设备所采集的,在固定位置的图像采集设备的视野中会出现各种角度以及大角度的车牌。

图1为现有技术中的图像采集设备所采集到的图像示意图,由图1可知,图中所包含车辆的车牌存在不清楚或者角度过大的情况,若直接对图1中的车牌进行识别,通常会出现识别不准确的问题,因此现有技术通常会将图像中的车辆所在到的区域截取出,并针对截取后的图像进行识别,图2为现有技术中截取出车辆之后的图像,由图2可知,图2中的车牌的角度过大,因此若直接识别图2中的车牌,识别的结果仍不够准确。

发明内容

本发明提供了一种车牌识别方法、装置、设备及介质,用以解决现有技术中识别车辆的车牌时,容易出现的识别不准确的问题。

第一方面,本发明实施例提供了一种车牌识别方法,所述方法包括:

针对接收到的每一帧图像,获取该帧图像中的每个车牌区域;

针对每个车牌区域,确定该车牌区域的区域形状信息;

若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则对该车牌区域进行透视变换,并识别透视变换后车牌区域中包含的车牌信息,其中,所述异常车牌区域是标准车牌形状的形变程度满足要求的车牌区域。

进一步地,所述针对每个车牌区域,确定该车牌区域的区域形状信息包括:

针对每个车牌区域,确定该车牌区域的宽高比,将所述高宽比作为该车牌区域的区域形状信息。

进一步地,所述车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配包括:

车牌区域的宽高比小于预设阈值。

进一步地,所述获取该帧图像中每个车牌的车牌区域包括:

通过训练后的车牌检测模型,获取该帧图像中每个车牌的车牌区域;

所述车牌检测模型是通过以下方式进行训练的:

获取样本集中的任一样本图像,以及所述样本图像中包含的每个车牌的样本车牌区域;

将所述样本图像输入到原始车牌检测模型中,获取所述样本图像中包含的每个车牌的识别车牌区域;

根据所述样本车牌区域和所述识别车牌区域,对所述原始车牌检测模型进行训练,获取中间车牌检测模型;

对所述中间车牌检测模型进行非结构化剪枝,得到训练完成的车牌检测模型。

进一步地,所述对所述中间车牌检测模型进行非结构化剪枝包括:

获取所述中间车牌检测模型训练完成时,对应的每个单通道卷积核中每个块对应的子权重;并针对每个块,根据该块的子权重确定该块的mask;

根据每个单通道卷积核中相同位置的块的mask以及预先设置的剪枝率,确定所要剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。

进一步地,所述对该车牌区域进行透视变换之前,所述方法还包括:

根据该车牌区域,确定该车牌区域的宽度以及高度,将所述宽度及所述高度放大,并通过训练完成的关键点检测模型,获取宽度和高度放大后的车牌区域的车牌关键点在所述图像中的目标位置信息;

根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;

确定距离和最小时依次对应的坐标点的位置信息,并执行后续,对该车牌区域进行透视变换的操作。

进一步地,所述根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和包括:

按照预设的次序,确定所述目标位置信息中坐标点不同顺序对应的坐标集合;

针对所确定的每个坐标集合,确定该坐标集合中的每个预设位置对应的坐标点与,与每个预设位置对应的预设坐标点的距离,并确定距离和值。

第二方面,本发明实施例还提供了一种车牌识别装置,所述装置包括:

获取模块,用于针对图像采集设备采集的每一帧图像,获取该帧图像中每个车牌的车牌区域;

确定模块,用于针对每个车牌的车牌区域,确定该车牌的区域形状信息;

处理模块,用于若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则对该车牌区域进行透视变换,并识别透视变换后车牌区域中包含的车牌信息,其中,所述异常车牌区域是标准车牌形状的形变程度满足要求的车牌区域。

进一步地,所述确定模块,具体用于针对每个车牌区域,确定该车牌区域的宽高比,将所述高宽比作为该车牌区域的区域形状信息。

进一步地,所述获取模块,具体用于通过训练后的车牌检测模型,获取该帧图像中每个车牌的车牌区域;

所述处理模块,还用于获取样本集中的任一样本图像,以及所述样本图像中包含的每个车牌的样本车牌区域;将所述样本图像输入到原始车牌检测模型中,获取所述样本图像中包含的每个车牌的识别车牌区域;根据所述样本车牌区域和所述识别车牌区域,对所述原始车牌检测模型进行训练,获取中间车牌检测模型;对所述中间车牌检测模型进行非结构化剪枝,得到训练完成的车牌检测模型。

进一步地,所述处理模块,具体用于获取所述中间车牌检测模型训练完成时,对应的每个单通道卷积核中每个块对应的子权重;并针对每个块,根据该块的子权重确定该块的mask;根据每个单通道卷积核中相同位置的块的mask以及预先设置的剪枝率,确定所要剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。

进一步地,所述处理模块,还用于根据该车牌区域,确定该车牌区域的宽度以及高度,将所述宽度及所述高度放大,并通过训练完成的关键点检测模型,获取宽度和高度放大后的车牌区域的车牌关键点在所述图像中的目标位置信息;根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;确定距离和最小时依次对应的坐标点的位置信息。

进一步地,所述处理模块,具体用于按照预设的次序,确定所述目标位置信息中坐标点不同顺序对应的坐标集合;针对所确定的每个坐标集合,确定该坐标集合中的每个预设位置对应的坐标点与,与每个预设位置对应的预设坐标点的距离,并确定距离和值。

第三方面,本发明实施例还提供了一种电子设备,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时上述执行权利要求中任一所述车牌识别方法的步骤。

第四方面,本发明实施例还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时执行上述权利要求中任一所述车牌识别方法的步骤。

由于在本发明实施例中,通过确定车牌区域在图像中的区域形状信息,若车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则通过透视变换,将车牌区域进行校正,并识别透视变换后的车牌区域中包含车牌信息,从而可以在车牌区域出现异常时,准确地对车牌区域进行识别,提高车牌识别的准确性。

附图说明

为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为现有技术中图像采集设备所采集到的图像示意图;

图2为现有技术中截取出车辆之后的图像;

图3为本发明实施例提供的一种车牌识别过程示意图;

图4为本发明实施例提供的车牌检测模型训练过程的示意图;

图5为本发明实施例提供的网络中卷积核块的示意图;

图6为本发明实施例提供的车牌区域扩大后的示意图;

图7a为本发明实施例提供的车牌区域的示意图;

图7b为本发明实施例提供的车牌区域经透视变换的示意图;

图8为本发明实施例提供的车牌识别过程详细示意图;

图9为本发明实施例提供的一种车牌识别装置结构示意图;

图10为本发明实施例提供的一种电子设备示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:

图3为本发明实施例提供的一种车牌识别过程示意图,该过程包括以下步骤:

S301:针对接收到的每一帧图像,获取该帧图像中的每个车牌区域。

本发明实施例提供的车牌识别方法应用于电子设备,该电子设备可以为图像采集设备、PC或服务器等智能设备。

在本发明实施例中,图像采集设备采集每一帧图像,并将采集的每一帧图像发送至电子设备,电子设备针对接收到的图像采集设备采集的每一帧图像,获取该帧图像中的每个车牌区域。具体的,获取到的车牌区域可以为采用矩形框标识出的车牌在该帧图像中的位置信息。

S302:针对每个车牌区域,确定该车牌区域的区域形状信息。

在获取到该帧图像中的每个车牌区域后,针对该帧图像中的每个车牌区域,确定该车牌区域在图像中的区域形状信息,其中,区域形状信息指的可以是车牌区域的宽度及车牌区域的高度等信息。

S303:若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则对该车牌区域进行透视变换,并识别透视变换后车牌区域中包含的车牌信息,其中,所述异常车牌区域是标准车牌形状的形变程度满足要求的车牌区域。

为了确定该车牌区域是否为异常车牌区域,在本发明实施例中预先保存有异常车牌区域的区域形状信息,并且异常车牌区域是预先配置的满足要求的车牌区域,具体为图像采集设备所采集的图像中与标准车牌形状的形变程度满足要求的车牌区域。

在确定该车牌区域的区域形状信息后,判断该车牌区域的区域形状信息是否与异常车牌区域的区域形状信息匹配,若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则确定该车牌区域为存在异常的车牌区域,则对该车牌进行透视变换,并通过字符识别,识别透视变换后的车牌信息。具体的,在本发明实施例中,根据车牌区域,对车牌进行透视变换为现有技术,在此不再赘述。也就是说若确定该车牌区域为异常车牌区域,则通过透视变换,将该车牌区域进行校正,从而通过字符识别准确地确定该车牌区域的字符,即确定该车牌区域的车牌号。

并且在本发明实施例中,若该车牌区域的区域形状信息与异常车牌区域的区域形状信息不匹配,则说明该车牌区域不是斜着摆放的,为了识别该车牌区域的车牌信息,在本发明实施例中截取车牌所在的区域,并通过字符识别识别截取后的车牌区域,获取车牌信息。

由于在本发明实施例中,通过确定车牌区域在图像中的区域形状信息,若车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则通过透视变换,将车牌区域进行校正,并识别透视变换后的车牌区域中包含车牌信息,从而可以在车牌区域出现异常时,准确地对车牌区域进行识别,提高车牌识别的准确性。

实施例2:

为了准确地确定车牌区域的区域形状信息,在上述实施例的基础上,在本发明实施例中,所述针对每个车牌区域,确定该车牌区域的区域形状信息包括:

针对每个车牌区域,确定该车牌区域的宽高比,将所述宽高比作为该车牌区域的区域形状信息。

在本发明实施例中,车牌区域的区域形状信息指的可以是车牌区域的宽高比,具体的,确定该车牌区域的区域形状信息的过程为:根据该车牌区域,确定图像中该车牌区域的宽度以及图像中该车牌区域的高度,并确定图像中车牌区域的宽度与高度的比值为该车牌区域在图像中的宽高比,将所确定的宽高比确定为该车牌区域的区域形状信息。

为了准确地确定车牌区域中包含的车牌信息,在上述各实施例的基础上,在本发明实施例中,所述车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配包括:

车牌区域的宽高比小于预设阈值。

在本发明实施例中,在确定该车牌区域在图像中的宽高比之后,判断该车牌的宽高比是否小于预设的阈值,若该车牌的宽高比小于预设的阈值,则说明在图像中该车牌区域的宽度相对来说较小,则说明该车牌区域在图像中属于大角度非正放的车牌,也就是说该车牌区域与异常车牌区域的区域形状信息匹配,其中,在本发明实施例中该预设的阈值可以为1,也可以为0.5等。

实施例3:

为了准确地确定图像中每个车牌区域,在上述实施例的基础上,在本发明实施例中,所述获取该帧图像中每个车牌的车牌区域包括:

通过训练后的车牌检测模型,获取该帧图像中每个车牌的车牌区域;

所述车牌检测模型是通过以下方式进行训练的:

获取样本集中的任一样本图像,以及所述样本图像中包含的每个车牌的样本车牌区域;

将所述样本图像输入到原始车牌检测模型中,获取所述样本图像中包含的每个车牌的识别车牌区域;

根据所述样本车牌区域和所述识别车牌区域,对所述原始车牌检测模型进行训练,获取中间车牌检测模型;

对所述中间车牌检测模型进行非结构化剪枝,得到训练完成的车牌检测模型。

在本发明实施例中,在获取图像中每个车牌区域时,针对每一帧图像,将该帧图像输入到预先训练完成的车牌检测模型中,获取该车牌检测模型的输出,该车牌检测模型的输出包括该帧图像中每个车牌的车牌区域,并且获取到的车牌区域可以为采用矩形框标识出的车牌在该帧图像中的位置信息。

为了实现对车牌检测模型的训练,在本发明实施例中保存有对车牌检测模型进行训练的样本集,该样本集中包含大量的样本图像,其中样本图像为不同场景、不同时间段采集的图像。为了方便对车牌检测模型进行训练,该样本集中还针对每个样本图像,保存有该样本图像中包含的每个车牌在该样本图像中的样本车牌区域,其中该样本车牌区域可以为采用矩形框标识出的车牌在样本图像中的位置信息。

在本发明实施例中,在获取到样本集中的任一样本图像及该样本图像中包含的车牌的样本车牌区域后,将该样本图像输入到车牌检测模型中,该车牌检测模型输出该样本图像包含的车牌的识别车牌区域。

在获取到该车牌检测模型的输出后,电子设备确定该车牌检测模型的输出为该样本图像中包含的车牌的识别车牌区域,电子设备根据样本图像中的样本车牌区域,以及车牌检测模型输出的识别车牌区域,对该车牌检测模型的参数进行调整,从而对该车牌检测模型进行训练,获取中间车牌检测模型。

对车牌检测模型采用上述方式进行训练,当满足预设的条件时,得到中间车牌检测模型。其中,该预设的条件可以是,样本集中的样本图像通过原始车牌检测模型训练后得到的识别车牌区域与样本车牌区域一致的样本图像的数量大于设定数量;也可以是对原始车牌检测模型进行训练的迭代次数达到设置的最大迭代次数等。具体的,本发明实施例对此不做限制。

在本发明实施例中,该车牌检测模型可以为YoloV3目标检测模型,由于YoloV3目标检测模型算法性能优异,包含3个检测层、9种尺度的anchor,同时采用了特征图金字塔网络(Feature Pyramid Networks,FPN)的结构,非常适合检测多尺度目标。但原始模型较大,难以部署到图像采集设备这种计算能力有限的设备上,因此本发明实施例中的车牌检测模型以性能优异的YoloV3目标检测算法为基础,对主干网络进行非结构化剪枝,传统的非结构化剪枝方法会导致网络结构不规则,不能利用硬件设备进行并行计算,会出现虽然模型减小但运算速度变慢的问题,本发明实施例的非结构化剪枝方法能够稀疏网络的同时保证局部网络结构仍然具有能够便于硬件设备进行并行计算的特点,剪枝更精细而且能够保证模型精度,在保证算法性能的同时,进一步轻量化网络模型,提升算法运行速度。具体的,如何进行非结构化剪枝为现有技术,在此不再赘述。

并且在本发明实施例中,在对车牌检测模型进行剪枝时,需要剪掉单通道卷积核块中参数的值较小的块,其中该参数包括权重,因此在本发明实施例中,为了使得被剪掉的块的权重足够小,不影响车牌检测模型的正常运行,在确保车牌检测模型输出的识别车牌区域足够准确的同时,还需要确保单通道卷积核中的每个块的权重足够小。

因此在本发明实施例中,根据样本车牌区域和识别车牌区域,对车牌检测模型进行训练,可以通过两次训练调整车牌检测模型的参数,具体的该过程包括:可以先根据样本车牌区域以及识别车牌区域之间是否存在偏差,调整车牌检测模型的参数,具体调整的参数可以为权重。在训练完成后,通过预先设置的损失函数对调整了权重的车牌检测模型进行重新训练,使得车牌检测模型的权重足够小。

具体的,该预先设置的损失函数可以为:

其中,f(W;b)表示车牌检测模型第一次训练时的原有损失函数;R表示用来稀疏网络结构的正则化项;λ表示调整稀疏程度的权重,λ为预先设置的值;αi (t)表示对应卷积核Wi的惩罚值集合。

其中,Wi=[Wi1,Wi2,...,WiK],

因此并且

其中,ε为一个根据经验预先设置的较小的数值,根据上述公式可知,αijn (t)表示对应卷积核的块[Wij]t h,w的惩罚值,αijn (t)*[Wij]t h,w表示卷积核的块的权重与该权重对应的惩罚值进行点乘运算的结果,根据上述描述可知,当该卷积核的块的权重较大时,对应的权重的惩罚值较小;该卷积核的块的权重较小时,对应的权重的惩罚值较大,从而进一步调整车牌检测模型的权重。

为了准确地训练车牌检测模型,在上述各实施例的基础上,在本发明实施例中,所述对所述中间车牌检测模型进行非结构化剪枝包括:

获取所述中间车牌检测模型训练完成时,对应的每个单通道卷积核中每个块对应的子权重;并针对每个块,根据该块的子权重确定该块的mask;

根据每个单通道卷积核中相同位置的块的mask以及预先设置的剪枝率,确定所要剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。

在本发明实施例中,在进行剪枝时,将不同的单通道卷积核中相同位置的块剪掉。具体的,该过程为:在中间车牌检测模型训练完成之后,获取每个单通道卷积核中每个块所对应的子权重,并根据每个块所对应的子权重,确定该块的mask,具体的,如何根据权重确定mask,为现有技术,在此不再赘述。

根据每个单通道卷积核中每个块的mask,确定所进行剪枝的块,具体的该过程为:确定每个块的mask的绝对值,并确定每个单通道卷积核中相同位置的块的mask的绝对值的平均值,根据设定的剪枝数以及所确定的相同位置的块的mask的绝对值的平均值,确定进行剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。具体的,所减掉的块所确定的平均值较小。

图4为本发明实施例提供的车牌检测模型训练过程的示意图。

由图4可知,首先根据样本集训练车牌检测模型,调整车牌检测模型参数的值,其中该参数包括权重。在获取到调整完参数的车牌检测模型之后,通过在损失函数中添加正则化项,对调整完参数的车牌检测模型的进行稀疏训练,获取中间车牌检测模型。并在获取到训练完成的中间车牌检测模型之后,确定网络每一层的卷积核块中包含的单通道卷积核的每一个块的mask,在本发明实施例中,每一个卷积核块可以包含8个单通道卷积核,每个卷积核块内的所有单通道卷积核的相同位置作为一个整体参与剪枝。以3x3的单通道卷积核为例,每个单通道卷积核共有9个块,所以每个单通道卷积核内共9个整体,每个整体的大小为该整体内权重均值,每一层拥有若干整体,将所有块所确定的mask按照大小进行降序排列,根据设定的剪枝率,将mask较小的那些块作为剪枝目标,剪枝后每个单通道卷积核形状分布完全相同,便于更准确地确定车牌区域。

图5为本发明实施例提供的网络中卷积核块的示意图。

由图5可知,每个卷积核块包含多个单通道卷积核,其中每个单通道卷积核包括3*3个块,在本发明实施例中,在进行剪枝时,所减掉的就是单通道卷积核中的块。

实施例4:

为了准确地进行识别,在上述各实施例的基础上,在本发明实施例中,所述对该车牌区域进行透视变换之前,所述方法还包括:

根据该车牌区域,确定该车牌区域的宽度以及高度,将所述宽度及所述高度放大,并通过训练完成的关键点检测模型,获取宽度和高度放大后的车牌区域的车牌关键点在所述图像中的目标位置信息;

根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;

确定距离和最小时依次对应的坐标点的位置信息,并执行后续,对该车牌区域进行透视变换的操作。

在本发明实施例中,若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则说明该车牌区域存在异常,即该车牌并不是正向摆放,因此若直接对该车牌区域进行透视变换,则可能会造成透视变换后的车牌区域的宽高比较小,使得车牌区域中的字符堆叠在一起,从而造成后续对车牌识别不准确的问题,并且还可能存在车牌区域在图像中所占的区域过小,使得车牌识别不准确。

因此在本发明实施例中,若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则将该车牌区域在图像中所在的区域放大,其中,将车牌区域在图像中所在的区域放大的过程为:根据该车牌区域,确定图像中该车牌区域的宽度和高度,将图像中车牌区域的宽度以及高度放大,并且在本发明实施例中将宽度放大的倍数与高度放大的倍数通常是不同的,通常宽度放大的倍数大于高度放大的倍数,防止后续进行透视变换后,车牌的字符堆叠在一起。由于车牌区域可以为采用矩形框标识出的车牌在图像中的位置信息,因此可以准确地确定图像中车牌区域的宽度及高度。

具体的,若车牌区域为采用矩形框标识出的车牌在图像中的位置信息,则将车牌区域在图像中放大的过程可以为:将该位置信息中左上角的坐标值中的横坐标减小预设倍数,将左上角的坐标值中的纵坐标减小预设倍数,将位置信息中右下角的坐标值中的横坐标增大预设倍数,将右下角的坐标值中的纵坐标增大预设倍数。由于图像中所建立的坐标系通常是以图像的左上角的像素点为原点,方向向右为x轴正方向,垂直向下为y轴正方向,从而根据该坐标系确定的车牌区域。因此将标识车牌区域的矩形框的位置信息中左上角的横、纵坐标值减小预设的倍数,将将标识车牌区域的矩形框的位置信息中右下角的横、纵坐标值增大预设倍数可以实现图像中车牌区域的宽度及高度的扩大。

在本发明实施例中,车牌区域为矩形区域,以通过该矩形区域左上角的像素点在图像中的坐标值、以及右下角的像素点在图像中的坐标值表示车牌所在的矩形区域为例进行说明,若左上角的像素点的坐标值中横坐标为xmin、纵坐标为ymin,右下角的像素点的坐标值中横坐标为xmax、纵坐标为ymax,则xmin以及ymin分别减小0.1倍,xmax以及ymax分别增大0.1倍,即可实现车牌区域的宽度及高度的扩大。

图6为本发明实施例提供的车牌区域扩大后的示意图。

其中,图6中较小的矩形区域为经过车牌检测模型所输出的车牌区域,图6中较大的矩形区域为将车牌区域放大后的车牌区域。由图6可知,车牌区域经过扩大后,车牌信息更加清晰,可以更加准确地识别车牌信息。

并且在进行透视变换时,需要确定车牌区域中预设数量个角点的位置信息。因此在本发明实施例中,截取车牌区域的宽度和高度放大后的车牌区域,并将截取后的图像输入到预先训练完成的关键点检测模型,获取该关键点检测模型的输出,确定该模型的输出为截取后的图像中预设数量个角点的位置信息,即目标位置信息。其中,关键点检测模型输出的是截取后的图像中预设数量个角点的位置信息,依次为顺时针的预设数量个角点的位置信息或者依次为逆时针的预设数量个角点的位置信息。并且在本发明实施例中,该预设数量个角点通常为车牌的左上角、右上角、右下角以及左下角。

由于在进行透视变换时,需要确定每个角点对应的坐标值,而当车牌区域在图像中的角度过大时,只能确定输出的位置信息中包含预设数量个角点的坐标值,而不能确定输出的位置信息中的坐标值依次为对应的哪个角点的坐标值,也就是说不能确保输出的位置信息依次为左上角、右上角、右下角以及左下角的像素点的坐标值,因此在本发明实施例中,电子设备确定每个坐标点对应哪个角点的具体过程为:根据标识车牌区域的矩形框的目标位置信息中不同的坐标点,确定不同次序的坐标点所组成的坐标集合,并依次确定每个坐标集合中预设数量个坐标点中每个坐标点与预设坐标点的距离和,并获取距离和最小时首个进行确定的坐标点的位置信息。

并且在本发明实施例中,由于关键点检测模型所输出的位置信息可以为顺时针的坐标点的位置信息,也可以为逆时针的坐标点的位置信息,因此为了快速的获取关键点检测模型输出的位置信息中每个坐标点对应哪个角点,在本发明实施例中,预设数量个预设坐标点依次为顺时针的坐标点,或者依次为逆时针的坐标点,具体的,若关键点检测模型输出的位置信息为顺时针的坐标点的位置信息,则该预设数量个预设坐标点为顺时针的坐标点。因此在本发明实施例中,在获取到距离和最小时首个进行确定的坐标点的位置信息后,确定该位置信息为预设方向的角点的位置信息,并且由于关键点检测模型所输出的车牌区域包含的目标位置信息中的坐标点为顺时针或逆时针的坐标点,因此在确定出距离和值最小时首个进行确定的位置信息对应的角点后,即可确定其他位置信息对应的角点。

由于该预设数量个预设坐标点为不同方向的坐标点,因此不同的坐标集合中所确定的距离值中,距离最小的坐标集合中依次对应的坐标点分别为预设坐标点方向的角点。例如,该预设数量个预设坐标点分别为截取后的图像中左上角、右上角、右下角、左下角的四个坐标点,那么距离和最小时,对应的坐标点依次对应的角点为左上角、右上角、右下角、左下角。也就是说,预设数量个预设坐标点为不同方向的几个坐标点,因此具体的,该方向的角点对应的坐标点与该方向的预设坐标点的距离更小,因此可以有效地确定不同坐标点具体对应的车牌区域的哪个角点。

并且在本发明实施例中,该预设坐标点可以为车牌区域经车牌检测模型输出的预设数量个位置信息,即经过车牌检测模型输出的矩形框的左上角、右上角、右下角、左下角的坐标值。若该预设数量个预设坐标点为车牌检测模型输出的结果,则将关键点检测模型输出的目标位置信息转换为该车牌区域所在原图像中角点的位置信息,具体的,由于在包含该车牌的图像中已知该车牌区域放大后左上角的坐标值,并且已知截取后的图像中车牌区域的左上角为原点,因此可以根据车牌区域在截取后的图像中、原图像中的位置信息以及车牌区域在截取后的图像中的预设数量个角点的位置信息,获取这预设数量个角点在原图像中的位置信息。从而根据这预设数量个角点在原图像中的位置信息,以及车牌检测模型输出的位置信息,确定具体哪个坐标值对应哪个角点。

为了准确地确定每个角点的坐标值,在上述各实施例的基础上,在本发明实施例中,所述根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和包括:

按照预设的次序,确定所述目标位置信息中坐标点不同顺序对应的坐标集合;

针对所确定的每个坐标集合,确定该坐标集合中的每个预设位置对应的坐标点与,与每个预设位置对应的预设坐标点的距离,并确定距离和值。

在本发明实施例中,通过距离和值确定每个角点的坐标值,具体的通过不同的坐标集合中包含的坐标点的次序,来进行距离和值的确定,在确定距离和值时,针对每个坐标集合,在确定该坐标集合对应的距离值。在确定坐标集合时,由于关键点检测模型所输出的位置信息可以为顺时针的坐标点的位置信息,也可以为逆时针的坐标点的位置信息,并且预设数量个预设坐标点对应的方向是与关键点检测模型输出的位置信息对应的时针方向相同,也就是说,若预设数量个预设坐标点依次为顺时针的坐标点,则关键点检测模型输出的位置信息为顺时针的坐标点的位置信息,因此在确定坐标集合时,可以以该目标位置信息中不同的坐标点为首个进行确定的坐标点,并顺时针确定目标位置信息中其他坐标点在坐标集合中对应的位置。例如,目标位置信息对应的坐标点分别为a、b、c,那么所确定的不同的坐标集合中首个进行确定的坐标点分别为a、b、c,并且首个进行确定的坐标点为a的坐标集合中,顺时针确定的其他坐标点为b、c;首个进行确定的坐标点为b的坐标集合中,顺时针确定的其他坐标点为c、a;首个进行确定的坐标点为c的坐标集合中,顺时针确定的其他坐标点为a、b。

并且根据坐标集合确定坐标集合对应的距离和值的过程为:针对该坐标集合中的每个预设位置的坐标点,确定该预设位置的坐标点与,与该预设位置对应的预设坐标点的距离,并基于针对该坐标集合中每个预设位置的坐标点所确定的距离,确定距离和值。

例如,车牌检测模型输出的位置信息从左上角开始,顺时针方向依次为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3),也就是说车牌检测模型输出的位置信息依次为左上角、右上角、右下角、左下角对应的坐标点,关键点检测模型输出4个坐标点转换到原图像后,顺时针依次为具体的,在本发明实施例中,所确定的坐标集合为 以及

在一种可能的实施方式之中,在确定第一个坐标集合中每个坐标点与车牌检测模型输出的位置信息中每个坐标点的距离之和时,确定坐标集合中第一个坐标点与车牌检测模型输出的位置信息中第一个坐标点的距离,坐标集合中第二个坐标点与车牌检测模型输出的位置信息中第二个坐标点的距离,坐标集合中第三个坐标点与车牌检测模型输出的位置信息中第三个坐标点的距离,坐标集合中第四个坐标点与车牌检测模型输出的位置信息中第四个坐标点的距离,并确定距离之和,并依次确定其他坐标集合对应的距离之和,确定距离之和最小的坐标集合中依次对应的坐标值。

具体的,由于确定坐标点之间的距离时,首先需要确定距离的平方,因此在本发明实施例中,在确定距离和时,也可以是确定距离的平方之和,其中,确定第一个坐标集合的距离的平方之和的公式为:

也就是说,确定第一个坐标集合中第一个坐标点与车牌检测模型输出的位置信息中第一个坐标点的距离的平方,为第一平方值;确定第一个坐标集合中第二个坐标点与车牌检测模型输出的位置信息中第二个坐标点的距离的平方,为第二平方值;确定第一个坐标集合中第三个坐标点与车牌检测模型输出的位置信息中第三个坐标点的距离的平方,为第三平方值;确定第一个坐标集合中第四个坐标点与车牌检测模型输出的位置信息中第四个坐标点的距离的平方,为第四平方值,并确定第一平方值与第二平方值与第三平方值的和为d0

并且通过上述确定方式确定第二个坐标集合中坐标点与车牌检测模型输出的位置信息的坐标点的距离的平方之和得到结果d1,再基于上述方式分别确定第三个坐标集合对应的d2以及第四个坐标集合对应的d3,确定最小的d对应的坐标集合中的坐标点依次为车牌的左上角、右上角、右下角、左下角的像素点的坐标点,这样得到的角点的位置信息可以更准确地进行透视变换。

为了准确地获取车牌信息,在本发明实施例中,在获取到距离和最小时依次对应的坐标点的位置信息后,即可根据该依次对应的坐标点的位置信息,对车牌区域进行透视变换,通过字符识别确定变换后的车牌区域中的车牌信息。

图7a为本发明实施例提供的车牌区域的示意图。

图7a中的车牌区域的宽高比小于预设数值,即图7a为斜着摆放的车牌,其中图7a中较大的矩形框为车牌检测模型识别的结果。

图7b为本发明实施例提供的车牌区域经透视变换的示意图。

图7b为图7a中的车牌区域经透视变换后得到的图像,由图7b可知,透视变换后,图像中车牌区域得到矫正,通过矫正后的车牌区域,可以准确地识别车牌信息。

图8为本发明实施例提供的车牌识别过程详细示意图,具体过程如下:

首先将图像输入到车牌检测模型,获取车牌区域的位置信息,根据车牌区域的位置信息获取车牌区域在图像中的宽高比,若该车牌在图像中的宽高比大于预设的阈值,则说明该车牌并非大角度车牌,则截取该车牌所在的区域,并识别截取后的车牌信息;

若该车牌在图像中的宽高比小于预设的阈值,则说明该车牌为大角度车牌,则通过关键点检测模型,获取预设数量个角点的目标位置信息,根据目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;根据距离和最小时依次对应的坐标点的位置信息,对车牌区域进行透视变换,并识别变换后的车牌信息。

实施例4:

图9为本发明实施例提供的一种车牌识别装置结构示意图,该装置包括:

获取模块901,用于针对图像采集设备采集的每一帧图像,获取该帧图像中每个车牌的车牌区域;

确定模块902,用于针对每个车牌的车牌区域,确定该车牌的区域形状信息;

处理模块903,用于若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则对该车牌区域进行透视变换,并识别透视变换后车牌区域中包含的车牌信息,其中,所述异常车牌区域是标准车牌形状的形变程度满足要求的车牌区域。

在一种可能的实施方式中,所述确定模块902,具体用于针对每个车牌区域,确定该车牌区域的宽高比,将所述高宽比作为该车牌区域的区域形状信息。

在一种可能的实施方式中,所述获取模块901,具体用于通过训练后的车牌检测模型,获取该帧图像中每个车牌的车牌区域;

所述处理模块903,还用于获取样本集中的任一样本图像,以及所述样本图像中包含的每个车牌的样本车牌区域;将所述样本图像输入到原始车牌检测模型中,获取所述样本图像中包含的每个车牌的识别车牌区域;根据所述样本车牌区域和所述识别车牌区域,对所述原始车牌检测模型进行训练,获取中间车牌检测模型;对所述中间车牌检测模型进行非结构化剪枝,得到训练完成的车牌检测模型。

在一种可能的实施方式中,所述处理模块903,具体用于获取所述中间车牌检测模型训练完成时,对应的每个单通道卷积核中每个块对应的子权重;并针对每个块,根据该块的子权重确定该块的mask;根据每个单通道卷积核中相同位置的块的mask以及预先设置的剪枝率,确定所要剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。

在一种可能的实施方式中,所述处理模块903,还用于根据该车牌区域,确定该车牌区域的宽度以及高度,将所述宽度及所述高度放大,并通过训练完成的关键点检测模型,获取宽度和高度放大后的车牌区域的车牌关键点在所述图像中的目标位置信息;根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;确定距离和最小时依次对应的坐标点的位置信息。

在一种可能的实施方式中,所述处理模块903,具体用于按照预设的次序,确定所述目标位置信息中坐标点不同顺序对应的坐标集合;针对所确定的每个坐标集合,确定该坐标集合中的每个预设位置对应的坐标点与,与每个预设位置对应的预设坐标点的距离,并确定距离和值。

实施例5:

在上述各实施例的基础上,图10为本发明实施例提供的一种电子设备示意图,如图10所示,包括:处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信。

所述存储器1003中存储有计算机程序,当所述程序被所述处理器1001执行时,使得所述处理器1001执行如下步骤:

针对接收到的每一帧图像,获取该帧图像中的每个车牌区域;

针对每个车牌区域,确定该车牌区域的区域形状信息;

若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则对该车牌区域进行透视变换,并识别透视变换后车牌区域中包含的车牌信息,其中,所述异常车牌区域是标准车牌形状的形变程度满足要求的车牌区域。

在一种可能的实施方式中,所述针对每个车牌区域,确定该车牌区域的区域形状信息包括:

针对每个车牌区域,确定该车牌区域的宽高比,将所述高宽比作为该车牌区域的区域形状信息。

在一种可能的实施方式中,所述车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配包括:

车牌区域的宽高比小于预设阈值。

在一种可能的实施方式中,所述获取该帧图像中每个车牌的车牌区域包括:

通过训练后的车牌检测模型,获取该帧图像中每个车牌的车牌区域;

所述车牌检测模型是通过以下方式进行训练的:

获取样本集中的任一样本图像,以及所述样本图像中包含的每个车牌的样本车牌区域;

将所述样本图像输入到原始车牌检测模型中,获取所述样本图像中包含的每个车牌的识别车牌区域;

根据所述样本车牌区域和所述识别车牌区域,对所述原始车牌检测模型进行训练,获取中间车牌检测模型;

对所述中间车牌检测模型进行非结构化剪枝,得到训练完成的车牌检测模型。

在一种可能的实施方式中,所述对所述中间车牌检测模型进行非结构化剪枝包括:

获取所述中间车牌检测模型训练完成时,对应的每个单通道卷积核中每个块对应的子权重;并针对每个块,根据该块的子权重确定该块的mask;

根据每个单通道卷积核中相同位置的块的mask以及预先设置的剪枝率,确定所要剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。

在一种可能的实施方式中,所述对该车牌区域进行透视变换之前,所述方法还包括:

根据该车牌区域,确定该车牌区域的宽度以及高度,将所述宽度及所述高度放大,并通过训练完成的关键点检测模型,获取宽度和高度放大后的车牌区域的车牌关键点在所述图像中的目标位置信息;

根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;

确定距离和最小时依次对应的坐标点的位置信息,并执行后续,对该车牌区域进行透视变换的操作。

在一种可能的实施方式中,所述根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和包括:

按照预设的次序,确定所述目标位置信息中坐标点不同顺序对应的坐标集合;

针对所确定的每个坐标集合,确定该坐标集合中的每个预设位置对应的坐标点与,与每个预设位置对应的预设坐标点的距离,并确定距离和值。

上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口1002用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

实施例6:

在上述各实施例的基础上,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:

所述存储器中存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行如下步骤:

针对接收到的每一帧图像,获取该帧图像中的每个车牌区域;

针对每个车牌区域,确定该车牌区域的区域形状信息;

若该车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配,则对该车牌区域进行透视变换,并识别透视变换后车牌区域中包含的车牌信息,其中,所述异常车牌区域是标准车牌形状的形变程度满足要求的车牌区域。

在一种可能的实施方式中,所述针对每个车牌区域,确定该车牌区域的区域形状信息包括:

针对每个车牌区域,确定该车牌区域的宽高比,将所述高宽比作为该车牌区域的区域形状信息。

在一种可能的实施方式中,所述车牌区域的区域形状信息与异常车牌区域的区域形状信息匹配包括:

车牌区域的宽高比小于预设阈值。

在一种可能的实施方式中,所述获取该帧图像中每个车牌的车牌区域包括:

通过训练后的车牌检测模型,获取该帧图像中每个车牌的车牌区域;

所述车牌检测模型是通过以下方式进行训练的:

获取样本集中的任一样本图像,以及所述样本图像中包含的每个车牌的样本车牌区域;

将所述样本图像输入到原始车牌检测模型中,获取所述样本图像中包含的每个车牌的识别车牌区域;

根据所述样本车牌区域和所述识别车牌区域,对所述原始车牌检测模型进行训练,获取中间车牌检测模型;

对所述中间车牌检测模型进行非结构化剪枝,得到训练完成的车牌检测模型。

在一种可能的实施方式中,所述对所述中间车牌检测模型进行非结构化剪枝包括:

获取所述中间车牌检测模型训练完成时,对应的每个单通道卷积核中每个块对应的子权重;并针对每个块,根据该块的子权重确定该块的mask;

根据每个单通道卷积核中相同位置的块的mask以及预先设置的剪枝率,确定所要剪枝的块在单通道卷积核中的位置,将每个单通道卷积核中该位置的块剪掉。

在一种可能的实施方式中,所述对该车牌区域进行透视变换之前,所述方法还包括:

根据该车牌区域,确定该车牌区域的宽度以及高度,将所述宽度及所述高度放大,并通过训练完成的关键点检测模型,获取宽度和高度放大后的车牌区域的车牌关键点在所述图像中的目标位置信息;

根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和;

确定距离和最小时依次对应的坐标点的位置信息,并执行后续,对该车牌区域进行透视变换的操作。

在一种可能的实施方式中,所述根据所述目标位置信息中预设数量个坐标点,依次确定该预设数量个坐标点与预设数量个预设坐标点的距离和包括:

按照预设的次序,确定所述目标位置信息中坐标点不同顺序对应的坐标集合;

针对所确定的每个坐标集合,确定该坐标集合中的每个预设位置对应的坐标点与,与每个预设位置对应的预设坐标点的距离,并确定距离和值。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

23页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种输电线路异物侵入检测方法和系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!