具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请实施例提供的车牌字符定位方法，可以包括如下步骤：

步骤S100，获取粗定车牌位置信息。

具体地，对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息。

其中，车牌粗定位是一种结合图像空间信息方法和颜色空间信息方法进行车牌粗定位的方法。

例如，从车牌边缘检测后的图像中找出含有车牌的区域，并把它提取出来，利用车牌区域横向积分投影的连续性特征，定出车牌的上下边，利用车牌白点数目占据主导的特点，用一定宽度的矩形，从左往右扫描，最终落在该矩形内白色的点最多的位置就是车牌区域的大致位置。

通过车牌粗定位可以获取粗定车牌位置信息，该信息可以应用于车牌的精定位，为后续的车牌定位和识别打下良好的基础。

步骤S200，根据粗定车牌位置信息，获取第一特征图像。

具体地，基于步骤S100中的粗定车牌位置信息，从待处理的车辆图像中截取车牌字符感兴趣区域，得到第一特征图像。

其中，粗定车牌位置信息可以是车牌区域的坐标数据。通过粗定车牌位置信息，从待处理的车辆图像中截取出可能包含车牌字符的区域，以该区域作为车牌字符感兴趣区域，得到第一特征图像。

通过本步骤的处理，将待检测区域从整张待处理的车辆图像缩减到车牌字符感兴趣区域，减少了后续处理的工作量。

步骤S300，根据第一特征图像，通过神经网络模型获取多个目标检测框。

具体地，通过训练后的车牌字符检测模型对所述第一特征图像进行处理，得到多个目标检测框。

其中，该多个目标检测框可以是不同尺寸的检测框，并且在这些目标检测框之间可能会存在不同程度的重叠之处。

步骤S400，从多个目标检测框中确定车牌字符定位结果。

具体地，由于步骤S300输出的多个目标检测框可能会存在不同程度的重叠，因而可能会包含冗余的、或者评分相对较低的目标检测框。从所述多个目标检测框中确定车牌字符定位结果，可以有效去除冗余检测框，保留最有的目标检测框作为车牌字符定位结果。

其中，所述车牌字符检测模型被配置为，具备对输入的图像提取图像特征，并基于卷积层对图像特征进行卷积处理，得到第二特征图像，通过目标框检测层从所述第二特征图像中确定多个目标检测框的能力；其中，所述卷积层的卷积核大小以及所述目标框检测层的检测框的宽高比匹配于车牌的形状特性。

本申请通过对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息，通过粗定车牌位置信息可以获取车牌字符感兴趣区域。然后通过训练后的车牌字符检测模型对车牌字符感兴趣区域的图像进行处理，得到多个候选检测框。其中，该多个候选检测框可能会存在相互重叠。最后对所述多个候选检测框进行后处理，剔除冗余的候选框，确定车牌字符定位结果。

其中，对所述车牌字符检测模型进行了特定的配置，通过将所述卷积层的卷积核的大小配置成匹配于车牌的形状特性，有利于更有效地提取车牌字符的图像特征；通过将所述目标框检测层的检测框的宽高比配置成匹配于车牌的形状特性，有利于准确地捕获车牌字符文本框。

进一步地，本申请级联了车牌粗定位、车辆字符检测模型处理和模型输出的后处理这几大模块，能够比较精确地实现车牌字符定位。

在本申请的一些实施例中，请参阅图2，上述步骤S300中提及的车牌字符检测模型包括依次级联的输入层11、若干密集块12及过渡层13(限于篇幅，图中仅示出一个密集块及过渡层)、卷积层14和目标框检测层15。其中，输入层11的输入图像的尺寸不大于35×35；密集块12及过渡层13用于对图像进行特征提取和特征汇聚；卷积层14的卷积核大小为5×3；目标框检测层15的检测框的宽高比包括1、2、3、5、1/2、1/3和1/5。

本申请发明人综合考虑到网络的下采样次数和输出尺寸，认为输入图像的分辨率不需要太大，限制在35×35以内即可。通过将输入图像的尺寸限定在35×35以内，可以压缩车牌字符定位的总的计算量，提高车牌检测的推理效率。此外，实验证明这个尺寸能够达到精确检测的效果。

对于卷积层14中的两个卷积层，采用5×3的卷积核，具体地，kernel_h＝3，kernel_w＝5，pad_h＝1，pad_w＝2。相对于1×1、3×3等规则的卷积核，本申请所采用的这种大小不规则的卷积核更符合车牌字符的长矩形的形状，有利于提高检测精度。

对于目标框检测层15中的检测框，采用多个不同的宽高比，以便适应更多的车牌形状，该车牌形状包括不同规格的车牌的形状，以及同一规格的车牌在不同的拍摄角度下的形状。

在一个可选的实施例中，上述步骤S300中提及的车牌字符检测模型中每一层的结构具体如表1所示。

表1：车牌字符检测模型的网络结构

以下对表1中的车牌字符检测模型的网络结构进行详细说明。

具体地，第一、二个卷积层是一个3*3卷积层，第一个卷积层stride为1，可以尽量保留细节信息；第二个卷积层stride为2，进行下采样，可以减少特征的尺寸提高后续计算效率。

网络结构中包含5个密集块及4个相应的过渡层。其中，密集块用于进行特征提取，密集块中包含跨层连接，有利于提高优化效率；过渡层是第一个转换层，目标是汇聚密集块处理的特征，并进行下采样。

倒数第三个卷积层为一个1*1卷积层，用于汇聚前面信息，进行通道信息交换以及改变通道数量。

最后的两个卷积层摒弃了原始的密集卷积网络(DenseNet)中，kernel_h＝1、kernel_w＝1、pad_h＝pad_w＝1的卷积层，取而代之地采用kernel_h＝3,kernel_w＝5,pad_h＝1,pad_w＝2的卷积层，使得和车牌字符是长矩形的形状更一致，有利于提高检测精度。

目标框检测层采用ssd检测网络的PriorBox层，这个层是原始DenseNet中没的层，是为了符合车牌字符定位的需要，实现对车牌字符区域进行检测而额外设置的层。

在本申请的一些实施例中，上述步骤S300中的车牌字符检测模型的训练过程，可以包括：

A1，将用于训练的车辆图像输入至车牌字符检测模型，确定多个目标检测框；

A2，按照设定的目标函数计算多个目标检测框的损失值，并以该损失值趋近于预设的损失阈值为目标，更新车牌字符检测模型的参数。

其中，用于训练的车辆图像包括车牌正向规则的车辆图像，车牌向右倾斜的车辆图像和车牌向左倾斜的车辆图像。

经过上述的训练过程，对车牌字符检测模型的可学习参数进行更新，使得其能够适用于多种场景下的车牌字符定位。

在本申请的一些实施例中，上述A2中的目标函数可以为：

其中，c为预测置信度，l为预测的位置，g为真实的位置，a为位置回归损失的权重；L_loc为L1 loss回归损失函数，L_conf为softmax分类函数。

x为预设的匹配指示矩阵。具体地，对于第i个default box和第j个ground truth，如果二者匹配则x_i,j＝1，反之，x_i,j＝0。其中，default box是指车牌字符检测模型中默认设定的基础框，其作用是指定框变化的基础值；ground truth是指标注的车牌字符边界框，其作用是给车牌字符检测模型的训练提供标签。

在本申请的一些实施例中，上述步骤S100对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息的过程，可以包括：

通过训练后的Yolo模型对待处理的车辆图像进行处理，得到粗定车牌位置信息；

其中，所述Yolo模型以标注有车牌框的车辆图像作为训练数据训练得到。

例如，首先使用相机采集包含车牌的图片，标注车牌框，得到车牌坐标，将车牌图片和标注文件作为训练数据集，对Yolo模型进行训练，获得训练后的Yolo模型。

然后将训练好的Yolo模型部署到推理结构上去，输入为待处理的车辆图像，最后计算出粗定车牌位置信息。

上述步骤S400可以采用多种方式实现从多个目标检测框中确定车牌字符定位结果，示例如，非极大值抑制法(Non-Maximum Suppression，NMS)及其各种变形算法。基于此，在本申请的一些实施例中，上述步骤S400从多个目标检测框中确定车牌字符定位结果的过程，可以包括：

B1，构建第一列表和第二列表，其中，第一列表初始化为包括该多个目标检测框的坐标数据，第二列表初始化为空表；

B2，从第一列表中确定置信度值最大的第一目标检测框；

B3，将第一目标检测框从第一列表中移除，并加入到第二列表中；

B4，针对第一列表中的每个目标检测框，获取目标检测框与第一目标检测框的交并比值；

B5，将交并比值大于预设阈值的目标检测框从第一列表中移除，并返回执行B2，直到第一列表为空；

B6，根据第二列表中的目标检测框确定车牌字符定位结果。

其中，交并比(Injection Over Union，IOU)是指二个框的交并比，也就是二个框交集面积除以并集面积，作用是定义二个框的重合程度。

通过上述处理过程，可以去除冗余的目标检测框，并保留检测结构评价较优的目标检测框。

例如，在一个可选的实施例中，对于bounding box的列表B及其对应的置信度S，选择具有最大置信度的检测框M，将其从B集合中移除并加入到列表D中。将列表B中剩余检测框与M的交并比大于阈值N_t的框从列表B中移除，重复这个过程，直到列表B为空。其中，bounding box是指矩形框，作用是指定预测框；常用的阈值N_t为0.3～0.5。

可以理解的是，当待处理的车辆图像本身包含多个车牌时，列表D中可能保留多个检测框。若最后列表D中保留有多个检测框，可以根据实际需要取置信度S最高的检测框作为车牌字符定位结果，也可以将列表D中的所有检测框作为车牌字符定位结果。最后得到最好的一个框坐标。

对于从列表D中所确定的检测框，将该检测框的坐标进行处理，分别乘以输入图像的宽和高，获得相对于输入图像中车牌字符的坐标。

在本申请的一些实施例中，在上述步骤S200中通过训练后的车牌字符检测模型对所述第一特征图像进行处理之前，还可以包括：

C1，将所述第一特征图像缩放到预设的尺寸，得到预设尺寸的第一特征图像；

C2，对预设尺寸的第一特征图像的色度值和亮度值进行归一化处理。

下面对本申请实施例提供的车牌字符定位装置进行描述，下文描述的车牌字符定位装置与上文描述的车牌字符定位方法可相互对应参照。

请参见图3，本申请实施例提供的车牌字符定位装置，可以包括：

车牌粗定位单元21，用于对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息；

第一特征图像获取单元22，用于基于所述粗定车牌位置信息，从所述车辆图像中截取车牌字符感兴趣区域，得到第一特征图像；

目标检测框获取单元23，用于通过训练后的车牌字符检测模型对所述第一特征图像进行处理，得到多个目标检测框；

定位结果获取单元24，用于从所述多个目标检测框中确定车牌字符定位结果；

其中，所述车牌字符检测模型被配置为，具备对输入的图像提取图像特征，并基于卷积层对图像特征进行卷积处理，得到第二特征图像，通过目标框检测层从所述第二特征图像中确定多个目标检测框的能力；其中，所述卷积层的卷积核大小以及所述目标框检测层的检测框的宽高比匹配于车牌的形状特性。

在本申请的一些实施例中，对目标检测框获取单元23中的所述车牌字符检测模型进行训练的过程，可以包括：

将用于训练的车辆图像输入至所述车牌字符检测模型，确定多个目标检测框；

按照设定的目标函数计算所述多个目标检测框的损失值，并以所述损失值趋近于预设的损失阈值为目标，更新所述车牌字符检测模型的参数；

其中，所述用于训练的车辆图像包括车牌正向规则的车辆图像，车牌向右倾斜的车辆图像和车牌向左倾斜的车辆图像。

在本申请的一些实施例中，车牌粗定位单元21对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息的过程，可以包括：

通过训练后的Yolo模型对待处理的车辆图像进行处理，得到粗定车牌位置信息；

其中，所述Yolo模型以标注有车牌框的车辆图像作为训练数据训练得到。

在本申请的一些实施例中，定位结果获取单元24从所述多个目标检测框中确定车牌字符定位结果的过程，可以包括：

构建第一列表和第二列表，其中，所述第一列表初始化为包括所述多个目标检测框的坐标数据，所述第二列表初始化为空表；

从所述第一列表中确定置信度值最大的第一目标检测框；

将所述第一目标检测框从所述第一列表中移除，并加入到第二列表中；

针对所述第一列表中的每个目标检测框，获取所述目标检测框与第一目标检测框的交并比值；

将交并比值大于预设阈值的目标检测框从所述第一列表中移除，并返回执行所述从所述第一列表中确定置信度值最大的第一目标检测框的步骤，直到所述第一列表为空时，根据所述第二列表中的目标检测框确定所述车牌字符定位结果。

在本申请的一些实施例中，车牌字符定位装置还可以包括图像预处理单元。图像预处理单元用于在通过训练后的车牌字符检测模型对所述第一特征图像进行处理之前对第一特征图像进行预处理，该预处理的过程可以包括：

将所述第一特征图像缩放到预设的尺寸，得到预设尺寸的第一特征图像；

对预设尺寸的第一特征图像的色度值和亮度值进行归一化处理。

本申请实施例提供的车牌字符定位装置可应用于车牌字符定位设备。可选的，图4示出了车牌字符定位的硬件结构框图，参照图4，车牌字符定位设备的硬件结构可以包括：至少一个处理器31，至少一个通信接口32，至少一个存储器33和至少一个通信总线34。

在本申请实施例中，处理器31、通信接口32、存储器33、通信总线34的数量为至少一个，且处理器31、通信接口32、存储器33通过通信总线34完成相互间的通信；

处理器31可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等；

存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器33存储有程序，处理器31可调用存储器33存储的程序，所述程序用于：

对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息；

基于所述粗定车牌位置信息，从所述车辆图像中截取车牌字符感兴趣区域，得到第一特征图像；

通过训练后的车牌字符检测模型对所述第一特征图像进行处理，得到多个目标检测框；

从所述多个目标检测框中确定车牌字符定位结果；

其中，所述车牌字符检测模型被配置为，具备对输入的图像提取图像特征，并基于卷积层对图像特征进行卷积处理，得到第二特征图像，通过目标框检测层从所述第二特征图像中确定多个目标检测框的能力；其中，所述卷积层的卷积核大小以及所述目标框检测层的检测框的宽高比匹配于车牌的形状特性。可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：

对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息；

基于所述粗定车牌位置信息，从所述车辆图像中截取车牌字符感兴趣区域，得到第一特征图像；

通过训练后的车牌字符检测模型对所述第一特征图像进行处理，得到多个目标检测框；

从所述多个目标检测框中确定车牌字符定位结果；

其中，所述车牌字符检测模型被配置为，具备对输入的图像提取图像特征，并基于卷积层对图像特征进行卷积处理，得到第二特征图像，通过目标框检测层从所述第二特征图像中确定多个目标检测框的能力；其中，所述卷积层的卷积核大小以及所述目标框检测层的检测框的宽高比匹配于车牌的形状特性。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

综上所述：

本申请通过对待处理的车辆图像进行车牌粗定位，得到粗定车牌位置信息，通过粗定车牌位置信息可以获取车牌字符感兴趣区域。然后通过训练后的车牌字符检测模型对车牌字符感兴趣区域的图像进行处理，得到多个候选检测框。其中，该多个候选检测框可能会存在相互重叠。最后对所述多个候选检测框进行后处理，剔除冗余的候选框，确定车牌字符定位结果。

其中，对所述车牌字符检测模型进行了特定的配置，通过将所述卷积层的卷积核的大小配置成匹配于车牌的形状特性，有利于更有效地提取车牌字符的图像特征；通过将所述目标框检测层的检测框的宽高比配置成匹配于车牌的形状特性，有利于准确地捕获车牌字符文本框。

进一步地，本申请级联了车牌粗定位、车辆字符检测模型处理和模型输出的后处理这几大模块，能够比较精确地实现车牌字符定位。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。