一种整体与部件目标检测相结合的非约束车牌精准定位方法
阅读说明：本技术 一种整体与部件目标检测相结合的非约束车牌精准定位方法 (Whole and component target detection combined non-constrained license plate accurate positioning method ) 是由 徐光柱 刘高飞 匡婉 万秋波 刘鸣 雷帮军 石勇涛 于 2021-07-21 设计创作，主要内容包括：一种整体与部件目标检测相结合的非约束车牌精准定位方法,首先利用YOLOv3算法同步检测以车牌顶点为中心的4类左上、右上、右下、左下顶点目标区域和车牌区域,然后通过定位车牌顶点区域间接实现对车牌顶点位置的预测,并结合忽略类别的非极大值抑制算法CF-NMS、顶点区域归类、单一缺失顶点预测的后处理操作获取准确的车牌区域。最后,为进一步提升整体与部件目标检测相结合的车牌定位算法的性能,将多模型融合、粗定位与精定位结合等策略融入定位算法中,并经过实验验证了策略的有效性。本发明设计的整体与部件目标检测相结合的车牌定位算法,在不改变YOLOv3模型结构,同时不增加额外计算量的基础上实现了车牌顶点目标的检测,实现车牌精准定位。(A method for accurately positioning an unconstrained license plate by integrally and integrally detecting a component target comprises the steps of synchronously detecting 4 types of target areas with top left, top right, bottom right and bottom left vertexes and license plate areas by using a YOLOv3 algorithm, indirectly predicting the top point position of the license plate by positioning the top point area of the license plate, and acquiring an accurate license plate area by combining post-processing operations of a non-maximum suppression algorithm CF _ NMS for neglecting categories, top point area classification and single missing top point prediction. Finally, in order to further improve the performance of the license plate positioning algorithm combining the whole and the part target detection, strategies such as multi-model fusion, combination of coarse positioning and fine positioning and the like are fused into the positioning algorithm, and the effectiveness of the strategies is verified through experiments. The license plate positioning algorithm combining the whole detection and the component target detection realizes the detection of the top target of the license plate and the accurate positioning of the license plate on the basis of not changing the structure of a YOLOv3 model and not increasing extra calculation amount.)
技术领域
本发明涉及图像处理技术领域，具体涉及一种整体与部件目标检测相结合的非约束车 牌精准定位方法。
背景技术
近年来，在高速收费站、停车场、小区出入口等固定场景下的车牌识别系统已经实现 了成熟的商业应用，但在手机等各种移动设备拍摄的复杂车牌图像上的效果还有待提升。 精准的车牌检测方法是正确识别车牌的前提，现有车牌检测方法采用矩形框对车牌进行标 注，如图1(a)所示，常会引入大量背景冗余区域，对车牌号识别造成困难。如图1(b)所示，对非理想环境下的车牌进行精准选取，能够有效提高后续车牌号识别的准确率，在非理想环境下的车牌识别问题中是最为关键的一步。现有的车牌检测方法主要分为两类，一类是基于图像处理的传统方法，一类是基于深度学习的方法。
基于图像处理的传统方法通常利用人工设定的图像边缘、颜色、纹理等信息对车牌进 行检测。文献[1]但斌斌,梅文浩,伍世虔等.畸变车牌定位与矫正方法研究[J].制造业自动 化,2019,41(3):7-11记载的霍夫变换方法，通过检测图像中的直线，找到车牌的四条边，然 后利用四边交点获取车牌顶点实现车牌精准定位。但该方法在图片较小和边缘模糊的情况 下，检测效果较差。
文献[2]陈宏照,谢正光,卢海伦.颜色与边缘纹理相结合的车牌定位方法[J].电脑硬件：现 代电子技术,2018,41(21):67-70.记载的颜色特征方法，利用车牌大多为蓝底、黄底的特点， 根据车牌背景和字符固定颜色搭配，分割出车牌区域，然后利用数学形态学方法获取准确 的车牌区域。但在车牌反光情况下，或者是图片中出现类似于车牌的交通标识牌情况下， 易出现错检现象。
文献[3]郑贵林,吴黄子桑.基于MSER与边缘投影的车牌定位算法[J].计算机工程与设 计,2019,40(1):241-244记载的基于MSER方法，将图片转化为灰度图，利用连通域分析获 取车牌位置，但若图中极值区域太多，定位的车牌区域会出现大量冗余区域。
从当前研究状况来看，基于传统图像处理方法存在以下局限性：①、人为设定的特征 比较单一，在应对非约束场景时很难在各种情况都实现较好的效果。②、对于车牌较小、模糊、倾斜程度大的场景，传统方法很难处理。③、当场景中出现与车牌十分类似的交通牌、广告牌等区域时，传统方法很容易受到干扰出现错检。
深度卷积神经网络(DCNN)近几年高速发展，其强大的多层次特征提取能力被广泛应用于目标检测领域，现有的基于深度学习的车牌检测方法按照检测步骤可分为单阶段方法和多阶段方法。单阶段方法是指通过一个网络模型直接预测车牌区域。
文献[4]Tian Y,Lu X,Li W X.License plate detection and localization incomplex scenes based on deep learning[A].2018 Chinese Control and DecisionConference(CCDC)[A].Los Alamitos:IEEE Computer Society Press,2018:6569-6574.利用滑动窗口策略结合选择性搜索 算法获取车牌候选区域，最后使用支持向量机对候选区域进行分类，从而确定车牌区域。 但当旋转角度大或车牌与相机距离较远等情况下，其定位效果还有待提升。
文献[5]Xu Z B,Yang W,Meng A J,et al.Towards end-to-end license platedetection and recognition:A large dataset and baseline[A].European conferenceon computer vision[C]. Heidelberg:Springer,2018:261-277.提出了一种用于车牌检测与识别的端到端网络RPNet， 该网络同时完成车牌定位与识别两个任务。为验证网络性能，作者构建了多场景下拍摄的 中国城市停车数据集(CCPD)，效果优于一些常见的目标检测网络。
文献[6]Xie L L,Ahmad T,Jin L W,et al.A new CNN-based method formulti-directional car license plate detection[J].IEEE Transactions onIntelligent Transportation Systems,2018, 19(2):507-517.提出了一个基于CNN的多方向车牌检测框架，利用旋转角度预测机制确定 车牌的精确旋转矩形区域，该方法在检测精度和计算复杂度上均具有优势，但只适合处理 平面内的旋转问题，对于三维空间内的倾斜车牌仍然无法精确定位。
文献[7]中国专利“申请号：202010225652.0”设计了一种复杂环境下基于图像增强的 深度神经网络车牌定位方法，建立了一个全卷积神经网络作为车牌检测网络，然后对各种 复杂环境下如凌晨、黄昏、有雾等模糊图像下的车牌进行图像增强，提高了整个模型的车 牌检测准确率。但该方法只是对模糊车牌的粗定位有一定帮助，并没有解决倾斜车牌的精 准定位问题。
多阶段方法是通过多个网络模型对车牌进行定位，即先确定车牌候选区域，再在该区 域内定位车牌。文献[8]He K M,Gkioxari G,Dollár P,et al.Mask R-CNN[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2020,42(2):386-397.提出一种基于 Mask-RCNN结构的多阶段车牌检测方法，首先利用与GoogLeNet相似的卷积模块提取图 像特征，该模块在保证计算速度的同时提升了对细粒度特征检测能力；然后将提取到的特 征图输入到不包含分割步骤的Mask-RCNN网络中，获取图像中的车牌候选区域，为适应 车牌检测，根据车牌尺寸大小及长宽比例，设置了12组anchor，该网络利用全连接层输出 两个分支的信息，即车牌和非车牌分类和边界框回归；最后过滤车牌和非车牌区域，使用 Mask-RCNN中的RoI-Align层，并将池化层大小设置为8×7，尽可能降低车牌误检情况。 该方法在多个公共车牌数据集上均达到了较高的检测精度，但对于光线过亮或过暗的车牌 图像及包含多个车牌的图像存在漏检的情况。
文献[9]Han J,Yao J,Zhao J,et al.Multi-oriented and scale-invariantlicense plate detection based on convolutional neural networks[J].Sensors,2019,19(5):1175-1193.提出了一种基于 CNN的多方向、尺度不变的车牌检测方法。其网络由两个子网络组成：(1)RPN子网络 用于获取车牌候选区域；(2)检测子网络用于确定正样本候选区域并通过回归的方式得 到车牌区域，这两个子网络共享基于Faster R-CNN构建的特诊提取网络层。该方法利用平 行四边形对车牌进行定位，并通过结合锚框的多输出层候选区域提取策略和特征融合策略 实现对尺度跨度大的车牌的检测，其在不同方向和多尺度车牌检测方面优于现有方法，但 对于较小的车牌目标还存在误检和漏检。
文献[10]中国专利“申请号：202010223731.8”设计了一种面向无约束条件下的车牌定 位及识别方法，首先对待检测数据进行数据增强，然后将数据输入到已训练好的车牌检测 模型YOLOv3-tiny中去，得到车牌的大致位置，最后输入到一个回归网络中，得到顶点坐 标的同时进行透视矫正，得到无冗余的车牌区域。但该方法对倾斜程度较大的车牌和比较 模糊的车牌效果较差。
发明内容
本发明提供一种整体与部件目标检测相结合的非约束车牌精准定位方法，在不改变 YOLOv3模型结构，同时不增加额外计算量的基础上充分利用YOLOv3网络的优良性能实现 了车牌顶点目标的检测，精准定位车牌区域。
本发明采取的技术方案为：
一种整体与部件目标检测相结合的非约束车牌精准定位方法，通过YOLOv3目标检测算法， 同步检测以车牌顶点为中心的部件目标区域、即车牌顶点区域，以及整体车牌区域；通过 定位车牌顶点区域间接实现对车牌顶点位置的预测；然后结合忽略类别的非极大值抑制算 法CF_NMS、车牌顶点区域归类以及单一缺失顶点预测等后处理操作，实现车牌区域精准定 位；对于无法精准定位的车牌，直接保留其外接矩形区域。
一种整体与部件目标检测相结合的非约束车牌精准定位方法，包括以下步骤：
步骤1：利用YOLOv3目标检测算法模型，对以车牌顶点为中心的目标区域及车牌区域进行 同步检测；
步骤2：使用CF_NMS、车牌顶点区域归类及单一缺失顶点预测，对模型检测结果进行处理， 从而得到精准的车牌区域。
该方法还包括融入多模型定位结果的融合策略，具体步骤如下：
步骤1)：将两种具有不同输入尺寸的YOLOv3目标检测模型所检测到的车牌顶点区域目标 边界框信息保留到集合D中，所有的目标边界框只包含矩形框的中心点、宽高和类别信息， 在进行模型输出结果融合时，将所有车牌顶点区域视为同一类目标进行处理。
步骤2)：建立空集合B，由于此时不存在置信度信息，因此随机取出集合D中的一个车 牌顶点区域边界框将其放入集合B，将集合D中其余顶点区域边界框与其求IoU，将 IoU>0.45的顶点区域边界框信息从集合D中删除。
步骤3)：重复步骤2)，直至集合D中包含的顶点区域个数为零，则最终得到的集合B中所有的顶点区域边界框，即为顶点区域融合的结果。
步骤4)按照相同的方式，对两种具有不同输入尺寸的YOLOv3目标检测模型所检测到的车 牌区域检测框进行融合，保留最终得到的车牌顶点区域及车牌区域融合结果。
A、B、C、D分别为车牌右下顶点、左下顶点、左上顶点、右上顶点顶点，4个正方 形框分别为4个顶点对应的顶点区域，即模型训练的目标区域；
目标区域的边长与车牌大小相关，左上顶点C与左下顶点B对应的正方形区域边长相同， 长度为2hleft，右上顶点D与右下顶点A对应的区域边长相同，长度为2hright，其中：hleft、 hright分别为BC、AD的高度之差，
使用上述方式将车牌的4个顶点区域截取出来，车牌的每一类顶点区域具有相似性，其包 含车牌的区域皆位于同一直角方位，其余方位均为背景信息；最后将车牌外接矩形区域也 作为一类，和车牌顶点区域共同作为模型训练的目标区域。
所述步骤2中，忽略类别的非极大值抑制算法CF_NMS包括以下步骤：
步骤2.1：将图像中检测到的所有车牌顶点区域类别设定为统一的取值；
步骤2.2：将所有车牌顶点区域边界框信息放入集合B中，建立空集合D，用于存放需要 保留的边界框。
步骤2.3：从集合B中取出置信度最大的边界框加入空集合D，并从集合B删除这一边界 框信息，将取出的边界框与集合B中其他所有边界框做如公式(1)所示的IoU运算，然后 从集合B删除所有IoU大于规定阈值0.7的目标边界框；
步骤2.4：重复步骤2.3，直至集合B为空，最终得到的集合D，即包含所有需要保留的车 牌顶点区域边界框。
所述步骤2中，车牌顶点区域归类方法包括如下步骤：
步骤2.5：将CF_NMS处理后得到的顶点区域目标及车牌区域目标分别放入集合B1和集合 B2中，建立空集合D1。
步骤2.6：建立空集合D0，从B2中取出任意一个车牌区域，将其信息保存在D0中并从B2 删除，从B1中取出所有与其存在交集的顶点区域边界框，将它们的信息保存在D0中并从 B1删除。
步骤2.7：判断D0中边界框个数是否大于3，即保留检测到的车牌顶点区域个数为3、4 或更多的情况，因为当顶点区域少于3个时，无法得到精准的车牌区域。若顶点区域个数 大于等于3，则将D0加入D1中，否则不进行任何处理。
步骤2.8：重复步骤2.6和步骤2.7，直至B1或B2为空。
步骤2.9：若B2为空且B1中剩余车牌顶点区域数目大于3，则将顶点区域信息保存在空 集合D2中，并将D2加入D1，否则，不进行任何处理。
所述步骤2中，车牌顶点区域归类步骤后，现有的车牌区域与车牌顶点区域的对应情况分 为3种：1个车牌区域和对应的3个顶点区域、1个车牌区域和对应的4个及以上顶点区 域、0个车牌区域和4个及以上顶点区域；
对于4个顶点区域确定的情况，可以直接获取4个边界框中心；
对于顶点区域数量超过4个的情况，这是由于包含错误顶点区域，可以从中随机选取4个 车牌区域边界框中心，然后按照一定顺序连接即可得到精确的车牌区域；
对于只有3个顶点区域的情况，可以结合其对应的车牌区域预测缺失的顶点位置。
所述步骤2中，得到图像中相应车牌的4个顶点坐标，将4个顶点按照一定的顺序连接即 可得到车牌区域，具体方法如下：
首先找出位于最上端的顶点A，然后计算该顶点与其他三个顶点的连线与该顶点水平向右 线段的夹角α、β、γ，其中，对应夹角度数最小与最大的顶点与A相邻，分别记为点B 与点D，剩下的顶点记为点C，最后按照A-B-C-D-A的顺序将顶点连接起来，即可得到车 牌区域。
本发明一种整体与部件目标检测相结合的非约束车牌精准定位方法，技术效果如下： 1)当前最常见的商用车牌识别系统对场景变化较敏感，在应对现实非理想环境中的车牌 识别问题时存在车牌漏检、误检、标记不准等问题。主要原因是非约束环境下车牌较小且 存在倾斜、模糊、破损等情况，目前的模型难以对各种情况下的车牌实现良好的定位效果。 本发明设计了一种整体与部件目标检测相结合的单阶段车牌定位算法，能获取最小外接四 边形区域对车牌进行精准定位。
2)已有的车牌定位方法常大多车牌目标看作一个整体目标，用矩形框去定位目标。为了 得到精准定位，一般会采用在目标检测网络后级联回归网络，进一步检测车牌顶点。这类 方法由于级联了更多网络，一方面增加了计算负荷，另一方面是仅适用于单个车牌目标串 行方式的检测。本发明将车牌整体目标定位和车牌顶点的检测均统一到目标检测的框架下， 一并实现车牌整体区域和车牌顶点区域的检测，并通过后续融合策略实现多种复杂情况的 车牌精准定位。本发明设计的基于部件目标检测相结合的车牌定位方法巧妙地利用矩形检 测框检测车牌顶点区域(部件目标)，在不改变YOLOv3模型结构，同时不增加额外计算 量的基础上实现了车牌顶点目标的检测。
3)现有的通用目标检测算法中，YOLOv3作为典型的端到端算法，在保持较快的检测速度 的同时实现了较高的检测精度，但在极为复杂的场景中仍然存在少量的漏检现象。针对顶 点检测中的少量顶点漏检问题，本发明设计了一种单一缺失顶点预测方法，能够有效应对 单一顶点缺失问题。
4)本发明中，对于用手持设备拍摄的室外停车场的车辆、高位摄像头下运动车辆等非理 想环境下拍摄的车辆图片，由于拍摄方向存在不固定性，图像中的车牌目标会存在不同的 倾斜角度，使用通用的目标检测算法得到的目标区域中会包含较多的冗余背景信息。为了 实现后续对车牌号的精准识别，本发明设计了一种整体与部件目标检测相结合的车牌定位 方法。该方法通过YOLOv3目标检测算法对以车牌顶点为中心的区域及车牌区域进行同步 检测，从而间接获取车牌顶点，然后结合CF_NMS、车牌顶点区域归类及单一缺失顶点预测 等后处理操作实现车牌区域精准定位。本发明设计的整体与部件目标检测相结合的车牌定 位方法在原有YOLOv3模型上不增添额外计算量，继承YOLOv3优良性能的基础上，能够获 取车牌的四个顶点位置，实现车牌的精准定位。
5)本发明提出了一种车牌单一缺失顶点预测方法，能有效应对目标检测网络在复杂场景 下存在的单一点漏检问题。通过已经检测到的车牌3个车牌顶点信息推理出第四个顶点的 位置，计算过程简单，可靠性强。
附图说明
图1(a)为车牌粗定位示意图；
图1(b)为车牌精定位示意图。
图2为YOLOv3网络结构图。
图3为车牌精准定位流程图。
图4为车牌4个顶点区域与实际车牌区域的关系图。
图5(a)为车牌左上顶点区域图；
图5(b)为车牌左下顶点区域图；
图5(c)为车牌右上顶点区域图；
图5(d)为车牌右下顶点区域图；
图6为CF_NMS处理效果图。
图7为存在多个车牌的情况图。
图8为车牌顶点归类处理效果图。
图9(a)为车牌单一缺失顶点预测原理图(以AC为对角线作平行四边形)；
图9(b)为车牌单一缺失顶点预测原理图(以BC为对角线作平行四边形)；
图9(c)为车牌单一缺失顶点预测原理图(以AB为对角线作平行四边形)。
图10为根据4个顶点确定车牌区域的示意图。
图11(a)为608×608输入尺寸下的检测效果图；
图11(b)为1024×1024输入尺寸下的检测效果图；
图11(c)融合后效果图。
图12为非约束场景下的车牌精定位效果图。
具体实施方式
一种整体与部件目标检测相结合的非约束车牌精准定位方法，首先，利用YOLOv3算 法同步检测以车牌顶点为中心的4类目标区域(左上、右上、右下、左下顶点目标区域)和整体车牌区域。然后，通过定位车牌顶点区域间接实现对车牌顶点位置的预测，并结合忽略类别的非极大值抑制算法(CF_NMS)、顶点区域归类、单一缺失顶点预测的后处理 操作获取准确的车牌区域。最后，为进一步提升整体与部件目标检测相结合的车牌定位算 法的性能，将多模型融合、粗定位与精定位结合等策略融入定位算法中，并经过实验验证 了策略的有效性。本发明设计的整体与部件目标检测相结合的车牌定位算法，在不额外增 加YOLOv3计算量的基础上，实现了车牌精准定位。
从现实场景中获取的图像时，摄像头和车牌距离较远、角度较大，导致图片中的车牌较小， 而现有的目标检测网络对于小目标的检测效果普遍不佳，因此如何精确检测小目标则显得 尤为重要。YOLOv3是当前最为流行的单阶段目标检测网络之一，其最大的特点在于能够 直接通过回归的方式实现对目标位置及类别的一次性预测，因此在运行速度上具有很大的 优势。YOLOv3通过融合多种模型优化策略，不仅保持了先前版本检测速度快的优势，提 升了目标检测的精度。最重要的是，它加强了对小目标的检测能力，得到了广泛的应用， 其网络结构如图2所示。YOLOv3可分为主干网络和预测网络，主干网络模块为Darknet-53 网络的前52层，该模块使用大量的残差结构来增加网络深度，提升了网络对深层次特征的提取效果。预测网络将深层次特征上采样后与浅层特征进行融合，从而提升了目标检测效果，并为每个特征图分配3组大小不同的锚框，以适应不同尺寸目标的检测。本发明选 用目前使用最为广泛的非约束环境下拍摄的大规模中国城市停车数据集CCPD作为训练数据。选用数据集的方式为：将Base子集随机分为相等的两部分，10万张作训练集，其余 部分及CCPD中除NP外的其余子集共25万作测试集。训练时，随机选取训练集中20％ 的图像作验证集，数据集标签的制作以车牌4个顶点信息为基础。由于CCPD数据集标签 中存在少量错误，对模型训练造成负面影响，为了提升模型效果，本发明对CCPD中的标 签经过重新标注，提升了整体车牌的检测效果。
非约束环境下的车牌精准定位的难点在于车牌图像的获取会受到不良天气(雨、雪、雾等)、 异物遮挡、拍摄角度与距离随机、相机抖动造成的模糊等不定因素的影响，使得图像中的 车牌呈现目标尺寸小、倾斜角度大、模糊等形态，从而大大增加了车牌检测的难度，已有 的技术对这类非理想环境下车牌图像的定位效果还有待提升。因此，本发明基于以顶点为 中心的局部区域检测的思想设计了一种整体与部件目标检测相结合的车牌定位方法。本发 明内容包括：首先利用YOLOv3目标检测算法同步检测车牌顶点区域和整体车牌区域，然 后结合CF_NMS(无类别非极大抑制)、车牌顶点归类、单一缺失顶点预测的后处理过程获 取精准的车牌区域。对于无法精准定位的车牌，可直接保留其外接矩形区域。另外，为了 进一步提升车牌精定位的效果，本发明将多模型定位结果融合策略融入目标检测中，具体 流程如图3所示。
由于非约束环境下的车牌在图像所占区域相对较小，所选取的车牌顶点区域的尺寸如果太 小，其特征不明显而不利于目标检测网络进行定位；顶点区域尺寸设置过大，目标区域特 征不统一不利于网络学习，从而使模型无法收敛影响检测效果。为了使所选取的车牌顶点 区域的特征更具有一致性。本发明提出一种自适应方式设定车牌4个顶点目标区域尺寸。 如图4所示为车牌4个顶点区域与实际车牌区域的关系图，图4中A、B、C、D分别为车牌右下、左下、左上、右上顶点，4个正方形框分别为4个顶点对应的顶点区域，即模型 训练的目标区域。目标区域的边长与车牌大小相关，左上顶点C与左下顶点B对应的正方 形区域边长相同，长度为2hleft，右上顶点D与右下顶点A对应的区域边长相同，长度为 2hright，其中，hleft、hright分别为BC、AD的高度之差。使用上述方式将4张车牌的4个 顶点区域截取出来，如5(a)、图5(b)、图5(c)、图5(d)所示，车牌的每一类 顶点区域具有相似性，其包含车牌的区域皆位于同一直角方位，其余方位均为背景信息。 最后将车牌外接矩形区域作为一类，共5类作为模型训练的目标区域。
在车牌顶点区域及整体车牌区域同步检测结束后，还需要使用CF_NMS、车牌顶点归 类及单一缺失顶点预测的后处理操作对模型检测结果进行处理，从而得到准确的车牌区域。 CF_NMS与常用的NMS最大的不同之处在于，它将多个类的边界框当作同一类进行处理， 适用于处理类别与类别之间允许重叠区域不大的情况。其步骤为：
步骤1：将图像中检测到的所有车牌顶点区域类别设定为统一的取值。
步骤2：将所有顶点区域边界框信息放入集合B中，建立空集合D用于存放需要保留的边 界框。
步骤3：从B中取出置信度最大的边界框加入D，并从B删除这一边界框信息，将取出的 边界框与B中其他所有边界框做如公式(1)所示的IoU运算，然后从集合B删除所有IoU大于规定阈值0.7的目标边界框。
步骤4：重复步骤3，直至集合B为空，最终得到的集合D即包含所有需要保留的车牌顶 点区域边界框。最终得到效果图如图6所示，CF_NMS可抑制掉多余的检测框，只留下检测所需要的5类。
如图7所示，当图7中存在多个车牌时，需要对顶点区域进行归类以获知正确的车牌区域。 本发明设计一种车牌顶点归类方法，当某个车牌顶点区域与某个车牌区域存在交集时，该 顶点区域中心点就为其对应车牌区域中的某个车牌顶点。车牌顶点归类处理效果如图8所 示，图8中黄色矩形框标示了归类结果。
车牌顶点区域归类步骤如下：
步骤1)：将CF_NMS处理后得到的顶点区域目标及车牌区域目标分别放入集合B1和集合 B2中，建立空集合D1。
步骤2)：建立空集合D0，从B2中取出任意一个车牌区域，将其信息保存在D0中并从B2 删除，从B1中取出所有与其存在交集的顶点区域边界框，将它们的信息保存在D0中并从B1删除。
步骤3)：判断D0中边界框个数是否大于3，即保留检测到的车牌顶点区域个数为3、4 或更多的情况，因为当顶点区域少于3个时，无法得到精准的车牌区域。若顶点区域个数大于等于3，则将D0加入D1中，否则不进行任何处理。
步骤4)：重复步骤2)和步骤3)，直至B1或B2为空。
步骤5)若B2为空且B1中剩余车牌顶点区域数目大于3，则将顶点区域信息保存在空集 合D2中，并将D2加入D1，否则，不进行任何处理。
在抑制了所有的误检顶点后，图8中的1区域和2区域是两类归类结果，可以看出本发明 中的车牌顶点归类方法可以应对图中存在多车牌和存在误检顶点的情况。
经过车牌顶点归类步骤后，现有的车牌区域与车牌顶点区域的对应情况分为3种：1个车 牌区域和对应的3个顶点区域、1个车牌区域和对应的4个及以上顶点区域、0个车牌区 域和4个及以上顶点区域。对于4个顶点区域确定的情况，可以直接获取4个边界框中心。而对于车牌顶点区域数量超过4个的情况，这是由于包含错误顶点区域，但这种情况是少数，因此可以从中随机选取4个车牌区域边界框中心，然后按照一定顺序连接即可得到精确的车牌区域。对于只有3个顶点区域的情况，可以结合其对应的车牌区域预测缺失的顶点位置。如图9(a)、图9(b)、图9(c)所示，A、B、C为三个顶点区域对应的顶点 位置，黑色矩形框为检测到的矩形车牌区域，根据A、B、C可预测三种平行四边形，即分 别以AC、BC、AB为对角线，但只有以BC为对角线的情况下得到的平行四边形区域才是最 接近真实车牌区域的。判断依据在于，以BC为对角线预测得到的平行四边形与矩形车牌 区域IoU最大，因此，可以通过设定相应的IoU阈值保留预测正确的车牌区域。
经过上述后处理过程后，可以得到图像中相应车牌的4个顶点坐标，将4个顶点按照 一定的顺序连接即可得到车牌区域。然而，已知的4个顶点按顺序连接的方式有多种，而仅有特定的次序才能得到正确的车牌检测框。如图10所示，为根据4个顶点确定车牌区 域的示意图，具体方法如下：首先找出位于最上端的顶点A，然后计算该顶点与其他三个 顶点的连线与该顶点水平向右线段的夹角α、β、γ，其中对应夹角度数最小与最大的顶 点与A相邻，分别记为点B与点D，剩下的顶点记为点C，最后按照A-B-C-D-A的顺序将 顶点连接起来，即可得到车牌区域。
为了进一步提升车牌顶点区域，特别是尺度跨度大的车牌顶点区域目标的检测效果， 本发明在基于YOLOv3的车牌区域及顶点区域同步检测算法中融入多模型融合策略。效果 图如图11(a)、图11(b)、图11(c)所示，检测结果融合具体步骤如下：
步骤①：将608×608和1024×1024两种输入尺寸下的YOLOv3模型所输出的车牌顶点区域目标边界框信息保留到集合D中，所有的目标边界框只包含矩形框的中心点、宽高和类别信息，在进行模型融合时，将所有车牌顶点区域视为同一类目标进行处理。
步骤②：建立空集合B，由于此时不存在置信度信息，因此随机取出D中的一个车牌顶点区域边界框将其放入B，将D中其余顶点区域边界框与其求IoU，将IoU>0.45的顶点 区域边界框信息从D中删除。
步骤③：重复步骤②，直至集合D中包含的顶点区域个数为零，则最终得到的B中所有的顶点区域边界框即为顶点区域融合的结果。
步骤④：按照相同的方式，对两种具有不同输入尺寸的YOLOv3目标检测模型所检测到的车 牌区域检测框进行融合，保留最终得到的车牌顶点区域及车牌区域融合结果。与单个检测 模型效果相比，融合后的效果有明显提升。
图12所示为使用整体与部件目标检测相结合的车牌定位方法精定位正确的效果及确 定4顶点后的车牌矫正效果，可以看出：本发明所提出的方法在非理想条件下获取的车牌 图像上均能取得不错的精定位效果。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种图像识别的网络构建方法、装置及设备