具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

在本实施例中，如图1所示，本发明一种通用型车牌文本识别方法，包括以下步骤：

S1、车牌图片预处理；

车牌图片预处理：将原始车牌图片的四个边按比例扩张，尺寸大小为300*300，保证原始车牌完整性；

S2、搭建车牌文本识别网络；

车牌文本识别网络由车牌字符检测网络与车牌字符识别网络构成。

S2.1、搭建车牌字符检测网络；

本实施例基于TextBoxes++模型结构进行字符检测，如图2所示，首先保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；

S2.2、搭建车牌字符识别网络；

如图3所示，搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；

其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；

全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；

输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；

下面我们对车牌文本识别网络的训练进行描述，训练过程中选取基于S1预处理后两个通用的车牌数据集，记为第一车牌数据集和第二车牌数据集；

利用第一车牌数据集训练车牌字符检测网络；

1)、车牌图片字符标定

选取第一车牌数据集，并对其中的所有车牌的每个字符进行标定，将每个字符标定为四边形框，得到所有字符的标定框；记其中一个字符的四边形标定框为g＝(x_g1,y_g1,x_g2,y_g2,x_g3,y_g3,x_g4,y_g4)，其中，x_g1,y_g1,x_g2,y_g2,x_g3,y_g3,x_g4,y_g4为标定框四个顶点坐标，左上为起点，顺时针排布；

2)、特征层中预选框的生成；

将步骤1)中完成字符标定的第一车牌数据集输入至S2.1中车牌字符检测网络，在网络的每个特征层中依据各层尺度生成多个矩形预选框，其中，对于第i层特征层的第j个矩形预选框表示为(x_ij,y_ij,w_ij,h_ij)，x_ij,y_ij,w_ij,h_ij分别为此矩形预选框的中心点坐标与宽高；

利用如下公式计算此矩形预选框的四个顶点坐标，以左上的顶点为起点，顺时针排布，依次记为(x_ij1,y_ij1),(x_ij2,y_ij2),(x_ij3,y_ij3),(x_ij4,y_ij4)；

由此，得到第i层特征层的第j个矩形预选框，记为

d＝(x_ij,y_ij,w_ij,h_ij,x_ij1,y_ij1,x_ij2,y_ij2,x_ij3,y_ij3,x_ij4,y_ij4)

3)四边形标定框与矩形预选框的匹配

基于IOU对2)中生成的多个矩形预选框与1)中的车牌字符四边形标定框进行匹配；在本实施例中，如图4所示，为方便操作，此处IOU对应的车牌字符四边形标定框取其外接接矩形进行计算。

其中，A表示四边形标定框外接矩形内像素点的个数，B为矩形预选框内像素点的个数；

设定匹配的IOU阈值为IOU_threshold，如果满足IOU＞IOU_threshold，则表示矩形预选框表示匹配成功，可代入后续计算；否则，舍弃；

4)、特征层中字符预测框生成

在S2.1车牌字符检测网络的6层特征层中，根据3)将每个特征层中生成的预选框d与标定框g进行匹配，若匹配成功则在对应第i层特征层输出预选框d与标定框g四个顶点的偏差值与对应类别置信度，如下表示

(Δx_i1,Δy_i1,Δx_i2,Δy_i2,Δx_i3,Δy_i3,Δx_i4,Δy_i4,c)，i∈{1…6}

其中Δx_i1,Δy_i1,Δx_i2,Δy_i2,Δx_i3,Δy_i3,Δx_i4,Δy_i4为在i特征层匹配上的预选框d与标定框g四个顶点坐标差值，c为对应类别的置信度，再由如下公式，在第i层特征层中，从预选框d转换得到的预测框，记为q。

x_qn＝x_ijn+w_ij×Δx_in,n＝1,2,3,4

y_qn＝y_ijn+h_ij×Δy_in,n＝1,2,3,4

即预测框为q＝(x_q1,y_q1,x_q2,y_q2,x_q3,y_q3,x_q4,y_q4)，其中x_q1,y_q1,x_q2,y_q2,x_q3,y_q3,x_q4,y_q4为预测框四个顶点坐标,以左上的顶点为起点，顺时针排布。

5)、车牌字符检测网络损失函数

车牌字符检测网络的损失函数如下表示

其中，x为是否匹配的指示值，即依据3)匹配准则，若预选框与标定目标框匹配，则x＝1,不匹配则x＝0；c为分类置信度；q为预测框四个顶点坐标；g为标定框四个顶点坐标；分类损失L_conf采用Softmax损失函数；回归损失L_loc采用Smooth_L1损失函数，α为比例系数，此处取值0.2；N为依据3)匹配成功的预选框个数。

6)、车牌字符检测框的输出

由车牌字符检测网络的6个特征层可得到不同尺度的预选框，接着依据3)对预测框进行匹配，再由4)得到各个特征层中的车牌预测框，然后代入5)损失函数进行学习与迭代，使得网络收敛。在6个特征层中均输出字符检测框，即车牌的每个字符会得到多个检测框，最后再利用NMS非极大抑制方法进行后处理，对每个字符得到唯一的检测框。

在本实施例中，得到各个车牌字符的检测框为四边形检测框，以更细的粒度完全包裹车牌字符目标，特别针对于有一定角度倾斜的车牌图片，能有效提升检出车牌字符的完整性，车牌字符检测效果如图5所示。

利用第二车牌数据集训练车牌字符识别网络；

首先将第二车牌数据集传入上述训练完成的车牌字符检测网络，得到第二车牌数据集中每个车牌的字符检测框。然后将这些字符检测框传入S2.2车牌字符识别网络。考虑到实际车牌号存在由A到Z逐次减少的情况，其使得前景字母样本中分部不均，即在前景背景二分类中使用Focal Loss的带调制交叉熵损失函数，以解决样本分布不均问题；在字符多分类中使用Softmax损失函数，反复迭代学习，直至网络收敛，得到训练完成的车牌字符识别网络。

S3、获取车牌字符检测框与框内字符信息；

将预处理完成后的车牌图片输入至S2.1车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为B_i，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至S2.2车牌字符识别网络，得到框内的字符信息；

S4、车牌文本语义恢复；

S4.1、标记车牌图片的字符检测框；

将S3中得到的每个字符检测框B_i按四个顶点坐标的左上顶点为起始点，顺时针进行坐标标记，即B_i的坐标标记为：{(x_i1,y_i1),(x_i2,y_i2),(x_i3,y_i3),(x_i4,y_i4)}；

S4.2、标记各字符检测框的中位线与边界；

如图6所示，以字符检测框B_i的顶点(x_i1,y_i1)与(x_i4,y_i4)的连线构成左边界，记为l_i；以字符检测框B_i的顶点(x_i2,y_i2)与(x_i3,y_i3)的连线构成右边界，记为r_i；

然后取左边界中点为与右边界中点为的连线构成中位线m_i，记中位线长度为|m_i|，其中，|m_i|的计算公式为：

S4.3、延长中位线；

S4.3.1、计算所有字符检测框的中位线的平均值

S4.3.2、设置各字符检测框B_i的中位线缩放比为α_i，且γ为可调参数，此处取值0.2；

S4.3.3、将各字符检测框B_i的中位线按照各自的缩放比在其左右各延长比例，如图7所示，延长后中位线的左右顶点记为s′_i与e′_i；

S4.3.4、以左顶点s′_i与右顶点e′_i的连线构成延长后的中位线，记为m′_i；

S4.4、字符铰接；

S4.4.1、任取一个字符检测框B_i的中位线m′_i，判定m′_i与其中一个字符检测框的左边界l_j或右边界r_j是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界l_i’与r_i’，如图8所示，接着计算字符铰接框的延长后的中位线m_铰接’；然后以字符铰接框的中位线m_铰接’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤S4.4.2；

S4.4.2、选取此字符铰接框的下一个字符检测框，按照步骤S4.4.1所述方法进行相交判定与铰接，直到判断完所有的字符检测框；

S4.4.3、当字符检测框B_i的中位线m′_i与所有的字符检测框都不相交时，则直接将字符检测框B_i更名为字符铰接框；

S4.4.4、对于得到的字符铰接框，根据S4.4.1铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合S3中车牌字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；

在本实施例中，字符铰接的效果图9所示，其中(a)为字符检测框中位线延长线对应其它框左右边界的相交情况，(b)为铰接完成后的得到的多个字符铰接框效果。

S4.5、字符重排

S4.5.1、确定字符串铰接框的水平顺序；

任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框参照S4.4再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其更名为字符串铰接框；同理按照步骤S4.4.4所述方法得到此层的字符串铰接框内文本内容与水平顺序；

S4.5.2、确定字符串铰接框的垂直顺序；

根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；

S4.5.3、重排

如图10所示，根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，其中，W_i为车牌第i层的文本内容；

S5、字典过滤；

考虑到完成语义恢复的车牌文本中存在不符合车牌规范的内容，本发明设计了车牌文本字典过滤算法，删除错误文本，只保留符合车牌文本规则的文本内容。

S5.1、建立车牌字典库；

建立车牌字典库，具体分为省份编号C1，区域编号C2，牌号C3的三个语料库；其中C1为“川”，“京”，“沪”等省份汉字，C2为A到Z字母区域编号，C3为A到Z字母，0到9数字和“学”，“警”等特殊字符组成的牌号。

S5.2、字典库匹配与过滤

遍历字符串铰接框集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，将每个元素W_i依次与C1，C2，C3三个语料库进行匹配，并记录匹配结果。若T中字符串铰接框W_i与C1，C2，C3任一语料库匹配成功，则表明其符合车牌规范，若W_i与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。由此可得到准确的车牌文本信息。

至此，对传入的车牌图片，首先由车牌字符检测网络与识别网络，得到单个字符信息，然后进行字符铰接与重排，恢复车牌文本语义，最后通过字典过滤删除错误内容，可得到准确的车牌文本信息。本专利通用型文本识别结果如图11所示，(a)为传入的原始车牌图片，(b)为经过字符检测，识别，语义恢复后的车牌文本输出结果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。