阅读说明：本技术 一种基于Faster-RCNN的船牌识别方法 (Ship plate identification method based on fast-RCNN ) 是由 宣琦 张鑫辉 翔云 于 2019-08-12 设计创作，主要内容包括：一种基于Faster-RCNN的船牌识别方法,包括以下步骤：1)数据获取：通过港口摄像头采集港口进出船舶的图片；2)数据处理：对原图裁剪获取船牌图片,对船牌图片进行裁剪获取单个文字图片；3)文字切割模型训练：用Faster-RCNN模型训练船牌切割；4)文字识别模型训练：用两个ResNet模型分别训练数字识别跟中文识别；5)模型测试：用训练好的Faster-RCNN模型对船牌图片进行切割,获得各个船牌文字图片的位置,面积,得分和顺序,通过面积跟得分筛选后,再基于船牌文字顺序传入对应ResNet模型,识别各个文字,得到完整船牌名。本发明检测速度快和准确率高,具有较高的实际应用价值。(A ship plate identification method based on fast-RCNN comprises the following steps: 1) data acquisition: acquiring pictures of ships entering and exiting a port through a port camera; 2) data processing: cutting an original image to obtain a ship plate picture, and cutting the ship plate picture to obtain a single character picture; 3) training a character cutting model: training the ship board to cut by using a fast-RCNN model; 4) training a character recognition model: respectively training digital recognition and Chinese recognition by using two ResNet models; 5) and (3) testing a model: cutting the ship plate pictures by using the trained fast-RCNN model to obtain the position, the area, the score and the sequence of each ship plate character picture, screening the ship plate character pictures by the area and the score, transmitting the ship plate character pictures into a corresponding ResNet model based on the ship plate character sequence, identifying each character, and obtaining a complete ship plate name. The invention has the advantages of high detection speed, high accuracy and higher practical application value.)

一种基于Faster-RCNN的船牌识别方法

技术领域

本发明涉及计算机应用技术领域及目标检测领域，特别是涉及一种基于Faster-RCNN的船牌识别方法。

背景技术

近年来，随着经济的全球化，我国海上进出口贸易迅速发展，港口进出船舶的数量也与之剧增，然而港口的监控和管理水平却跟不上港口经济的快速发展，无法对港口和船舶进行有效的管理，容易出现船只非法停泊现象，引发船舶碰撞事故，不仅会造成人员伤亡、财产损失，而且会对海洋环境造成严重的污染，影响港口的运作效率并造成严重的经济损失。为了确保航行安全，船舶与海岸之间的通信和目标识别等技术越来越重要。船牌识别可以很大程度上规避上述风险，帮助港口实现有效的管理。因此，需要一种有效的船牌识别方法，监测和识别进出港口的船只，提高港口管理水平，当发生非法停泊现象时可以及时检测和报警。

然而，自然环境下的船舶文字识别面临许多困难和挑战：没有统一的船牌标志、字体规范不统一、复杂的天气和文字遮挡等等为船牌文字识别带来了很大的挑战，因此仅仅依靠数字图像处理并不能达到期望的识别效果。

随着计算机技术的飞速发展，人工智能技术正在逐渐改变我们的生活，使我们的生活变得更加便利和高效。而近期GPU等硬件技术的快速发展，也使深度神经网络的实际应用成为可能。最近，研究人员提出多种利用深度神经网络进行目标检测的方法，其中，Faster-RCNN以其高精度和高召回率正被运用于许多目标检测系统中，为了更精确地识别船牌，本发明也基于Faster-RCNN实现船牌的自动识别。

发明内容

为了克服现有技术的不足，本发明提供一种基于Faster-RCNN的船牌识别方法，可以有效提高船牌识别的速度和准确率。

本发明解决其技术问题所采用的技术方案如下：

一种基于Faster-RCNN的船牌识别方法，包括以下步骤：

S1：数据获取：通过港口摄像头采集港口进出船舶的图片；

S2：数据处理：对原图裁剪获取船牌图片，对船牌图片进行裁剪获取单个文字图片；

S3：文字切割模型训练：用Faster-RCNN模型训练船牌切割；

S4：文字识别模型训练：用两个ResNet模型分别训练数字识别跟中文识别；

S5：模型测试：用训练好的Faster-RCNN模型对船牌图片进行切割，获得各个船牌文字图片的位置，面积，得分和顺序，通过面积跟得分筛选后，再基于船牌文字顺序传入对应ResNet模型，识别各个文字，得到完整船牌名；

优选地，所述步骤S1中，利用港口摄像头拍摄的船舶视频，每隔0.5秒取帧并保存为JPEG格式。

所述步骤S2包括以下步骤：

S2-1：Faster-RCNN数据集制作：将包含船牌的JPEG图片进行裁剪，裁剪出船牌图片，并取部分图片作为训练集，通过人工用软件Labelimg手动标定文字边框，标签类别分别为‘number’跟‘chinese’，生成xml文件，将图片与xml文件做成VOC2007数据集格式并生成test、train、trainval和val的txt文件；

S2-2：将S2-1中标注出来的文字图片切割，变换成48*48大小，转换成灰度图并做归一化处理。

所述步骤S3包括以下步骤：

S3-1：将船牌图片作为神经网络的输入Conv layers，通过13个conv层，13个relu层，4个pooling层提取输入图片的特征，输出原图1/16大小的feature map；

S3-2：通过RPN模块生成多个anchor boxes，对其进行裁剪后通过softmax判断属于前景(文字)或者背景，再利用边框回归修正anchors，获得较精确的proposals；

S3-3：RoI Pooling层利用RPN生成的proposals和之前获得的特征映射，得到固定大小的proposal feature maps；

S3-4：Classification将proposal feature maps进行分类，利用全连接层与softmax进行具体类别的分类；同时，利用L1 Loss完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：

式中，k是整数，表示每一个样本的下标，p_k表示第k个anchor预测为目标的概率，表示第k个标定框预测为目标的概率，t_k＝{t_x，t_y，t_w，t_h}表示预测框的四个参数化坐标的向量，是标定框的四个参数化坐标的向量，N_cls表示cls项的归一化的大小，λ表示外部权重，N_reg表示reg项归一化为anchor位置的数量，表示分类损失，分类损失的定义为 p_k表示预测为某一类别的概率，若当前样本为正样本，则p_k＝1，若当前样本为负样本，则p_k＝0，是标注过的真实数据的标签，表示边框回归损失，定义为Smooth_L1(t-t^*)，Smooth_L1函数的定义为

所述步骤S4中，训练两个ResNet模型，分别处理数字跟中文。第一个ResNet模型以数字名为类标，训练分类得到10类，对应0-9；第二个ResNet模型先将中文编码成数字作为类标，训练分类由具体存在中文个数得到。

所述步骤S4中，将S2得到的文字图片变换成48*48大小，转换成灰度图并进行归一化处理，按照数字，中文分成两大类，中文先进行文字编码，然后放入对应类标的文件夹中作为文字分类数据集，分别训练两个ResNet模型。

所述步骤S5中，用训练好的Faster-RCNN模型对船牌图片进行切割，获得各个船牌文字图片，面积，得分和顺序，通过面积跟得分筛选后，再基于船牌文字顺序，传入对应ResNet模型中识别出具体文字，最后得到完整船牌名。

本发明的有益效果为：由于自然场景中的船牌类型、大小等都不相同，用传统的方法很难对所有船牌进行非常准确的检测和识别。本发明选取了不同类型、不同大小等各种不同特征的船牌作为训练数据并进行标注，取得了丰富的训练样本。本发明利用Faster-RCNN模型和ResNet模型识别船牌，与传统手动提取特征的方法和利用简单神经网络的方法相比，节省了检测时间并且提高了准确率。

附图说明

图1为本发明实施例的基于Faster-RCNN的船牌识别方法的流程图；

图2为本发明实施例的Faster-RCNN算法流程图。

图3为本发明实施例的ResNet算法流程图。

图4为本发明实施例的检测结果示例图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。

参照图1～图4，一种基于Faster-RCNN的船牌识别方法，包括以下步骤：

S1：数据获取：通过港口摄像头采集港口进出船舶的图片；

S2：数据处理：对原图裁剪获取船牌图片，对船牌图片进行裁剪获取单个文字图片；

S3：文字切割模型训练：用Faster-RCNN模型训练船牌切割。

S4：文字识别模型训练：用两个ResNet模型分别训练数字识别跟中文识别；

S5：模型测试：用训练好的Faster-RCNN模型对船牌图片进行切割，获得各个船牌文字图片的位置，面积，得分和顺序，通过面积跟得分筛选后，再基于船牌文字顺序传入对应ResNet模型，识别各个文字，得到完整船牌名；

优选地，所述步骤S1中，利用港口摄像头拍摄的船舶视频，每隔0.5秒取帧并保存为JPEG格式。

所述步骤S2包括以下步骤：

S2-1：Faster-RCNN数据集制作：将包含船牌的JPEG图片进行裁剪，裁剪出船牌图片，并取部分图片作为训练集，通过人工用软件Labelimg手动标定文字边框，标签类别分别为‘number’跟‘chinese’，生成xml文件，将图片与xml文件做成VOC2007数据集格式并生成test、train、trainval和val的txt文件；

S2-2：将S2-1中标注出来的文字图片切割，变换成48*48大小，转换成灰度图并做归一化处理。

所述步骤S3包括以下步骤：

S3-1：将船牌图片作为神经网络的输入Conv layers，通过13个conv层，13个relu层，4个pooling层提取输入图片的特征，输出原图1/16大小的feature map。

S3-2：通过RPN模块生成多个anchor boxes，对其进行裁剪后通过softmax判断属于前景(文字)或者背景，再利用边框回归修正anchors，获得较精确的proposals。

S3-3：RoI Pooling层利用RPN生成的proposals和之前获得的特征映射，得到固定大小的proposal feature maps。

S3-4：Classification将proposal feature maps进行分类，利用全连接层与softmax进行具体类别的分类；同时，利用L1 Loss完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：

式中，k是整数，表示每一个样本的下标，p_k表示第k个anchor预测为目标的概率，表示第k个标定框预测为目标的概率，t_k＝{t_x，t_y，t_w，t_h}表示预测框的四个参数化坐标的向量，是标定框的四个参数化坐标的向量，N_cls表示cls项的归一化的大小，λ表示外部权重，N_reg表示reg项归一化为anchor位置的数量，表示分类损失，分类损失的定义为 p_k表示预测为某一类别的概率，若当前样本为正样本，则p_k＝1，若当前样本为负样本，则p_k＝0，是标注过的真实数据的标签，表示边框回归损失，定义为Smooth_L1(t-t^*)，Smooth_L1函数的定义为

所述步骤S4中，训练两个ResNet模型，分别处理数字跟中文。第一个ResNet模型以数字名为类标，训练分类得到10类，对应0-9；第二个ResNet模型先将中文编码成数字作为类标，训练分类由具体存在中文个数得到。

所述步骤S4中，把S2处理后的文字图片按照数字，中文分成两大类(中文先进行文字编码)，然后放入对应类标的文件夹中作为文字分类数据集，分别训练两个ResNet模型。

所述步骤S5中，用训练好的Faster-RCNN模型对船牌图片进行切割，获得各个船牌文字图片，面积，得分和顺序，根据(0.01*原图＜面积＜0.1*原图)跟(得分＞0.8)删除错误的文字图片，再基于船牌文字顺序，传入对应ResNet模型中识别出具体文字，最后得到完整船牌名。

如上所述为本发明基于Faster-RCNN的船牌识别方法的实施例介绍，本发明通过标注船牌图片制作训练数据，通过Faster-RCNN模型和ResNet模型训练得到最终模型，再使用模型检测船牌图片中文字的具***置并分类得到船牌名。本发明相比于传统手动提取特征的方法和简单的神经网络方法，具有检测速度快和准确率高的优势。

以上所述，仅为本发明专利较佳的实施例，对本发明而言仅仅是说明性，而非限制性，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。