阅读说明：本技术 一种箱号识别方法和装置 (Box number identification method and device ) 是由 王宸 罗永祥 刘键涛 魏秋新 于 2020-04-10 设计创作，主要内容包括：一种箱号识别方法和装置,包括如下步骤：1)输入集装箱原始图片；2)使用图像语义分割模型进行箱面粗定位,分割出图像中的集装箱,进行图像预处理,得到箱型图像；3)采用CPTN模型对箱型图像进行文本检测；4)采用CRNN模型对文本检测的所有结果进行OCR识别；5)将识别结果按照箱号格式进行正则化,输出最终的箱号。(A box number identification method and device comprises the following steps: 1) inputting an original picture of the container; 2) roughly positioning the box surface by using an image semantic segmentation model, segmenting containers in the image, and preprocessing the image to obtain a box type image; 3) performing text detection on the box-type image by adopting a CPTN (continuous phase propagation) model; 4) performing OCR recognition on all results of the text detection by adopting a CRNN model; 5) and regularizing the identification result according to a box number format, and outputting a final box number.)

一种箱号识别方法和装置

技术领域

本发明涉及集装箱领域，特别是指一种箱号识别方法和装置。

背景技术

随着科技进步与世界各国贸易的巨大增长，物流运输行业逐年加速发展，其中全球海运量逐年创下新高。集装箱作为海运的主要运输装载方式，在海运中有着十分重要的地位。在海运繁荣的同时，对集装箱的管理需要更加现代化的手段，实现对巨量的集装箱进行追踪、货物中转与货船存储规划等目的。

集装箱箱号是每个集装箱的专有标识码，对箱号进行自动识别是对集装箱进行各种高效管理操作的基础，如：所属公司、集装箱追踪、货物中转等。然而，由于全球对于集装箱箱号自动化识别并没有制定统一的标准，目前主要是使用图像处理技术实现对箱号的自动识别。但是，对错误识别的集装箱只能通过人工识别记录与校对箱号，这无疑增加了人力成本与流转时间。

目前，箱号识别系统对于箱号中残缺、粘连等字符，不能进行完整分割；同时对于分割出的残缺字符识别准确率低。而对于错误识别的集装箱仍然只能通过人工识别记录与校对箱号，这无疑增加了人力成本与流转时间。现有箱号识别技术采用单个字符进行识别，识别速度较慢；并且带有箱号的图像有些存在一定拍摄的角度，识别准确率较低。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种箱号识别方法和装置，具有更高的识别准确率和识别速率。

本发明采用如下技术方案：

一种箱号识别方法，其特征在于，包括如下步骤：

1)输入集装箱原始图片；

2)使用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；

3)采用CPTN模型对箱型图像进行文本检测；

4)采用CRNN模型对文本检测的所有结果进行OCR识别；

5)将识别结果按照箱号格式进行正则化，输出最终的箱号。

优选的，所述图像语义分割模型为TextonForest、基于随机森林分类器或深度学习方法。

优选的，采用基于卷积神经网络的图像语义分割模型。

优选的，所述图像预处理包括开运算，闭运算和最小外接矩阵以去除图像中的噪声。

优选的，步骤3)中，还包括对文本检测结果进行透射变换以调整角度。

优选的，步骤4)中所述CRNN模型包括：卷积层、循环层和转录层，该卷积层从输入图像中提取特征序列；该循环层预测每一帧的标签分布，该转录层将每一帧的预测变为最终的标签序列。

一种箱号识别装置，其特征在于，包括：

输入模块，用于输入集装箱原始图片；

粗定位模块，采用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像；

文本检测模块，采用CPTN模型对箱型图像进行文本检测；

OCR识别模块，采用CRNN模型对文本检测的所有结果进行OCR识别；

输出模块，将识别结果按照箱号格式进行正则化，输出最终的箱号。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、本发明的方法和装置，采用CPTN+CRNN，该方法可以是端到端的识别，不需要进行字符分割，识别的速度更快，识别效果更好。

2、本发明的方法和装置，采用卷积神经网络结构的语义分割模型，该模型具有学习能力，能够适应多角度多场景的箱面定位。

3、本发明的方法和装置，有效减少了人工校验记录成本，减少了集装箱流转时间，加快了港口工作效率。

附图说明

图1为本发明方法流程图；

图2为本发明输入集装箱原始图片；

图3为基于卷积神经网络的图像语义分割模型图；

图4为图像语义分割模型的效果图；

图5为分割出的箱面图像；

图6为箱型的文本检测示意图；

图7为存在角度问题的箱型图片示意图；

图8为透射变换前后示意图；

图9为CRNN模型结构图；

图10为输出结果示意图；

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

一种箱号识别方法，包括如下步骤：

1)输入集装箱原始图片，参见图1，其不限于灰度图，可以是彩色图片。

2)使用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像，参见图5。

该步骤中的图像语义分割模型用于实现在像素级别上的分类，可采用TextonForest、基于随机森林分类器或深度学习方法等语义分割方法实现，优选的，采用基于卷积神经网络的图像语义分割模型，其网络结构如图3，从左到右依次是：卷积层、池化层、上采样层、卷积层、上采样层和全连接层。语义分割后的效果如图4。

卷积层是卷积神经网络的重要组成部分，通过卷积运算可以提取输入数据的特征。池化层也叫做上采样层，它可以压缩信号特征，降低网络计算复杂度，减少下一层的计算量，防止过拟合。全连接层可以起到连接的作用，将卷积层与普通神经网络层连接起来。

其中，图像预处理包括开运算，闭运算和最小外接矩阵以去除图像中的噪声，裁剪出完整的箱面。

3)采用CPTN模型对箱型图像进行文本检测，该模型可以进行不定长序列文本检测，通过该CPTN模型可以检测箱面上的文字位置，参见图6。该CPTN模型为训练好的CPTN模型。该步骤通过目标检测方法将图像中每一行里的每个字给框出来，然后把每一行里所有字的框合并，得到一行文字的框。

另外，因存在集装箱图片存在拍摄角度问题，例如参见图7，可对裁剪的文字进行透射变换，实现角度调整，参见图8。

4)采用CRNN模型对文本检测的所有结果进行OCR识别，通过该方法把图像中每一行文字里的每个字给识别出来。CRNN为端到端文字识别模型，该模型不需要字符分割，且可以识别任意长度的序列。

具体的，参见图9，该CRNN模型从上到下包括卷积层、循环层和转录层，该卷积层从输入图像中提取特征序列；该循环层预测每一帧的标签分布，该转录层将每一帧的预测变为最终的标签序列，即为识别结果。

5)将识别结果按照箱号格式进行正则化，通过正则化防止模型过拟合，输出最终的箱号。例如：箱号的格式是4个字母+7个数字(DRYU4128939)，将所有识别结果按照“4个字母+7个数字”进行正则化，即可输出箱号。

本发明还提出一种箱号识别装置，采用上述的方法实现箱号识别，包括：

输入模块，用于输入集装箱原始图片。

粗定位模块，采用图像语义分割模型进行箱面粗定位，分割出图像中的集装箱，进行图像预处理，得到箱型图像。

文本检测模块，采用CPTN模型对箱型图像进行文本检测。

OCR识别模块，采用CRNN模型对文本检测的所有结果进行OCR识别。

输出模块，将识别结果按照箱号格式进行正则化，输出最终的箱号。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。