阅读说明：本技术 基于深度学习的纸巾产品包装检测方法 (Paper towel product packaging detection method based on deep learning ) 是由 邓中民 胡灏东 柯薇 于 2021-07-23 设计创作，主要内容包括：本发明涉及一种基于深度学习的纸巾产品包装检测方法,包括以下步骤：1、利用多种不同包装的纸巾盒五个面的图片分别对每一面对应的网络模型进行训练,得到每一面对应的最终网络模型；2、实际进行某一类纸巾盒的包装生产检测时,将该类标准纸巾盒样本和实际纸巾盒的五个面图像分别输入每一面相应的网络模型中,得到标准特征参数和实际特征参数,计算同一面的实际特征参数与标准特征参数之间的欧式距离β,若β小于预设阈值α则判断该面纸巾盒包装完好,若β大于预设阈值α则判断该面纸巾盒包装破损。本发明具有识别效率高、精准度可以自主调节、便于二次部署等优点。可针对多种纸巾盒包装进行检测,具有可移植性和广泛的应用性。(The invention relates to a paper towel product packaging detection method based on deep learning, which comprises the following steps: 1. respectively training the network model corresponding to each face by using pictures of five faces of the tissue boxes packaged in different ways to obtain a final network model corresponding to each face; 2. when the packaging production detection of a certain tissue box is actually carried out, five face images of a standard tissue box sample and an actual tissue box are respectively input into a corresponding network model of each face to obtain a standard characteristic parameter and an actual characteristic parameter, the Euclidean distance beta between the actual characteristic parameter and the standard characteristic parameter of the same face is calculated, if beta is smaller than a preset threshold value alpha, the tissue box is judged to be packaged perfectly, and if beta is larger than the preset threshold value alpha, the tissue box is judged to be packaged damaged. The invention has the advantages of high recognition efficiency, self-regulation of precision, convenience for secondary deployment and the like. Can detect various tissue box packages, and has portability and wide applicability.)

基于深度学习的纸巾产品包装检测方法

技术领域

本专利属于产品包装质量检测领域，特别是一种基于深度学习的纸巾产品包装检测方法。

背景技术

影响纸巾包装质量的主要因素是抽纸口处开裂、抽纸口未封合以及侧面封口开裂，导致纸巾从包装处溢出。一般的基于计算机视觉的图像处理来完成纸巾产品包装检测，这样的方法只能针对单一的一种产品，更换产品就需要重新训练整个神经网络，而且不能动态的控制剔除残次品的精准度。亦或是迁移网络重新训练也需要较大量的新的包装的图片，这样的系统缺乏可移植性，不具有广泛的应用性。包装检测又是产品生产流水线不可或缺的一环，如果检测的速度不够快就会影响企业的生产效率，直接影响企业的效益。而且，在传统的流水线上采用的是人工检测的方法，人工检测受环境因素影响大、主观因素较多、效率低下。而且人工检测不能实时的查看流水线的质量情况，不利于信息化、智能化工厂的建设。

发明内容

本发明所要解决的技术问题是提供一种检测结果准确，效率高的基于深度学习的纸巾产品包装检测方法。

基于深度学习的纸巾盒的产品包装检测方法，包括以下步骤：

步骤1、采集多个纸巾盒产品除底面外的五个面图像，设纸巾盒的包装种类有n种，分别为A1、A2…Ai…An，i＝1…n,则每种纸巾盒Ai的每一面的图片均分别采集m张，m和n均为自然数；

步骤2、将采集的图像与标准纸巾将每一个面的图像划分为破损和完好两个类别，即每种纸巾盒的每面图片均有有完好类和破损类两类图片；每一面的所有种类纸巾盒的图片组成该面的训练集；

步骤3、分别对纸巾盒每一面图片进行训练，对某面进行训练时，首先随机选取纸巾盒种类，若选择Ai类,则从该面的训练集中的Ai类纸巾盒的完好类图片里面选一张作为标准，选一张作为正例，再从Ai类纸巾盒的破损类图片里面随机选一张作为负例，标准、正例和负例组成标准-好-坏组成三元组，输入Triplet network网络训练，重复上述步骤，直到网络损失函数达到收敛条件，则该面训练完成，最终的Triplet network网络即为该面对应的网络模型，分别训练得到五个面对应的网络模型；

步骤4、实际进行某一类纸巾盒的包装生产检测时，将该类标准纸巾盒样本的五个面图像输入每一面相应的网络模型中，得到每一面的标准特征参数；采集生产的纸巾盒的五个面的图像，分别将每一面的图像输入相应的网络模型中，得到每一面的实际特征参数，计算同一面的实际特征参数与标准特征参数之间的欧式距离β，若β小于预设阈值α则判断该面纸巾盒包装完好，若β大于预设阈值α则判断该面纸巾盒包装破损。

进一步的，还包括步骤5：对步骤4的判断结果进行人工核对，若判断错误，则将相应的纸巾盒图片和输入对应的网络模型，对网络模型进行优化调整。

进一步的，步骤2中，还包括对采集的图片进行去除光照不匀和去噪的处理步骤。

进一步的，步骤2中，还包括对图像增强扩充训练集的步骤。

本发明的有益效果为：本发明将深度学习里面的Triplet network网络框架结合残差网络Resnet深度学习网络，改进传统基于计算机视觉的图像处理技术。让该系统具有识别效率高、精准度可以自主调节、便于二次部署等优点，前期对纸巾盒每一面进行训练后，在更换生产纸巾盒的种类时，无需重新对模型进行训练，具有可移植性和广泛的应用性。

附图说明

图1为本发明的流程示意图；

图2为Triplet network网络结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一段分实施例，而不是全段的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，基于机器学习的纸巾产品包装检测方法，包括以下步骤；

1、神经网络的预训练。用工业摄像头，拍摄工厂流水线上的后续可能会生产的所有纸巾盒包装的五个面(除底面)的图像储存起来。每一个面的图像当作是一个神经网络的训练集。

2、对采取到的五个面的图像进行辨别、划分，每一个面的图像划分为破损、完好两个类别，用来训练神经网络。

3、对采取的图像采用光照不匀、去噪等预处理，采取旋转、平移、直方图增强图像增强算法扩充训练集。

4、采用Triplet network深度学习算法对网络进项训练，网络框架如图2所示。

数据采取三元组(X0,X1,X2)的形式，从破损(或完好)训练集选择一张图片X0，选取另外两张图片X1、X2，一张来自破损X1(或完好)训练集作为同类样本，一张来自完好X2(或破损)训练集作为异类样本。将三张图片X0、X1、X2输入同样的NET，NET选用残差神经网络残差网络Resnet，残差网络Resnet的层数更深，作为特征提取器可以提取出更多的特征值的同时也可以让网络避免过拟合；

以正面来说，例如现有A、B、C这3种包装，先采集A、B、C这3种包装的正面照片，假设完好的为A100张B100张C100，破损的为A100张B100张C100，然后从A(或B或C)的完好里面选一张作为标准，再在A(或B或C)的完好里面选一张作为正例子，再在A(或B或C)的破损里面选一张作为负例，组成标准-好-坏组成三元组，丢入网络训练，然后再重复上述选照片步骤再训练，重复n次直到网络收敛就OK了。

5、经过NET后图片数据X0、X1、X2被转换成一维数组，X0’,X1’,X2’，这样的一维向量可以在数值上反应图片的特征。通过欧氏距离(公式1)来对比样本X1,X0,X2之间的差距。(注：Distance函数用于计算两个向量的欧氏距离)

Distance(X0’,X1’)＝||X0’-X1’||₂(式1)

Distance(X0’,X2’)＝||X0’-X2’||₂

通过训练集训练特征参数W，让样本X0经过残差网络Resnet后的参数X0’与同类样本X1经过残差网络Resnet后的参数X1’之间的欧氏距离Distance1(X0’,X1’)尽可能地小。让样本X0经过残差网络Resnet后的参数X0’与同类样本X2经过残差网络Resnet后的参数X2’之间的欧氏距离Distance1(X0’,X2’)尽可能地大。通过训练集训练特征参数W，得到较为理想的特征参数W。神经网络模型训练完成。

6、将要检测的一类纸巾包装的图片的五个面导入到五个网络模型里面，完好纸巾包装正面图片为X_正导入神经网络模型之后得到固定的参数X_正’，将X_正’保存在系统之中。在流水线上将采集到的纸巾包装的正面照片X_验导入到系统之中，经过神经网络模型NET，得到参数X_验’，比较X_正’与X_验’之间的欧氏距离。如果差距在α之内则证明两个照片很小则判断为该照片所属的纸巾包装为完好(公式2)，反之则认为破损(公式3)。

Distance(X_正’,X_验’)＝||X_正’-X_验’||₂>α(式2)

Distance(X_正’,X_验’)＝||X_正’-X_验’||₂<α(式3)

α可以根据系统所需要的准确性来调节。

7、将检测失误的纸巾包装的照片再次导入系统中来训练神经网络，使得特征参数W不断地收敛，可以动态的提升系统检测的准确度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。