一种基于多尺度卷积网络的两相流流型识别方法
阅读说明：本技术 一种基于多尺度卷积网络的两相流流型识别方法 (Two-phase flow pattern identification method based on multi-scale convolution network ) 是由 张国渊 王烈文 黎旭康 王杰 党佳琦 于 2021-01-25 设计创作，主要内容包括：本发明属于图像处理与深度学习技术领域,涉及高效的图像分类处理,尤其涉及一种基于多尺度卷积网络的两相流流型识别方法,其特征是：至少包括十个步骤。本文利用RBF神经网络进行图像重建,构建卷积神经网络的图像数据集,并将数据集按4：1：1的比例划分为训练集、验证集和测试集,多尺度卷积分类网络训练完成后可以使用测试集来进行网络性能的测试。它实现芯型流型和环型流型的准确识别。(The invention belongs to the technical field of image processing and deep learning, relates to high-efficiency image classification processing, and particularly relates to a two-phase flow pattern recognition method based on a multi-scale convolution network, which is characterized by comprising the following steps of: at least ten steps are included. The image reconstruction is carried out by using an RBF neural network, an image data set of a convolutional neural network is constructed, and the data set is calculated according to the following formula 4: 1: 1 into a training set, a verification set and a test set, and after the multi-scale convolution classification network training is completed, the test set can be used for testing the network performance. It realizes the accurate identification of core type flow pattern and ring type flow pattern.)
技术领域
本发明属于图像处理与深度学习技术领域，涉及高效的图像分类处理，尤其涉及一种基于多尺度卷积网络的两相流流型识别方法。
背景技术
两相流现象广泛存在于工业生产过程，作为一种复杂的流体流动现象，可能会诱发安全问题，甚至会影响整体系统或设备的稳定可靠运行。因此，获取其物理属性是工业界和科技界一直关注的核心。在两相流的物理属性研究中，两相流流型的研究一直是工业生产过程中的一个重点。随着神经网络的发展，传统的BP、小波以及RBF神经网络先后应用到两相流图像重建，由于这些神经网络算法存在自身的局限性，导致两相流图像重建保真度不高，故在图像重建的基础上通过卷积神经网络进行两相流流型识别应运而生。构建用于两相流流型识别的数据集可通过RBF神经网络图像重建得到，其原理可参考(党佳琦.基于ERT技术的两相流测量正反问题及实验研究[D].西安电子科技大学,2020.)得到。具体操作方法为，通过Comsol仿真软件搭建16电极的ERT两相流模型，并采集边界电势数据作为训练样本输入到RBF神经网络模型进行训练，最后将测试样本输入到训练好的模型中并进行图像重建，通过调整RBF神经网络模型中newrb函数的speed参数(speed参数设置不同，导致训练好的RBF网络模型参数不同，进而图像重建的结果不同)，使每次图像重建结果都存在差别，如此可构建出用于卷积神经网络进行流型识别的图像数据集。
目前，卷积神经网络已经大量的应用到图像识别中，并且可以自动提取图像特征，因而各个领域的研究者也纷纷基于现有的卷积网络模型提出了用于解决自己领域相关的实际问题的卷积网络模型。例如，专利授权号为CN 105975931 B，名称为“一种基于多尺度池化的卷积神经网络人脸识别方法”的发明专利，公开了一种利用多尺度池化来提取人脸图像特征以实现人脸识别的网络模型。该发明中采用卷积和多尺度池化的策略进行特征提取，并最终将所有特征输入到全连接层。该网络模型解决了图像输入尺寸可以不固定的问题，大大提升了网络的性能，从而促进了多尺度池化在卷积网络中的应用。但该发明中网络模型如果应用在两相流流型识别上，会存在以下缺陷：(1)图像特征提取不充分，识别准确率低。该网络模型的卷积层仅仅使用了一种卷积核进行特征提取，从而会丢失图像的很多信息，而对于两相流图像，特征的区别较小，如果特征提取的不充分就会导致识别出错；(2)该网络模型仍采用了全连接层。由于卷积后生成的feature map(特征图)进入全连接层前进行flatten(拍平)操作，从而会丢失掉feature map的空间位置信息，此外，全连接层中将所有像素全连接，容易过拟合。又如专利授权号CN 106570564 B，名称为“基于深度网络的多尺度行人检测方法”的发明专利，公开了基于ImageNet数据库训练好的VGG模型，并构建大、中、小尺度的三列卷积神经网络模型。该发明中的网络通过三列卷积神经网充分挖掘图像中不同尺度行人的特征，从而显著提高行人检测性能。但该发明中的网络如果应用到两相流流型识别，存在如下缺陷：(1)网络泛化性能差。该发明中的网络使用了VGG模型，网络对训练样本数据量的需求大(至少10000张)，但两相流流型识别的图像数据集在1000张以内，因而造成网络的泛化能力弱，识别效果差；(2)VGG模型层数多，达到19层，造成训练时间长，因此在实时性上不能满足两相流流型识别的需求，采用了全连接层，要求输入尺寸固定，导致网络对图像尺寸敏感，并且还会出现过拟合。
发明内容
本发明目的在于针对现有卷积网络模型用于两相流流型识别上的不足，提供一种基于多尺度卷积网络的两相流流型识别方法，以便实现芯型流型和环型流型的准确识别。
本发明提供的一种基于多尺度卷积网络的两相流流型识别方法，其特征是：至少包括以下步骤：
步骤一：利用RBF神经网络进行图像重建，构建卷积神经网络的图像数据集，也就是构建用于两相流流型识别的图像数据集，并将采集到图像进行分类，分别为环型流型和芯型流型，并按照4：1：1的比例划分为训练集、验证集和测试集；
步骤二：对训练集中的流型图像进行批处理，随机从训练集中选取10张流型图像作为Batch，并对图像进行下采样，生成256*256的图像，输入多尺度网络中进行训练；
步骤三：将步骤二中的Batch读取到多尺度卷积网络中，通过3个卷积模块来提取不同尺度上的特征；每个卷积块均由卷积层，激活层和池化层组成，第一个卷积层的卷积核大小为1，第二个卷积层的卷积核大小为3，第三个卷积层的卷积核大小为5；池化层均为最大池化，以保留重要信息，去除不重要或无用信息；
步骤四：对步骤三中的多尺度特征fi进行组合，组合后的通道数为128*3，此时特征的维度较高，引入注意力机制可以有效的提高网络的性能；
步骤五：将上一步骤中的输出特征输入到特征融合与降维模块中，实现不同尺度特征的融合与降维；
步骤六：将步骤五中的特征输入到分类器中，对图像的流型类别进行分类，芯型图像输出为0，环型图像输出为1，Droupout的参数设置为0.5，即随机删除50％的神经元连接，减少网络的过拟合，再通过卷积层将通道数降至2，通过ReLU激活函数后，再通过全局自适应池化，输出分类结果；
步骤七：将分类结果与图像的标签采用交叉熵损失函数进行计算，返回计算结果，即网络的损失；
式中class表示的是标签值，并不参与直接计算，而是作为一个索引，索引对象为实际类别；j表示的是分类问题的类别数；
步骤八：通过随机梯度下降计算网络参数的梯度，并通过优化器更新网络；
步骤九：固定更新后的网络参数，重新在数据集中提取Batch输入到网络中，重复步骤二到步骤九，通过不断的训练来对网络参数进行更新，使网络的性能不断提高；
步骤十：当网络的损失稳定或达到设置的训练停止条件时，停止网络的训练，保存训练好的网络结构和模型参数。
所述的步骤一具体操作为，通过Comsol仿真软件搭建16电极的ERT两相流模型；
步骤三的三个卷积模块是用如下公式表示：
f1＝maxpool(ReLU(σ(1,1)(x)))
f3＝maxpool(ReLU(σ(3,3)(x)))
f5＝maxpool(ReLU(σ(5,5)(x)))
上式中，fi表示卷积核大小为i的特征，每个卷积层的通道数均为128，并对卷积核大小为3的卷积的padding为1，卷积核大小为5的卷积的padding为2，以保证后续步骤特征尺度上匹配。
步骤四包括：设x∈RW×H×C为某一卷积层的输出，W、H、C为特征图的宽、高和通道数；
x经过GAP全局平均池化操作后得到1×1×C的通道描述；
接着再经过一个下采样层和一个上采样层得到每一个通道的权重系数；
将权重系数和原来的特征相乘即可得到缩放后的新特征，对不同通道的特征重新进行了加权分配，σ是Sigmoid函数。
步骤四包括：首先通过第一个卷积将输入的维度降低至256，再通过第二个卷积将维度降至128，计算过程如下：
fConv1＝(ReLU(σ(3,3)(x)))
fConv2＝maxpool(ReLU(σ(3,3)(x)))。
所述的步骤二包括：采集边界电势数据作为训练样本输入到RBF神经网络模型进行训练；
将测试样本输入到训练好的模型中并进行图像重建；
通过调整RBF神经网络模型中newrb函数的speed参数，使每次图像重建结果都存在差别，构建出用于卷积神经网络进行流型识别的图像数据集。
图像数据集一共有400张图像构成，其中共有200张环型图像，200张芯型图像，每张图像的大小为875*655；芯型图像标记为0，环型图像标记为1。
图像数据集按照4：1：1的比例划分为训练集，验证集和测试机，训练集用于训练网络参数，验证集用于观察训练过程中网络的收敛情况，测试集用于测试模型的分类性能。
本发明用于两相流流型识别，构造了专用的流型图像数据集，并设计了多尺度轻量卷积分类网络，具有以下优点：
1、本发明中提出的网络模型是一个轻量级的卷积神经网络，相比传统的VGGNet、ResNet卷积神经网络模型，参数的计算量要小很多，且运行效率更高。
2、本文提出的轻量型多尺度卷积网络，可以提取图像的不同尺度特征，在正确对芯型流型和环形流型分类的同时，为更细化的流型识别保留了一定的性能，更细化的流型识别可以在本发明提出的网络中，对分类器的输出类别个数进行设置，即可实现芯型流型和环型流型的多类型识别任务。
3、基于优点2，本发明具有功能可扩展性，在现有的流型识别基础上，能扩展到更多流型。
附图说明
图1是本发明提出的多尺度卷积两相流流型识别网络模型框架图；
图2是本发明中使用的ReLU激活函数图像；
图3是训练过程中的Batch；
图4是本文中注意力机制模块的示意图。
具体实施方式
本发明的具体实施步骤如下：一种基于多尺度卷积网络的两相流流型识别方法，其框架图如图1所示，包括以下步骤：
步骤一：利用RBF神经网络进行图像重建，构建卷积神经网络的图像数据集，也就是构建用于两相流流型识别的图像数据集，并将采集到图像进行分类，分别为环型流型和芯型流型，并按照4：1：1的比例划分为训练集、验证集和测试集。
具体操作为，通过Comsol仿真软件搭建16电极的ERT两相流模型，并采集边界电势数据作为训练样本输入到RBF神经网络模型进行训练，最后将测试样本输入到训练好的模型中并进行图像重建，通过调整RBF神经网络模型中newrb函数的speed参数(speed参数设置不同，导致训练好的RBF网络模型参数不同，进而图像重建的结果不同)，使每次图像重建结果都存在差别，如此可构建出用于卷积神经网络进行流型识别的图像数据集。本发明中数据集一共有400张图像构成，其中共有200张环型图像，200张芯型图像，芯型图像标记为0，环型图像标记为1，每张图像的大小为875*655。再按照4：1：1的比例，划分为训练集，验证集和测试机。训练集用于训练网络参数，验证集用于观察训练过程中网络的收敛情况，测试集用于测试模型的分类性能。
步骤二：对训练集中的流型图像进行批处理，随机从训练集中选取10张流型图像作为Batch，并对图像进行下采样，生成256*256的图像，输入多尺度网络中进行训练。
步骤三：将步骤二中的Batch读取到多尺度卷积网络中，通过3个卷积模块来提取不同尺度上的特征。每个卷积块均由卷积层，激活层和池化层组成，第一个卷积层的卷积核大小为1，第二个卷积层的卷积核大小为3，第三个卷积层的卷积核大小为5。池化层均为最大池化，以保留重要信息，去除不重要或无用信息。
f1＝maxpool(ReLU(σ(1,1)(x)))
f3＝maxpool(ReLU(σ(3,3)(x)))
f5＝maxpool(ReLU(σ(5,5)(x)))
上式中，fi表示卷积核大小为i的特征，每个卷积层的通道数均为128，并对卷积核大小为3的卷积的padding为1，卷积核大小为5的卷积的padding为2，以保证后续步骤特征尺度上匹配。
步骤四：对上一步骤中的多尺度特征fi进行组合，组合后的通道数为128*3，此时特征的维度较高，引入注意力机制可以有效的提高网络的性能，即图4中的注意力机制模块。
设x∈RW×H×C为某一卷积层的输出，W、H、C为特征图的宽、高和通道数。x经过GAP全局平均池化操作后得到1×1×C的通道描述，接着再经过一个下采样层和一个上采样层得到每一个通道的权重系数，将权重系数和原来的特征相乘即可得到缩放后的新特征，整个过程实际上就是对不同通道的特征重新进行了加权分配，σ是Sigmoid函数。
步骤五：将上一步骤中的输出特征输入到特征融合与降维模块中，实现不同尺度特征的融合与降维。本模块首先通过第一个卷积将输入的维度降低至256，再通过第二个卷积将维度降至128，计算过程如下：
fConv1＝(ReLU(σ(3,3)(x)))
fConv2＝maxpool(ReLU(σ(3,3)(x)))
步骤六：如图2所示，将步骤五中的特征输入到分类器中，对图像的流型类别进行分类，芯型图像输出为0，环型图像输出为1。Droupout的参数设置为0.5，即随机删除50％的神经元连接，减少网络的过拟合，再通过卷积层(输入通道数为128，输出通道为2，卷积核大小为3)将通道数降至2，通过ReLU激活函数后，再通过全局自适应池化，输出分类结果。
步骤七：将分类结果与图像的标签(芯型图像输出为0，环型图像输出为1)进行计算，返回计算结果，即网络的损失。本发明中采用交叉熵损失函数。
式中class表示的是标签值，并不参与直接计算，而是作为一个索引，索引对象为实际类别；j表示的是分类问题的类别数。
步骤八：通过随机梯度下降计算网络参数的梯度，并通过优化器更新网络。本发明中采用随机梯度下降更新参数，学习率设置为0.001，动量设置为0.9。
如图3所示，步骤九：固定更新后的网络参数，重新在数据集中提取Batch输入到网络中，重复步骤二到步骤九，通过不断的训练来对网络参数进行更新，使网络的性能不断提高。
步骤十：当网络的损失稳定或达到设置的训练停止条件时，停止网络的训练，保存训练好的网络结构和模型参数。
本文利用RBF神经网络进行图像重建，构建卷积神经网络的图像数据集，并将数据集按4：1：1的比例划分为训练集、验证集和测试集，多尺度卷积分类网络训练完成后可以使用测试集来进行网络性能的测试。为提高流型分类的准确性，首先将训练数据进行多尺度的特征提取，分别使用核大小为(1，1)、(3，3)和(5，5)的卷积核进行多尺度特征提取，每个尺度的特征提取模块由卷积层、激活层和池化层，激活层使用ReLU激活函数，以解决训练过程中的梯度消失和梯度爆炸的问题，池化层使用最大池化，减少参数量，加速训练过程。再将提取到的多尺度信息进行特征组合，并通过注意力机制对组合后的高维特征进行信道权重的调整，进一步提高网络分类的性能。然后使用两个卷积模块对组合后的高维特征进行融合与降维，以减少网络参数量，第一个卷积模块由卷积层和激活层组成，第二个卷积模块由卷积层、激活层和池化层组成，池化层为最大池化，即保留对分类结果影响最大的信息，过滤掉对分类结果作用小和无用信息。最后，通过分类器进行分类并输出分类的结果，分类器由卷积层、激活层和自适应全局池化层组成。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：图像识别方法和装置、存储介质和电子设备