阅读说明：本技术 基于双分支深度融合卷积神经网络的红枣品质分类方法 (Red date quality classification method based on double-branch deep fusion convolutional neural network ) 是由 耿磊 徐文龙 肖志涛 张芳 吴骏 刘彦北 于 2018-07-02 设计创作，主要内容包括：本发明公开了一种基于双分支深度融合卷积神经网络的红枣品质分类方法,该方法包括：该方法首先对采集到的不同品质的红枣图像进行预处理,并将其归一化为相同尺寸,预处理后的红枣图像(丰满枣、干条枣、裂口枣和瑕疵枣)被随机分为训练集和测试集。然后,将卷积神经网络设计为双分支结构,其中第1条分支网络结合迁移学习策略,利用在大型数据集Imagenet上训练生成的模型对其进行预训练。第2条分支网络,增加了特征图流动的分支数目和融合次数。最后利用设计的双分支深度融合卷积神经网络对预处理过的红枣图像数据进行训练,提取红枣图像特征,生成训练模型,并完成不同红枣品质的多分类任务。该方法极大地提高了红枣品质分类的准确率和效率。(The invention discloses a red date quality classification method based on a double-branch deep fusion convolutional neural network, which comprises the following steps: the method comprises the steps of firstly preprocessing collected red date images with different qualities, normalizing the red date images into the same size, and randomly dividing the preprocessed red date images (full dates, dry dates, cracked dates and defective dates) into a training set and a testing set. Then, the convolutional neural network is designed into a double-branch structure, wherein the 1 st branch network is combined with a migration learning strategy and is pre-trained by using a model generated by training on a large data set Imagenet. And 2, the branch network increases the branch number and the fusion times of the feature diagram flow. And finally, training the preprocessed red date image data by using the designed double-branch depth fusion convolutional neural network, extracting the red date image characteristics, generating a training model, and completing a multi-classification task of different red date qualities. The method greatly improves the accuracy and efficiency of red date quality classification.)

基于双分支深度融合卷积神经网络的红枣品质分类方法

技术领域

本发明涉及一种基于双分支深度融合卷积神经网络的红枣品质分类方法，属于图像处理、机器视觉和农产品品质检测领域。

背景技术

中国是枣的原产国，世界上最大的枣生产国和唯一出口国，拥有全世界95％以上的枣树资源，在世界红枣行业中占据领导地位，红枣是我国加入世贸组织后最具竞争力的农产品。近些年，我国红枣产量保持总体增长，市场规模超千亿元。

红枣品质分拣是红枣贮藏、加工及流通等的一个关键技术环节，直接影响果农的经济效益。但是，目前红枣主要以人工分拣为主，存在劳动强度大、效率低、成本高、分选精度和卫生质量难以保证等弊端。因此，基于机器视觉的红枣品质分选系统具有广阔的市场应用前景。

发明内容

本发明为了达到上述目的，提高红枣品质分类的效率和精度，提出一种基于双分支深度融合卷积神经网络的红枣品质分类方法，本发明采用如下的技术方案：

A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；

B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据。

C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件。

D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别。

附图说明

图1为部分不同品质红枣图像数据。

图2为红枣图像预处理。

图3为Fire模块和Fusion模块结构图

图4为双分支深度融合卷积网络结构图。

具体实施方式

按照本发明基于双分支深度融合卷积神经网络的红枣品质分类方法包括：

A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；

B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据。

C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件。

D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别。

不同红枣品质图像前期预处理：

本发明的红枣数据集样本是通过30万像素的CCD工业相机，配以可调光照强度的环形光源，在白色背景上进行采集并保存，共包含20000张红枣图像数据。将红枣数据集按照4∶1的比例，分为训练集和测试集。红枣样本数据包含四类：饱满枣、干条枣、裂口枣和缺陷枣。

在训练卷积神经网络时，虽然训练数据是固定的，但是采用了随机批处理 (mini-batch)的训练机制，因此在模型训练进行前，将训练数据集随机打乱，确保模型不同轮数相同批次训练的数据不同，会提升模型在测试集上的预测结果。

采集到的原始红枣图像数据白色背景较大，对卷积神经网络的训练无意义，需要对原始红枣图像数据进行预处理，采用基本的图像处理方法，对原始红枣图像数据进行感兴趣区域提取。首先将图像进行二值化处理，以突显出感兴趣的目标的轮廓。选取252作为二值化处理的阈值。然后检索二值图像的最小正方形外接轮廓，查找正方形轮廓的边界点作为ROI区域边界点，从而提取图像的ROI 区域，然后将红枣图像数据归一化为相同尺寸227*227。

Fire模块和Fusion模块结构如下所述：

轻量级网络Squeezenet的提出是为了简化模型复杂度，降低卷积神经网络的参数数量，并达到最佳的CNN识别精度。Fire模块是轻量级网络Squeezenet的核心，如图1所示，它由三个卷积层、3个激活层和1个Contact层组成，卷积 squeeze1*1层、卷积expand1*1层和卷积expand3*3层的卷积核大小分别为1*1、 1*1和3*3，将卷积expand1*1层和卷积expand3*3层的输出特征图通过concat 层拼接并作为下一个Fire模块的输入。Fire模块设计是通过采用降低卷积核尺寸，减少输入到卷积核大小为3*3卷积层的特征图数量，并延迟降采样的策略，从而降低卷积神经网络的参数数量，获得更大的特征图，提高网络模型训练精度。

为了进一步提高网络在红枣分类识别上的训练精度，对Squeezenet网络做出进一步的改进。如图2所示为改进后的Fusion模块，通过改变Fire模块内部特征图流动方向，将卷积层squeeze1*1与卷积层expand1*1、expand3*3的输出特征图进行融合，形成特征融合的Fusion模块，将相邻Fusion模块提取到的特征信息进行融合，增加网络中特征流动的分支数目，提取到更加丰富的特征信息。改进后的Squeezenet网络，因网络网络结构较深，并提出增加不同卷积提取层之间的特征融合次数，称其为深度融合卷积神经网络。深度融合卷积神经网络结构由2个普通卷积层、8个Fusion模块、4个池化层和1个Dropout层组成，在每次卷积后加入BN批规范操作层和Prelu激活层，并且将相邻2和3、4和5、6 和7、8和9的Fusion模块输出图像特征进行融合。更多分支的特征图在网络的中间层进行融合，可以对特征信息的流动进行优化并提升模型的训练精度。

深度融合卷积神经网络的设计原则是在保留了Squeezenet卷积神经网络机构设计优点的基础上，对提取到的特征图进行融合。轻量级网络Squeezenet卷积层通过使用1*1的卷积核代替3*3的卷积核，减少9倍参数，并且减少了输入到卷积核为3*3卷积层的特征图数量，减少模型参数，通过延后池化层来获取更大的特征图，对提高模型分类的准确率有很大的帮助。深度融合卷积神经网络增加了特征图流动的分支数目，充分利用提取到的图像特征信息，保证了图像特征的丰富性，提高了网络模型的分类精度。

双分支深度融合卷积神经网络结构如下：

在深度融合卷积神经网络(Deepfusionnet)的基础上，针对红枣品质分类识别问题，提出一种双分支深度融合卷积神经网络结构(DDFnet)。如图3所示，第1条分支结合迁移学***均池化层代替全连接层进行分类，进而降低参数数量，减少过拟合现象。

双分支深度融合卷积神经网络的设计，将迁移学习应用的卷积神经网络结构中，利用Squeezenet在大型数据集ImageNet上训练得到的模型，对双分支深度融合卷积神经网络进行预训练，加快整体网络训练的收敛速度，同时增加了网络结构的宽度，提高了网络训练生成模型的分类准确率和泛化能力。

网络训练和调优：

在双分支深度融合卷积神经网络结构中，第1条分支采用迁移学习策略，利用在大型数据集ImageNet上生成的预训练模型，将相应的结构和权重直接应用在红枣品质分类识别问题上，缩短网络权重更新时间，加快网络训练收敛速度，提高红枣品质分类识别精度，使训练出来的模型表现出更好的泛化能力，对网络优化意义重大。

传统的Relu激活层，在学习率较大的情况下，容易出现神经元得不到激活的现象，为了加快网络训练的收敛速度，防止训练过程中出现梯度消失现象，在第2条分支网络的每一个卷积层后引入PRelu激活函数层。PRelu激活函只增加了极少的参数，对网络训练的计算量和过拟合现象的出现几乎没有影响，但是PRelu相比较于Relu修正了数据分布，保留了负值，反向传播更新参数a_i，PRelu公表达式如下：

由于红枣图像数据量较少，为了防止过拟合现象的发生，在双分支深度融合卷积神经网路的卷积层conv10_1之前加入Dropout层。Dropout是指在卷积神经网络的训练过程中，按照一定的概率将神经元暂时从网络中丢弃。在网络训练的过程中，通常要设置Dropout层的dropout_ratio的大小，在双分支深度融合卷积神经网络中dropout_ratio＝0.5。

网络参数初始化在卷积神经网络的模型训练中会对网络训练的收敛速度产生影响，选择合适的初始化方案，可以防止梯度消失现象的发生。双分支深度融合卷积神经网络中，第1条分支采用预训练的方式对网络参数进行初始化，第2 条分支采用随机初始化方案，除卷积层conv10_1采用高斯gaussian初始化方法外，其余卷积层采用xavier参数初始化方法。

卷积神经网络第二条分支引入BN层，通过计算批处理的数据均值和方差，并对输入的批处理数据做规范化，使得输出信号各个维度的均值为0，方差为1，最后使用尺度变化和偏移操作，让BN层输出可以还原最初的输入。批规范化操作的引入，可以加速网络训练的收敛速度，使训练深层网络模型更加容易和稳定，对提升网络的泛化能力可以产生积极的影响。