阅读说明：本技术 一种基于图像融合和改进ResNet的图像识别方法 (A kind of image-recognizing method based on image co-registration and improvement ResNet ) 是由 李建强 李鹏智 谢海华 王延安 于 2019-08-07 设计创作，主要内容包括：本发明涉及一种基于图像融合和改进ResNet的图像识别方法。本发明设计提取图像的多种特征,对大尺寸原图像进行主成分分析,分成从大到小的三个主成分向量,保留第一主成成分,即保留原图像的最大特征；然后对于两个较小的主成分分别用提取的两个特征进行替换,生成新的大尺寸图像。用新的大尺寸图像去训练改进的ResNet模型,从而提升模型对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。(The present invention relates to a kind of based on image co-registration and improves the image-recognizing method of ResNet.The present invention designs the various features for extracting image, carries out principal component analysis to large scale original image, is divided into three principal component vectors from big to small, retains the first main Cheng Chengfen, that is, retains the maximum feature of original image；Then principal component lesser for two is replaced with two features extracted respectively, generates new large-size images.It is gone to train improved ResNet model with new large-size images, so that lift scheme is bigger for size, the accuracy and susceptibility of the interference of light intensity and background image recognition classification more outstanding.)

一种基于图像融合和改进ResNet的图像识别方法

技术领域

本发明设计提取图像的多种特征，对大尺寸原图像进行主成分分析，分成从大到小的三个主成分向量，保留第一主成成分，即保留原图像的最大特征；然后对于两个较小的主成分分别用提取的两个特征进行替换，生成新的大尺寸图像。用新的大尺寸图像去训练改进的ResNet模型，从而提升模型对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。

背景技术

图像识别是人工智能的一个重要领域，根据各自在图像信息中所反映的不同特征，对目标区识别分类的图像处理方法。图像识别的传统方法是特征描述及检测，但由于实际情况非常复杂，传统的分类方法不堪重负。现在比较流行的是某种CNN模型来进行图像的识别分类，如ResNet。ResNet的结构可以极快的加速深层神经网络的训练，模型的准确率也有比较大的提升。但是在用ResNet训练较大尺寸的图像时，一般都要将图像进行缩放，以此保证最后的feature maps大小尺寸合适，如512X512尺寸的图像缩放成224X224尺寸的图像，这样过大的放缩就会导致图像损失一些细节影响识别精度。其次，由于拍摄图像的背景和光线强弱的变化，准确的识别分类还是很困难的。目前，对于尺寸比较大的图像、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感性有待于提高优化。

发明内容

本发明设计对于原始图像数据进行白化处理和提取LBP纹理特征，然后利用PCA对原始RGB图像进行主成分分析，依次从小到大得到三个主成分向量，然后保留第一大主成分，用白化处理特征的和LBP特征分别进行直方图配准后替换较小的两个主成分形成新的图像。这样就可以保留原图像的主要信息，替换掉图像中的一些噪音信息。其次，对于ResNet模型，去掉模型自带的平均池化层和全连接层，然后依次加入Relu层、3*3卷积层、Batch Normalization层、平均池化层、全连接层，以此来改进现有模型，提高对大尺寸图像的适应能力。最后用形成的新的训练样本集合去训练改进后的ResNet模型，得到最终的识别分类结果，从而提升对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。

本发明采用了如下的技术方案及实现步骤：

1.一种基于图像融合和改进ResNet的图像识别方法，其特征在于，

具体包括以下步骤：

(1)制作图像训练样本：

(1)-1对训练图像数据集合进行相关专家标记，形成图像训练样本集合，原图像是r*c尺寸的RGB图像；

(2)白化处理以及提取LBP特征：

(2)-1对于原图像利用现有的数字图像处理方法分别进行提取白化特征和LBP特征，

(3)主成分分析替换处理：

(3)-1读取原RGB图像获得相应的矩阵，记做mol₀，即mol₀的形式为r*c*3；读取白化图像矩阵为r*c，记做ban₀；读取LBP矩阵为r*c，记做ban01₀；然后进行矩阵数据归一化预处理在0-1之间：公式(1)如下：

mol＝mol₀/255；ban＝ban₀/255；ban01＝ban01₀/255 (1)

(3)-2把mol的矩阵变换成一个(r*c)*3的矩阵，即把mol的每个通道矩阵变换成一行例，记为mols，然后求出mol的相关矩阵，记做correlation，公式(2)如下，其中mol’为mol的转置矩阵；然后求出特征值value与特征向量vector得到主主成分矩阵，记做pa，公式(3)如下；然后把得到的主成分矩阵变换成一个r*c*3的矩阵，记做pas；

correlation＝(mol’*mol)/(r*c) (2)

pa＝mols*vector (3)

(3)-3因为第二步骤得到的特征值value是从小到达排列的，所以pas的第三通道就是第一主成分，保留第一主成分，把剩余的两个较小的通道进行归一化处理，即每个通道的元素处于0-1之间，然后把白化处理的特征和LBP特征分别和剩余两个较小的通道主成分进行直方图匹配处理，即使ban、ban01的直方图与第二主成分、第三主成分的直方图一致；

(3)-4直方图匹配完成后，ban、ban01分别去替换第二、三主成成分的矩阵，然后通过PCA逆变换重构融合图像形成新的RGB图像；

(4)改进ResNet：

(4)-1保留模型的卷积不动,去掉模型最后的平均池化层和全连接层得到r个特征图，即feature maps，然后依次加入Relu层、卷积层，其中卷积核大小为3*3，步长为2，卷积层得到下采样后的r个特征图，再加入批处理规范化层，即Batch Normalization，平均池化层得到r个1*1的特征图，然后变换成r*1的向量，最后经过全连接层得到分类结果；

(5)训练改进的ResNet模型：

(5)-1直接用新生成的大图像训练样本集合去训练改进的ResNet模型，得到最终的图像识别分类结果。

本发明的创造性主要体现在：

现实生活中大量的样本图像都会受到拍照光线强弱以及背景的干扰，对于图像识别分类的准确性和敏感性产生了较大的影响。图像的白化处理可以获得不受环境照明强度、物体反射、拍摄相机等多因素的影响的那些不受外界影响的恒定信息；图像LBP特征来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。利用PCA把原图像的较小的主成分进行替换，形成新的RGB图像来增加复杂环境下的图像识别特征显现。对于新的RGB图像不进行放缩处理，直接用大尺寸图像去训练改进的ResNet，减少图像精度损失，提高图像识别分类的准确性和敏感性。

本发明设计提取图像的多种特征，对大尺寸原图像进行主成分分析，分成从大到小的三个主成分向量，保留第一主成成分，即保留原图像的最大特征；然后对于两个较小的主成分分别用提取的两个特征先进行直方图匹配然后进行替换，生成新的大尺寸图像。用新的大尺寸图像不进行放缩处理直接去训练改进的ResNet模型，从而提升模型对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。

附图说明

图1是本发明总体流程框图。

图2是本发明是主成分分析替换处理过程子图

图3是本发明是ResNet模型改进过程子图

具体实施方式

1.本发明设计结合图像融合方法与改进ResNet模型提升对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像的分类结果，其特征在于：包括制作图像训练本、白化处理以及提取LBP特征、主成分分析替换处理，改进ResNet，训练改进的ResNet模型

具体包括以下步骤：

(1)制作图像训练样本：

(1)-1对训练图像数据集合进行相关专家标记，形成图像训练样本集合，比如原图像是512*512的RGB图像。

(2)白化处理以及提取LBP特征：

(2)-1对于原图像利用现有的数字图像处理方法分别进行提取白化特征和LBP特征

(3)主成分分析替换处理：

(3)-1读取原图像获得相应的矩阵(512*512*3)记录做mol，即mol的size为r*c*band；读取白化图像矩阵(512*512)记做ban；读取LBP矩阵(512*512)记做ban01；然后进行矩阵数据归一化预处理在0-1之间：

(3)-2把mol的矩阵reshape一个262144*3的矩阵(其中262144就是r*c的结果)，记为mols；即把mol的每个通道reshape成一行；然后求出mol的相关矩阵，记做correlation，公式(2)如下(其中mol’为mol的转置矩阵)；然后求出特征值value与特征向量vector得到主主成分矩阵，记做pa，公式(3)如下；然后把得到的主成分矩阵reshape成一个512*512*3的矩阵，记做pas

correlation＝(mol’*mol)/262144 (2)

pa＝mols*vector (3)

(3)-3因为第二步骤得到的特征值value是从小到达排列的，所以pas的第三通道就是第一主成分，保留第一主成分，把剩余的两个较小的通道进行归一化处理，即每个通道的元素处于0-1之间，然后把白化处理的特征和LBP特征分别和剩余两个较小的通道主成分进行直方图匹配处理，即使ban、ban01的直方图与第二主成分、第三主成分的直方图一致

(3)-4直方图匹配完成后，ban、ban01分别去替换第二、三主成成分的矩阵，然后通过PCA逆变换重构融合图像形成新的RGB图像。

(4)改进ResNet：

(4)-1保留模型的卷积等操作不动,去掉模型最后的平均池化层和全连接层得到feature maps(512*16*16)然后依次加入Relu层、3*3卷积层(kerner size＝(3,3)stride＝(2,2)padding＝1)得到feature maps(512*8*8)，再加入Batch Normalization层、平均池化层得到feature maps(512*1*1)，然后resize成512*1的向量，最后经过全连接层得到分类结果。

(5)训练改进的ResNet模型：

(5)-1直接用新的图像训练样本集合(512*512尺寸)去训练改进的ResNet模型，得到最终的图像识别分类结果。

更具体的是：

(1)制作图像训练样本：

(1)-1对训练图像数据集合进行相关专家标记，形成图像训练样本集合，比如原图像是512*512的RGB图像。

(2)白化处理以及提取LBP特征：

(2)-1对于原图像利用现有的数字图像处理方法分别进行提取白化特征和LBP特征

(3)主成分分析替换处理：

(3)-1读取原图像获得相应的矩阵(512*512*3)记录做mol，即mol的size为r*c*band；读取白化图像矩阵(512*512)记做ban；读取LBP矩阵(512*512)记做ban01；然后进行矩阵数据归一化预处理在0-1之间：

(3)-2把mol的矩阵reshape一个262144*3的矩阵(其中262144就是r*c的结果)，记为mols；即把mol的每个通道reshape成一行；然后求出mol的相关矩阵，记做correlation，公式(2)如下(其中mol’为mol的转置矩阵)；然后求出特征值value与特征向量vector得到主主成分矩阵，记做pa，公式(3)如下；然后把得到的主成分矩阵reshape成一个512*512*3的矩阵，记做pas

correlation＝(mol’*mol)/262144 (2)

pa＝mols*vector (3)

(3)-3因为第二步骤得到的特征值value是从小到达排列的，所以pas的第三通道就是第一主成分，保留第一主成分，把剩余的两个较小的通道进行归一化处理，即每个通道的元素处于0-1之间，然后把白化处理的特征和LBP特征分别和剩余两个较小的通道主成分进行直方图匹配处理，即使ban、ban01的直方图与第二主成分、第三主成分的直方图一致

(3)-4直方图匹配完成后，ban、ban01分别去替换第二、三主成成分的矩阵，然后通过PCA逆变换重构融合图像形成新的RGB图像。

(4)改进ResNet：

(4)-1保留模型的卷积等操作不动,去掉模型最后的平均池化层和全连接层得到feature maps(512*16*16)然后依次加入Relu层、3*3卷积层(kerner size＝(3,3)stride＝(2,2)padding＝1)得到feature maps(512*8*8)，再加入Batch Normalization层、平均池化层得到feature maps(512*1*1)，然后resize成512*1的向量，最后经过全连接层得到分类结果。

(5)训练改进的ResNet模型：

(5)-1直接用新的图像训练样本集合(512*512尺寸)去训练改进的ResNet模型，得到最终的图像识别分类结果。