具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

以下结合附图对本发明的具体实施例做详细说明。

请参阅图1，本发明第一实施例提供了一种图像识别的网络构建方法,其可由图像识别的网络构建(以下简称网络构建设备)来执行，特别的，由网络构建设备内的一个或者多个处理器来执行，以实现如下步骤：

S101，获取待识别图像,对所述待识别图像的目标区域进行定位，以获取目标区域；

在本实施例中，所述网络构建设备可以是用户终端(如智能手机、智能打印机或者其他智能设备)，其可以配置有图像采集装置，例如，摄像头，用于采集待识别的图像。

需要说明的是，人们的视线往往先被关键信息吸引，大脑接受此区域信息进行分类。在强监督图像里无论候选框标注还是关键点检测均需要大量的人工标注的成本。而在本实施例中，是通过注意力机制对图像关键区域定位，同时也利用卷积特征对显著性区域预测从而降低背景区域噪声的干扰。

具体地，在本实施例中，将所述待识别图像输入到ResNet50网络中进行特征提取；

对所述特征输入残差块中进行运算，以获得显著性区域的坐标；

将所述显著性区域的坐标映射到所述待识别图像上，从而定位出所述目标区域。

更具体地，首先，在第一子网络中输入所述待识别图像，并利用ResNet50网络的部分层获取所述待识别图像的特征，然后当所述特征进入残差块Conv5_b后，在函数公式(1)中将Feature Map(Feature Map(f)∈R^H×W×K)的通道值累加获取激活模块F值；接下来当前获取通道值F与阈值(所有位置通道和的均值Mean(F))进行比较关注大于阈值的区域从而获取激活模块的连通区域，如公式(2)所示。同理，在Conv5_c模块获得联通区域M_{conv_5c}。最后M_{conv_5b}的最大联通区域和M_{conv_5c}的联通区域进行交集运算获得原图像中精确的Mask区域坐标。

其中，f_i表示Conv5_b输出特征，K表示ResNet50网络中Conv5_b输出特征(f_i)的个数，(x,y)表示H×W激活图的特定位置。

图像特征在Conv5_x(Layer4)层经过通道注意力机制获取显著性区域坐标并映射到原图，从而定位出关键的目标区域，如图2所示。沿着定位坐标裁剪出原图像的关键区域，然后利用双线性插值(Bilinear Interpolation)将其换成448×448的关键区域图像，最后此图像作为第二子网络的输入，如图3所示。

S102，对所述目标区域进行破坏,生成区域拼图；

具体地，在本实施例中，对所述目标区域进行划分成N*N个子区域，R_i,j表示某个子区域的位置；

将所述子区域在邻域内按照约束条件进行移动，生成区域拼图。

需要说明的是，在玩拼图游戏时通常不能一次性获取完整的全局信息，人们只能观察某一部件的信息，从而联想或试错得到其他的部件图像达到拼成完整图像的目的。细粒度图像(即目标区域)被平均分为N×N的部件，其中，每一块部件图像设置编号R(i,j)。随机选取原图像的某个部件移动到R(0，0)位置导致R(0，0)位置的图像只能随机按放到其他位置，最后拼成新图像。其中每个部件的尺寸可以为3×(W/N)×(H/N)。

在本实施例中，如果混淆图像空间局部区域的相对位置，神经网络被迫从定位关键区域的细节信息中学习特征。首先，图像被均匀的划分为N×N个子区域，R_i,j(1≤i,j<N)表示某个子区域的位置。其次，部件在邻域内进行移动。在R_i,j子区域的每行上，第j行设置一个随机数q_i则第i个元素获取到新的区域位置q_j,i＝i+r，其中(r～U(-k,k),1≤k<N)，在每一列移动位置设置相同的约束条件。因此，新的区域的位置表示如下：

σ(i,j)＝(σ_j ^row(i),σ_i ^col(j)) (4)

其中，σ_j ^row表示第j行的新排列；σ_i ^col表示第i列的新排列；σ(i,j)坐标(i,j)位置放置的部件。在此条件约束下部件模块只能在其邻域内移动。破坏图像(Image)全局结构后，生成新图像(即区域拼图)实现增强数据集(Image_N，每个图像N×N个子区域)。

请继续参阅图3，第二子网络的输入图像经过区域增强获取新图像，并将其设置为第三子网络的输入图像。在此对比两种区域增强方式均采用随机移动部件位置的思路，两者的区别在于区域混淆机制中设置随机参数K(0<K≤N)，限制随机移动的范围。当K较小，只能在相对较近的邻域内随机移动位置，当K＝N时，两个方式相同。因此区域拼图比区域混淆机制，对图像的空间信息破坏程度更彻底。

S103，获取所述区域拼图的细节信息，结合网络损失函数建立所述待识别图像的网络模型。

在本实施例中，首先通过注意力模块(或称之为目标区域获取模块)获取关键对象的区域信息从而降低背景等噪声的干扰，然后在目标区域进行数据增强获取区域拼图从而迫使网络关注于细节信息，最后在三个子网络结构中使用联合损失函数进行训练。总的损失函数如下公式(5)表示为：

L＝α×L_{raw_cls}+β×L_{local_cls}+γ×L_enh (5)

其中，α,β,γ分别表示每一子网络损失的权重；L_{raw_cls}表示第一子网络的损失函数；L_{local_cls}表示第二子网络的损失函数；L_enhance表示第三子网络的损失函数。第一、二子网络中利用基线网络构建关键区域，仅修改网络模块实现网络的分类。在第三子网络中，区域增强不仅凸显细节信息而且引入A-Softmax Loss学习细节信息。

获取注意力机制模块的损失函数

首先原始图像作为输入，在网络中经过卷积、池化和激活等层获取特征，其特征进入全连接层转换成相应的类别概率并计算其损失函数，因此子网络的损失函数也使用交叉熵进行计算，如公式(6)所示。然后关键信息区域作为下一层子网络的输入，在网络中计算出损失函数，如公式(7)所示。其中p_i表示第i张图像的真实的类别标签；q_i表示第i张图像的预测类别的标签；n表示样本量。

区域增强的损失函数

关键区域进行数据增强获取新图像迫使网络关注图像的细节信息，同时将获取的新图像作为第三分支网络的输入，其子网络的损失函数为：

L_enhance＝c×L_{enhance_cls}+s×L_ang； (8)

其中，c,s分别表示第三子网络的损失函数构成中的参数；L_{enhance_cls}表示交叉熵损失函数；L_ang表示A-Softmax Loss。因人脸识别任务的需求提出A-Softmax Loss的损失函数，在本发明中将其调整并应用在网络结构中：

在第三子网络中先获取区域增强的图像作为输入，然后学习其特征并分类，最后计算出识别子网络的损失函数，在实验结果中讨论损失函数和参数对网络的影响。

在验证阶段，图像经过网络模型后，仅需要获取关键区域，不再获取关键区域的增强图像，从而降低计算量减少推理时间。网络结构由前两个子网络构建，由全局空间信息和局部关键区域共同实现分类。

本发明的实验结果如下：

1)实验的数据集

在本发明中为验证提出方法的有效性，分别在多个基准数据集上展开工作：CUB-200-2011(CUB)，FGVC-Aircraft(AIR)和Stanford Cars(CAR)，进一步对这些数据集的实验结果进行分析。同时，在相同的数据集上本发明算法对比主流方法验证其高效性，包括细粒度图像特征学习的B-CNN、多注意机制的MA-CNN、自监督机制的NTS和图像破坏与重构的DCL算法。

2)关键区域提取

首先原图像输入到ResNet50网络中，在残差块Conv5_b和Conv5_c间利用通道注意机制生成掩码信息。然后两模块间获取的激活区域采用交集运算从而获取掩码坐标。最后坐标信息被映射到原图上，同时在原图上裁剪并放大关键区域。

网络中利用通道注意力机制获取显著性区域坐标，同时此坐标映射到原图后裁剪出区域。该区域通过双线性插值将其放大到448×448，将此作为下一子网络的输入。

3)分析区域增强的方式

上述获取的关键目标区域中目标是来源同一大类的不同子类，其具有相似的全局信息的特点。而区分细粒度图像类别的关键在于相似形态中具有差异性的部位，即在网络中学习具有判别性的特征。先破坏了图像的空间信息获取新图像，再利用网络学习此区域的特征，最后关注其的细节信息从而学习到局部的判别性信息。

本模块采取两种区域增强的方式：区域拼图和区域混淆机制。如果以较小的尺寸模块生成新图像，会约束图像的识别；而如果以较大的尺寸模块生成新图像，不能有效的关注细节信息。因此，在本模块合理设计破坏图像的程度，原图像分成7×7块部件构成的新图像。

表1不同区域增强方式的细粒度图像识别准确率

以上介绍的两种区域增强的方式分别在本发明算法中进行实验。在CUB 200-2011数据集上实验结果表明，区域混淆机制比区域拼图在细粒度图像识别上的效果好，其识别精度高出约0.19％。

根据两个数据增强方式的特点，在此分析产生不同准确率的原因，如图6所示。1)区域拼图：图像中部件的位置可以随机移动；2)区域混淆：此方法相对于区域拼图增加约束条件，设置随机参数K。若K值较大，部件可以移动到较远的位置，反之，部件移动的位置较近。图像利用这两种方式生成的新图像，其中区域拼图比区域增强对图像的空间信息破坏得更彻底。虽然破坏空间信息可以使网络学习到更多的判别性特征，但是空间全局信息对细粒度图像识别也起辅助和促进的作用，不能完全丢弃。同时在主流方法中也得到了验证：DCL算法中图像分解并重组的识别准确率要高于仅分解图像的识别准确率。

4)损失函数的消融实验

在三个子网络的损失函数中设置参数α,β,γ，讨论参数对本实验的影响程度，如下表2所示：

表2不同子网络损失函数权重对算法的影响

在CUB 200-2011数据集上的实验结果验证了第三子网络对识别的影响，如上表2所示。当增加第三子网络损失函数的权重时，识别正确率提升了0.19％。因此，细粒度图像关键区域的细节信息可以有效提升算法识别精度。

在第三子网络中，损失函数Loss_enhance由Softmax Loss和A-Softmax Loss构成。此网络的损失函数相对其他子网络更为复杂，所以在实验中应该具体讨论其作用和特点。在实验结果中讨论了是否使用这两个损失函数和权重参数这两部分对算法的影响，如下表3所示。

表3 Loss_enhance中不同构造参数的识别准确率

首先，实验结果表明A-Softmax Loss更适用于细粒度图像分类，此结论符合两个损失函数在一般图像识别准确率的规律。其次，从识别准确率分析了两个损失函数共同构建的网络的效果并讨论其参数。实验结果表明，在两个损失函数共同作用下可以获取更好的实验结果同时参数设置为(1,1)。

5)网络结构模块的消融实验

在CUB 200-2011数据集上，分析本算法在ResNet50基础网络逐步添加每一模块的消融实验，如表4所示：

表4本发明算法在CUB 200-2011数据集的消融实验

如上表所示，对网络的每一个模块进行消融并对比实验结果分析其识别精度。实验结果验证了每一模块在网络的作用和合理性。下面分别解释实验结果中的每一个模块和模块实现的功能：

在第一子网络网络，通过基线ResNet50网络实现分类；此模块实现基线分类结果；

在第一、二子网络中注意力机制获取关键区域；通道注意力机制提取关键的目标区域从而消除背景噪声；

第三子网络中添加区域增强图像模块后识别精度明显提升(三个子网络共同作用)；区域增强的新图像迫使网络关注每一模块的细节信息，同时减少了对相似的全局信息的关注；

先在第三子网络添加通道注意力模块然后从第一子网络到第三子网络，直接将关键区域图像进行区域增强机制，最后网络由第一、三子网络构建，即在网络中删除第二子网络。由于定位裁剪操作后没有得到健壮稳定的定位区域，在关键区域中直接引入区域增强。这样导致识别精度提升并不明显，同时也表明了第二分支的必要性；

三个子网络共同构建网络；每一子网络对识别精度都有促进的作用；

在(e)结构修改第三子网络的损失函数，在结构中添加A-Softmax Loss函数；对比不同的Loss函数，实验结果表明A-Softmax Loss函数对本网络的提升作用；

区域增强方式对比；区域混淆和区域拼图的差异：区域混淆部件随机移动的范围被约束。同时实验结果验证了在网络中不能全部丢弃空间全局信息；

对比Loss的参数；对比并获取合适的损失函数参数从而合理设置参数权重。

6)本算法在多个数据集上对比主流算法的识别效果

在多个数据集上，本发明算法和当前主流算法对比，其实验结果验证了利用注意力机制和区域增强构建算法可以有效地提升细粒度识别准确率，如表5所示。

表5在多个数据集上不同算法的准确率(％)

实验结果表明，在AIR数据上取得了较好的识别精度，但是在CUB和CAR上的结果并不理想，一方面说明全局信息的重要性不能完全丢弃，另一方面是参数设置的影响，但在对比实验结果时需要控制变量，因此不讨论区域增强参数(N)，对本实验的影响，将其设置成固定值7。

在本方法中先获取关键区域再获取区域增强的新图像最后构建多层子网络模型。该模型经过实验结果验证得出两个结论：1)在网络中生成关键区域从而消除背景等噪声；区域增强使其更加容易地学习细节信息。算法不仅挖掘了关键区域地细节信息，而且符合细粒度图像因相识形态导致差异主要在细节区域的特点。2)区域增强模块中，区域混淆的效果优于区域拼图，两者的差别在于区域混淆部件移动的范围被约束，同时对比DCL方法证明了空间全局信息对图像的分类是促进作用不能完全丢弃。

本发明与现有技术相比具有诸多优点和有益效果，具体体现在以下方面：

通道注意力模块获取关键区域从而降低背景噪声；

区域增强挖掘了关键区域地细节信息，破坏关键区域图像的空间信息，实现数据的多样性；

因此可以更准确和高效的识别子类图像。

请参阅图4，本发明第二实施例提供了一种图像识别的网络构建装置,包括:

目标区域获取单元201，用于获取待识别图像,对所述待识别图像的目标区域进行定位，以获取目标区域；

区域拼图生成单元202，用于对所述目标区域进行破坏,生成区域拼图；

网络模型建立单元203，用于获取所述区域拼图的细节信息，结合网络损失函数建立所述待识别图像的网络模型。

优选地，所述目标区域获取单元具体用于:

将所述待识别图像输入到ResNet50网络中进行特征提取；

对所述特征输入残差块中进行运算，以获得显著性区域的坐标；

将所述显著性区域的坐标映射到所述待识别图像上，从而定位出所述目标区域。

优选地，所述区域拼图生成单元具体用于：

对所述目标区域进行划分成N*N个子区域，R_i,j表示某个子区域的位置；

将所述子区域在邻域内按照约束条件进行移动，生成区域拼图。

优选地，所述约束条件为：

σ(i,j)＝(σ_j ^row(i),σ_i ^col(j))；

其中，k为随机参数，σ_j ^row表示第j行的新排列；σ_i ^col表示第i列的新排列，σ(i,j)为坐标(i,j)位置放置的部件。

本发明第三实施例提供了一种图像识别的网络构建设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序实现如上任意一项所述的一种图像识别的网络构建方法。

基于本发明提供的一种图像识别的网络构建方法、装置及设备，通过获取由摄像头获取到待识别图像,对所述待识别图像的目标区域进行定位，以获取目标区域，以降低背景噪声的问题，对所述目标区域进行破坏,生成区域拼图，解决网络关注目标区域的不同细节信息避免了因过度关注某一细节信息而忽略次要的显著判别性区域的问题，最后，获取所述区域拼图的细节信息，结合网络损失函数建立所述待识别图像的网络模型。

示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种图像识别的网络构建设备中的执行过程。例如，本发明第二实施例中所述的装置。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种图像识别的网络构建方法的控制中心，利用各种接口和线路连接整个所述实现对一种图像识别的网络构建方法的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种图像识别的网络构建方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。