一种基于增广图卷积的多标签物体识别方法、装置及设备
阅读说明：本技术 一种基于增广图卷积的多标签物体识别方法、装置及设备 (Multi-label object identification method, device and equipment based on augmented graph convolution ) 是由 胡伏原 杜凯乐 顾建明 过岱彦 李林燕 吕凡 赵柳清 陈昊 戴易桁 赵云杰 于 2021-08-16 设计创作，主要内容包括：本发明公开了一种基于增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质,为了抑制在新任务模型收敛时,旧任务多标签模型参数改变的问题以及在类递增数据流下跨任务关系构建中,难以获得旧任务标签信息的问题,基于终身学习和多标签学习,构建了可抑制模型遗忘的专家网络以及可在线更新的增广关系矩阵,并基于增广关系矩阵和图卷积算法实时构建跨任务的多标签关系,解决了传统终身学习无法构建多标签关系,无法抑制标签关系遗忘的问题。(The invention discloses a method, a device, equipment and a computer readable storage medium for identifying a multi-label object based on augmented graph convolution, aiming at solving the problems that the parameters of an old task multi-label model are changed when a new task model is converged and the label information of the old task is difficult to obtain in the construction of cross-task relations under class incremental data streams, constructing an expert network capable of inhibiting model forgetting and an augmented relation matrix capable of being updated on line based on lifelong learning and multi-label learning, and constructing the cross-task multi-label relations based on the augmented relation matrix and a graph convolution algorithm in real time, thereby solving the problems that the multi-label relations cannot be constructed and the label relations cannot be inhibited in the traditional lifelong learning.)
技术领域
本发明涉及计算机视觉领域，特别是涉及一种增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质。
背景技术
近年来，终身学习(Lifelong learning)和多标签学习(Multi-label learning)受到了学术界的极大重视，成为近两年来计算机视觉领域中比较热门的方向。目前基本没有为终身学习和多标签学习设计的算法。多标签图像识别是计算机视觉领域中具有重要研究意义的课题之一，相对于单标签图像，多标签更符合真实世界的设定。多标签图像识别是指对包含多种标签的图片，进行特征提取，标签识别。终身学习算法是计算机视觉领域新兴的研究课题，是一种处理类递增数据流的算法，它旨在多任务学习中抑制旧任务的遗忘，用同一个模型不断积累任务的知识。
基于图卷积的多标签图像识别方法利用图卷积的图结构来构建标签关系以提高模型精度。图卷积网络的输入有关键两点：一是初始化图结点；二是关系矩阵。初始化图结点从词向量提取；关系矩阵是从所有训练数据的标签信息中，以离线方式提取标签之间的共现概率，组成共现概率矩阵，然后进行二次加权和正则化形成关系矩阵。图卷积网络通过图结构来判别标签关系的远近，通过构建标签关系来建立各个标签之间的关系，以此提高模型的精度。
基于图卷积的多标签图像识别方法其构建标签关系的本质是对所有训练数据的标签信息进行统计，然后计算两两标签之间共现概率，构建共现矩阵作为关系矩阵，之后结合词向量共同输入到图卷积网络中。这种方法最大的缺点在于需要在模型训练之前获知所有训练数据的标签信息，然后以离线的方式构建标签关系，与数据流对未来标签数据未知的设定相违背，不能在线处理多标签问题，不符合真实世界的设定。
目前终身单标签学习算法主要有两种研究分支，一种是基于正则化的算法，一种是基于样本重演的算法。基于正则化的终身学习算法，这种算法在新任务的学习中，判断旧任务模型参数的重要程度，通过限制模型重要参数的改变来减少先前任务的遗忘；基于样本重演的终身学习算法，此类方法通过先前任务储存的少量样本来抑制遗忘现象，这些旧任务的样本进行梯度操作或者直接和当前任务的样本进行联合训练，以抑制遗忘。
现有的终身学标签学习中主要有两种问题：一是样本输入模型后便不能重复迭代，并且不能被提前获知标签信息，这就导致不能利用现有的多标签识别方法以离线的方式来构建标签关系。二是灾难性遗忘不仅发生在识别精度的遗忘上，在标签关系上也会出现，在新任务的不断训练中，标签之间的关系也会发生遗忘。终身单标签学习只能处理简单的单标签样本，即一个样本中只有一类标签，但是在真实世界中，样本多以多标签的形式存在，终身单标签学习算法不能构建多标签关系，不能处理复杂类递增的多标签数据流，且无法抑制标签关系遗忘。
综上所述可以看出，如何基于终身学习和多标签学习，提供一种可以构建多标签关系，抑制精度遗忘和标签关系遗忘的多标签物体识别方法是目前有待解决的问题。
发明内容
本发明的目的是提供一种增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质，以解决现有终身学习和多标签学习中多任务模型灾难性遗忘和跨任务关系构建的问题。
为解决上述技术问题，本发明提供一种基于增广图卷积的多标签物体识别方法，包括：
利用多标签数据集对预先构建的多标签物体识别模型进行训练，将所述多标签数据集划分为l＝M/N组数据集，其中，M个标签为所述多标签数据集所包含的标签个数，N为所述多标签物体识别模型中每个任务所学习的标签个数；
将第t组数据集输入至所述多标签物体识别模型的第t-1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值，其中，所述第t-1个专家网络根据第t-1个任务的CNN网络参数和GCN网络参数构建，为完成所述第t-1个任务后所述多标签物体识别模型已学习过的标签集合；
将第t组数据集批量输入至第t个任务的CNN网络中，输出所述第t组数据集的图像特征矩阵；
构建所述第t个任务的增广关系矩阵
其中，为所述第t-1个任务的增广关系矩阵，Bt为基于所述第t个任务所学习的标签集合Ct内各个标签在所述第t组数据集的硬标签构建的任务内标签关系矩阵，Rt为根据所述标签集合Ct内各个标签在所述第t组数据集的硬标签和所述标签集合内各个标签在所述第t组数据集的多标签概率值构建的任务间标签关系矩阵，Qt为基于朴素贝叶斯公式构建的所述标签集合Ct和所述标签集合间的关系矩阵；
将标签集合内各个标签的词向量和所述增广关系矩阵At输入至所述第t个任务的GCN网络中，输出所述标签集合的多标签关系矩阵，其中，为完成所述第t个任务后所述多标签物体识别模型已学习过的标签集合；
将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值；
完成所述多标签数据集中M个标签的学习后，得到训练完成的目标多标签物体识别模型，利用所述目标多标签物体识别模型对待检测图像内的各个标签进行识别。
优选地，所述将第t组数据集输入至所述多标签物体识别模型的第t-1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值包括：
通过将所述第t-1个任务的CNN网络参数保存至所述第t-1个专家网络的CNN网络中，通过将所述第t-1个任务的GCN网络参数保存至所述第t个专家网络的GCN网络中；
将第t组数据集输入至所述第t-1个专家网络中，输出所述标签集合内各个标签在所述第t组数据集的多标签概率值 其中，σ为Sigmoid函数，为所述标签集合中第i个标签的词向量。
优选地，所述构建所述第t个任务的增广关系矩阵At包括：
构建所述第t个任务的增广关系矩阵
其中，所述任务内标签关系矩阵Bt中元素 Ni&j为标签i和标签j在所述第t组数据集中的共现次数，Nj为标签j在所述第t组数据集中出现的次数；
所述任务间标签关系矩阵Rt中元素 ∑p′i为所述第t-1个专家网络输出的标签i在所述第t组数据集中出现的概率值之和，yj为所述第t组数据集中标签j的硬标签；所述关系矩阵Qt中元素
优选地，所述将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值包括：
根据获取所述标签集合内各个标签的多标签概率值pi；
其中，σ为Sigmoid函数，为所述第t个任务的CCN网络的参数，为所述第t个任务的GCN网络的参数，为所述标签集合中第i个标签的词向量。
优选地，所述多标签物体识别模型的损失函数为l＝lC+lD+lG；
其中，lC为鉴别损失，lD为用于抑制所述多标签物体识别模型精度遗忘的精度知识蒸馏损失，lG为用于抑制所述多标签物体识别模型标签关系遗忘的关系知识蒸馏损失。
优选地，所述利用预选多标签数据集对预先构建的多标签物体识别模型进行训练包括：
利用MS-COCO2014多标签数据集中的32个标签对所述多标签物体识别模型进行训练。
优选地，所述利用预选多标签数据集对预先构建的多标签物体识别模型进行训练包括：
利用包含20个标签的Pascal VOC2007多标签数据集对所述多标签物体识别模型进行训练。
本发明还提供了一种基于增广图卷积的多标签物体识别装置，包括：
数据集划分模块，用于利用多标签数据集对预先构建的多标签物体识别模型进行训练，将所述多标签数据集划分为l＝M/N组数据集，其中，M个标签为所述多标签数据集所包含的标签个数，N为所述多标签物体识别模型中每个任务所学习的标签个数；
软标签获取模块，用于将第t组数据集输入至所述多标签物体识别模型的第t-1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值，其中，所述第t-1个专家网络根据第t-1个任务的CNN网络参数和GCN网络参数构建，为完成所述第t-1个任务后所述多标签物体识别模型已学习过的标签集合；
图像特征提取模块，用于将第t组数据集批量输入至第t个任务的CNN网络中，输出所述第t组数据集的图像特征矩阵；
增广关系矩阵构建模块，用于构建所述第t个任务的增广关系矩阵
其中，为所述第t-1个任务的增广关系矩阵，Bt为基于所述第t个任务所学习的标签集合Ct内各个标签在所述第t组数据集的硬标签构建的任务内标签关系矩阵，Rt为根据所述标签集合Ct内各个标签在所述第t组数据集的硬标签和所述标签集合内各个标签在所述第t组数据集的多标签概率值构建的任务间标签关系矩阵，Qt为基于朴素贝叶斯公式构建的所述标签集合Ct和所述标签集合间的关系矩阵；
图卷积模块，用于将标签集合内各个标签的词向量和所述增广关系矩阵At输入至所述第t个任务的GCN网络中，输出所述标签集合的多标签关系矩阵，其中，为完成所述第t个任务后所述多标签物体识别模型已学习过的标签集合；
点乘模块，用于将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值；
识别模块，用于完成所述多标签数据集中M个标签的学习后，得到训练完成的目标多标签物体识别模型，利用所述目标多标签物体识别模型对待检测图像内的各个标签进行识别。
本发明还提供了一种基于增广图卷积的多标签物体识别设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于增广图卷积的多标签物体识别方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于增广图卷积的多标签物体识别方法的步骤。
本发明所提供的基于增广图卷积的多标签物体识别方法，利用包括M个标签的多标签数据集对预选构建的多标签物体识别模型进行训练，预先设定所述多标签物体识别模型的每个任务学习的标签个数为N，将所述多标签数据集划分为l＝M/N组数据集。本发明通过构建专家网络保存上一任务的模型参数来抑制模型精度的灾难性遗忘，将第t组数据集输入至第t-1个专家网络中，可以得到完成第t-1个任务后每个已训练过的标签的多标签概率值，即专家网络输出的标签集合中每个标签的软标签。当t为1时，即第一个任务中的增广关系矩阵仅通过任务内标签的硬标签构建。当t大于等于2时，第t个任务的增广关系矩阵的更新方式为其中，继承于上一任务的增广关系矩阵，构建第t个任务之前的所有任务的标签关系；Bt是通过第t个任务的训练样本，即第t组数据集的硬标签更新的任务内标签关系矩阵，Bt用以捕捉新任务标签的标签依赖；Rt为根据标签集合Ct内各个标签在第t组数据集的硬标签和第t-1个专家网络产生的标签集合内各个标签在第t组数据集的软标签构建的任务间标签关系矩阵，Rt用以构建新任务标签和旧任务标签的标签关系；Qt为基于朴素贝叶斯公式构建的任务间标签关系矩阵。随着增广关系矩阵的构建，图卷积网络可以构建跨任务的多标签关系，从而有效抑制了标签关系的灾难性遗忘。
本发明所提供的多标签物体识别方法，构建了可抑制模型遗忘的专家网络以及可在线更新的增广关系矩阵，并基于增广关系矩阵和图卷积算法实时构建跨任务的多标签关系，解决了传统终身学习无法构建多标签关系，无法抑制标签关系遗忘的问题。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于增广图卷积的多标签物体识别方法的一种具体实施例的流程图；
图2为本发明所提供的基于增广图卷积的多标签物体识别方法的网络结构图；
图3为本发明构建的多标签关系可视化图；
图4为本发明实施例提供的一种基于增广图卷积的多标签物体识别装置的结构框图。
具体实施方式
本发明的核心是提供一种基于增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质，可解决在类递增多标签数据流中的图像识别问题，构建了可抑制遗忘的专家网络，并基于增广图卷积算法在线构建跨任务的多标签关系，抑制精度遗忘和关系遗忘，可有效提高多标签物体识别精度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1和图2，图1为本发明所提供的基于增广图卷积的多标签物体识别方法的一种具体实施例的流程图，图2为本发明所提供的基于增广图卷积的多标签物体识别方法的网络结构图；具体操作步骤如下：
步骤S101：利用多标签数据集对预先构建的多标签物体识别模型进行训练，将所述多标签数据集划分为l＝M/N组数据集；
其中，M个标签为所述多标签数据集所包含的标签个数，N为所述多标签物体识别模型中每个任务所学习的标签个数。
步骤S102：将第t组数据集输入至所述多标签物体识别模型的第t-1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值；
其中，所述第t-1个专家网络根据第t-1个任务的CNN网络参数和GCN网络参数构建，为完成所述第t-1个任务后所述多标签物体识别模型已学习过的标签集合。
在所述多标签物体识别模型完成第一个任务之后，会得到第一个专家网络，由专家网络产生软标签。基于知识蒸馏的终身学习算法，本发明实施例所提供的方法，通过构建专家网络保存上一个任务的模型参数来抑制灾难性遗忘。
通过将所述第t-1个任务的CNN网络参数保存至所述第t-1个专家网络的CNN网络中，通过将所述第t-1个任务的GCN网络参数保存至所述第t个专家网络的GCN网络中；
将第t组数据集输入至所述第t-1个专家网络中，输出所述标签集合内各个标签在所述第t组数据集的多标签概率值 其中，σ为Sigmoid函数，为所述标签集合中第i个标签的词向量。
步骤S103：将第t组数据集批量输入至第t个任务的CNN网络中，输出所述第t组数据集的图像特征矩阵；
步骤S104：构建所述第t个任务的增广关系矩阵At；
当t＝1时，即在所述第一个任务只构建任务内标签关系矩阵，At＝Bt，所述任务内标签关系矩阵Bt中元素 Ni&j为标签i和标签j在所述第t组数据集中的共现次数，Nj为标签j在所述第t组数据集中出现的次数，Ct为所述第t个任务所学习的标签集合。
当t＝2,…,l时，
其中，为所述第t-1个任务的增广关系矩阵，构建的为所述第t个任务之前的所有任务的标签关系。
Bt为基于所述第t个任务所学习的标签集合Ct内各个标签在所述第t组数据集的硬标签构建的任务内标签关系矩阵，用以捕捉新任务标签的标签依赖，由训练数据集提供的硬标签在线更新。所述硬标签即为第t个任务所学习的标签集合Ct内各个标签在所述第t组数据集的二值标签。
Rt为根据所述标签集合Ct内各个标签在所述第t组数据集的硬标签和所述标签集合内各个标签在所述第t组数据集的多标签概率值构建的任务间标签关系矩阵。所述任务间标签关系矩阵用于计算旧任务和新任务的标签关系，利用专家网络产生的软标签p′i和来自训练数据集硬标签共同构建新旧任务之间的标签关系；
所述任务间标签关系矩阵Rt中元素：
∑p′i为所述第t-1个专家网络输出的标签i在所述第t组数据集中出现的概率值之和，yj为所述第t组数据集中标签j的硬标签。
Qt为基于朴素贝叶斯公式构建的所述标签集合Ct和所述标签集合间的关系矩阵；
所述关系矩阵Qt中元素：
步骤S105：将标签集合内各个标签的词向量和所述增广关系矩阵At输入至所述第t个任务的GCN网络中，输出所述标签集合的多标签关系矩阵；
随着增广关系矩阵的构建，图卷积网络能够构建跨任务和任务内之间的关系。每一个图结点由Glove词向量初始化，然后一层层更新。
L为图网络层数的索引，Ht,L和Ht,L+1分别代表第t个任务第L层和第L+1层的图节点，每层的图结点由每层图卷积的参数Wt,L来更新，最后得出图卷积的结点特征。为了减少多标签的关系遗忘，本发明利用关系知识蒸馏来减少新任务对旧任务图结点特征的遗忘。
步骤S106：将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值；
根据获取所述标签集合内各个标签的多标签概率值pi；
其中，σ为Sigmoid函数，为所述第t个任务的CCN网络的参数，为所述第t个任务的GCN网络的参数，为所述标签集合中第i个标签的词向量。
在本发明所提供的实施例中，所述多标签物体识别模型的损失函数为：l＝lC+lD+lG；
其中，lC为鉴别损失，lD为用于抑制所述多标签物体识别模型精度遗忘的精度知识蒸馏损失，lG为用于抑制所述多标签物体识别模型标签关系遗忘的关系知识蒸馏损失，使专家网络在保持原有识别精度的基础上，可以抑制模型精度的灾难性遗忘和标签关系的灾难性遗忘。然而只依靠独立的标签蒸馏，并不能完全解决灾难性遗忘问题，因为专家网络无法构建新任务标签和旧任务标签的关系。如何构建标签关系是多标签物体识别模型中最重要的问题。
步骤S107：完成所述多标签数据集中M个标签的学习后，得到训练完成的目标多标签物体识别模型，利用所述目标多标签物体识别模型对待检测图像内的各个标签进行识别。
在本发明所提供的多标签物体识别方法中，将图像数据流、图像标签的词向量和图像标签的关系矩阵连续输入至多标签识别模型中；在训练时以每个批量为单位，对关系矩阵进行更新，在第一个任务只用标签的硬标签对模型进行更新，在第一个任务之后，会得到专家网络，由专家网络产生软标签，软标签与硬标签结合共同更新标签的增广关系矩阵。增广关系矩阵组成图卷积算法网络的有向边，词向量组成图卷积算法网络的图结点。在每一个学习任务中，CNN网络输出图像特征矩阵，GCN输出多标签关系特征矩阵，将图像特征矩阵与多标签关系特征矩阵进行点乘操作，得到各标签的预测分数。利用知识蒸馏的方法，计算本任务的图像特征和关系特征与上一个任务的图像特征和关系特征的相似度，在保证本任务识别效果较好的基础上，最大保持本任务与上一个任务的相似度，以此来抑制模型对之前任务的遗忘。最后将分类损失函数，图像特征蒸馏损失函数和关系特征蒸馏损失函数相加，共同进行反向传播，实现分类功能的同时，抑制室内多标签模型对旧任务分类知识的遗忘。
本发明致力于克服在传统终身学习和多标签学习中的多任务模型灾难性遗忘和跨任务标签关系构建等问题，提出了基于增广图卷积的多标签物体识别方法，该方法在多标签学习中具有广泛的适用性，可以应用在多个方面，例如：1、自动驾驶：有助于车载计算机实时对多标签交通数据进行识别和分类；2、医疗手术：有助于对多种病理特征进行全面实时分析；3、建筑安全：有助于实时检测工人、设施的多种安全措施是否实行到位。本发明通过引入终身学习的概念，有望改变传统的多标签学习算法难以在实时场景中长期布置，在实际场景中难以学习到全标签模型等问题。
本发明所涉及的算法验证实验，深度学习框架采用的是PyTorch，操作系统为Ubuntu16.04，使用2块V 100图像处理器(GPU)进行运算的加速。本发明的算法实验和所有的对比实验，分别用MS-COCO2014多标签数据集和Pascal VOC2007多标签数据集模拟类递增的多标签数据流。VOC2007总共包含20个标签，分别有5011个训练数据和4952个测试数据。COCO2014总共包含80个类，分别有82783个训练数据和40594个测试数据，在本发明中采用COCO2014中的32个类对所述多标签物体识别模型进行训练。本发明的所有实验，都以ResNet-101网络作特征提取器，在涉及图卷积的算法中，本发明选择两层图卷积层来构建标签关系，采用Adam作为网络的优化器，所有实验共享学习率，特征提取网络的学习率为0.0001，图卷积网络的学习率为0.00003。本发明选取Glove作为图卷积网络的初始化特征。
本发明采用六个指标对各类算法的精度进行评估：平均精确度mAP、针对每个类的F1基准CF1、精确度CP、召回率CR以及针对总体的F1基准OF1、精确度OP、召回率OR。对于输入的数据，模型将其分为正样本和负样本，检测出的正样本由TP(Ture Positive)与FP(FalsePositive)组成，TP为模型认为是正样本其实也是正样本的数据，FP为模型认为是正样本而其实是负样本的数据，同理，模型检测出的负样本由TN(Ture Negative)和FN(FalseNegative)组成，TN为模型认为是负样本其实也是负样本的数据，FP为模型认为是负样本而其实是正样本的数据。则准确率P、召回率R和F1的计算公式为：
多标签识别算法里，最能体现算法优劣的评价标准主要有mAP、CF1和OF1。从表1中可以看出，本发明所提供算法、H-AGCN和SH-AGCN在MSCOCO数据集上的mAP分别为60.03％和59.05％，超出第二名将近8％，而CF1和OF1也超过了其他算法；如表2所示在VOC2007数据集上，本发明的算法在mAP、CF1和OF1上也位居第一名，这证明本发明的方法在识别多标签类递增的数据流上有更佳的表现。
为了检测本发明算法所构建的标签关系的有效性，本发明在训练过程中，将两个数据集构建的标签关系进行可视化，如图3所示，第一幅为COCO数据集32个标签两两之间的关系，第二幅为VOC20078数据集20个标签两两之间的关系，两个标签之间的关系越紧密，对应的坐标色块的颜色越深，可证明本发明所构建的标签关系具有很强的合理性。
硬标签构建任务内标签关系效果分析：当损失函数只有鉴别损失时，图卷积网络只能利用来自数据集的硬标签来构建任务内的标签的关系。在此阶段，随着本任务训练的进行，可以实时利用数据流，以在线的方式，不断更新此任务内的标签关系。与表1未加任何算法的fine-tune相比，算法的表现有明显的提升。在此阶段既不能抑制多标签关系和精度的遗忘，也不能构建跨任务的标签关系。
抑制多标签关系遗忘效果分析：此阶段，在任务内标签关系构建成功的基础上，通过建立对图卷积网络的蒸馏损失函数，来限制图卷积网络参数的改变，以此来抑制在新任务的数据来临时，模型对旧任务标签关系的遗忘。如表3所示，与未加关系蒸馏函数的情况相比，算法在三大指标上，效果有明显的提升，证明本发明的算法可以有效抑制多标签关系的遗忘。在此阶段还未抑制精度的遗忘和跨任务关系的建立。
抑制多标签精度遗忘效果分析：此阶段加入对特征提取器的蒸馏损失后，即精度损失函数，算法可以通过保存上一个任务的模型参数，用现任务的数据在上一个任务的模型中前向传播得到软标签，用这些软标签在训练过程中抑制旧任务参数在新任务的改变，从而抑制精度的灾难性遗忘，从表3可以看出本发明的方法可以有效抑制多标签精度的遗忘，提高整体的表现。在此阶段还未建立跨任务的标签关系。
构建跨任务标签关系效果分析：如表1与表2所示，H-AGCN为只利用硬标签构建了任务内关系的算法，SH-AGCN为既利用硬标签，也利用软标签的算法，SH-AGCN可以利用软标签构建跨任务的标签关系。与H-AGCN相比，SH-AGCN的表现更好，是当前在类递增多标签数据流中表现最出色的算法，可以有效解决多标签数据流的图片识别问题。
表1不同终身学习算法在COCO多标签数据集上的表现
表2不同终身学习算法在VOC2007多标签数据集上的表现
续表2
表3在COCO数据集上进行的消融实验
请参考图4，图4为本发明实施例提供的一种基于增广图卷积的多标签物体识别装置的结构框图；具体装置可以包括：
数据集划分模块100，用于利用多标签数据集对预先构建的多标签物体识别模型进行训练，将所述多标签数据集划分为l＝M/N组数据集，其中，M个标签为所述多标签数据集所包含的标签个数，N为所述多标签物体识别模型中每个任务所学习的标签个数；
软标签获取模块200，用于将第t组数据集输入至所述多标签物体识别模型的第t-1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值，其中，所述第t-1个专家网络根据第t-1个任务的CNN网络参数和GCN网络参数构建，为完成所述第t-1个任务后所述多标签物体识别模型已学习过的标签集合；
图像特征提取模块300，用于将第t组数据集批量输入至第t个任务的CNN网络中，输出所述第t组数据集的图像特征矩阵；
增广关系矩阵构建模块400，用于构建所述第t个任务的增广关系矩阵
其中，为所述第t-1个任务的增广关系矩阵，Bt为基于所述第t个任务所学习的标签集合Ct内各个标签在所述第t组数据集的硬标签构建的任务内标签关系矩阵，Rt为根据所述标签集合Ct内各个标签在所述第t组数据集的硬标签和所述标签集合内各个标签在所述第t组数据集的多标签概率值构建的任务间标签关系矩阵，Qt为基于朴素贝叶斯公式构建的所述标签集合Ct和所述标签集合间的关系矩阵；
图卷积模块500，用于将标签集合内各个标签的词向量和所述增广关系矩阵At输入至所述第t个任务的GCN网络中，输出所述标签集合的多标签关系矩阵，其中，为完成所述第t个任务后所述多标签物体识别模型已学习过的标签集合；
点乘模块600，用于将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值；
识别模块700，用于完成所述多标签数据集中M个标签的学习后，得到训练完成的目标多标签物体识别模型，利用所述目标多标签物体识别模型对待检测图像内的各个标签进行识别。
本实施例的基于增广图卷积的多标签物体识别装置用于实现前述的基于增广图卷积的多标签物体识别方法，因此基于增广图卷积的多标签物体识别装置中的具体实施方式可见前文中的基于增广图卷积的多标签物体识别方法的实施例部分，例如，数据集划分模块100，软标签获取模块200，图像特征提取模块300，增广关系矩阵构建模块400，图卷积模块500，点乘模块600，识别模块700分别用于实现上述基于增广图卷积的多标签物体识别方法中步骤S101，S102，S103，S104，S105，S106和S107所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于增广图卷积的多标签物体识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于增广图卷积的多标签物体识别方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于增广图卷积的多标签物体识别方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种结合图片的新型三维码的验证方法及设备