具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例提供一种人体和人脸的匹配方法、装置、设备和存储介质，以实现较高准确率的完成同属于一人的人体和人体的配对。

本申请实施例提供的人体和人脸的匹配方法中，需要调用检测模型来处理目标图像，得到目标图像中的人脸框及其对应的嵌入特征，目标图像中的人体框及其对应的嵌入特征。可选地，人体框包括：人体全身框，人体上半身框和人体上半躯干框。

本申请方案所利用的检测模型，是在人脸和人体的基本检测模型的基础上进行改进得到。示例性的，可以是在常见的一阶段检测器(One Stage)或者二阶段检测器(TwoStages)等架构上进行改进。

具体的，参见图1，在一阶段检测器或者二阶段检测器增加嵌入模块11，嵌入模块11与检测器(指代一阶段检测器和二阶段检测器)的原本模块并行运行。对于一阶段检测器，嵌入模块包括4个普通卷积层以及在4个普通卷积层末端的一个膨胀卷积层组成；对于二阶段检测器，嵌入模块包括两个全连接层f_c1和f_c2。嵌入模块的主要功能是要处理图像，得到图像中的人脸框对应的嵌入特征和人体框对应的嵌入特征。

并且，在一阶段检测器或者二阶段检测器的原本模块末端还追加一个预测模块，同样参见图1，在一阶段检测器的原本模块中的膨胀卷积层后追加预测模块，在二阶段检测器的原本模块中的全连接层f_c2后追加预测模块，该预测模块的主要功能是处理图像，得到图像中的人脸框对应的人头中心点位置和人体框对应的人头中心点位置。

在搭建好检测模型的架构后，需要利用样本数据对检测模型进行训练，训练检测模型的原本模块、嵌入模块和预测模块，使得原本模块(也称之为基础模块)能够处理图像，得到图像中的人脸框和人体框，使得嵌入模块能够处理图像，得到图像中的人脸框对应的嵌入特征和人体框对应的嵌入特征，使得预测模块能够处理图像，得到图像中的人脸框对应的人头中心点位置和人体框对应的人头中心点位置。

还需要说明的是，利用预测模块处理图像，也可以得到图像中的人脸框对应的脖子的中心点位置，以及肩膀和大臂的一个或两个连接点位置，以及人体框对应的脖子的中心点位置，以及肩膀和大臂的一个或两个连接点位置。基于此，预测模块处理图像，得到的目标点位置包括：人头中心点位置，脖子的中心点位置，以及肩膀和大臂的一个或两个连接点位置。

具体的，为了训练检测模型的嵌入模块，按照如下目的构造损失函数：如果两个目标属于同一个行人(比如同一个行人的人体和人脸)，则让它们的嵌入特征互相靠近；反之，则让其互相远离。

对于样本数据中，属于同一行人k的人体框和人脸框，构造损失函数为：

其中，分别代表该行人的第i个人体框的嵌入特征和第j个人脸框的嵌入特征，M_k和N_k代表围绕该人体和人脸的有效框的数量。通过优化该损失函数，使得与之间的欧氏离尽量地小(互相靠近)。

对于样本数据中，不属于同一个行人的人体框和人脸框，则构造损失函数为：

其中，δ是一个小正数(设为2)；M_k和N_l分别代表行人k的人体框数量和行人l的人脸框数量。通过优化该损失函数，使得与之间的欧氏离尽量地大(互相远离)。

基于上述内容，可以看出：在检测模型的训练过程中，针对人脸和人体属于同一人的样本数据，采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相靠近的损失函数，对检测模型的嵌入模块进行训练；针对人脸和人体不属于同一人的样本数据，采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相远离的损失函数，对检测模型的嵌入模块进行训练。

经过批量的样本数据的训练之后，检测模型的嵌入模块学习到了同属一个人的人体与人脸的语义关联性，包括位置关系、形态关系等。基于此，在利用训练后的检测模型对图像进行处理后，得到人脸框及其对应的嵌入特征，人体框及其对应的嵌入特征。人脸框对应的嵌入特征能够表征与该人脸框同属于一人的人体的语义信息，具体也可以是从人脸和人体的位置关系、形态关系进行说明的语义信息；同理，人体框对应的嵌入特征可以表征与该人体框同属于一人的人脸的语义信息，当然也可以是从人脸和人体的位置关系、形态关系进行说明的语义信息。

可以采用角度损失函数对预测模块进行训练，具体的对预测模块得到人脸框对应的前述的目标点位置和人体框对应的前述的目标点位置的功能进行训练。其中，角度损失函数的目的是为目标点提供一个基于相对位置的约束。

图2分别画出了基于人体21、人脸22和人头23来构造该角度损失函数的方法。现以基于人体的情形，且目标点为人头中心点为例进行说明。

b^*代表人体中心点的实际位置，h^*和h分别代表人头中心点(人头框图中由23指示)的实际位置和预测位置。构造向量v^*和v,使得二者之间的夹角θ尽可能地小。损失函数表达式如下：

同理，在图2中，f^*代表人脸中心点的实际位置，h^*和h分别代表人头中心点的实际位置和预测位置。同样按照上述损失函数表达式可以构造向量v^*和v,使得二者之间的夹角θ尽可能地小。

需要说明的是，上述内容提出的检测模型，嵌入特征和人头中心点位置，是分别从两个维度上对人体和人脸进行配对的方案，可以融合，当然也可以发分开。也就是说：可以有两种检测模型，一种具有检测模型的原本模块和新增加的嵌入模块；一种具有检测模型的原本模块和新增加的预测模块。

当然还可分别采用具有检测模型的原本模块和新增加的嵌入模块的检测模型，以及具有检测模型的原本模块和新增加的预测模块来执行人体和人脸的匹配方法。

下述以人头中心点位置为例，来对人体和人脸的匹配方法进行介绍。

本申请实施例提供了一种人体和人脸的匹配方法，如图3所示，包括：

S301、调用检测模型处理目标图像，得到目标图像中的人脸框及其对应的嵌入特征和人头中心点位置，以及目标图像中的人体框及其对应的嵌入特征和人头中心点位置。

其中，目标图像指代需要进行人脸和人体匹配的图像，图像中至少包括一张人脸和一个人体。将目标图像输入到训练完成的检测模型，检测模型中的原本模块处理目标图像，得到人体框和人脸框；嵌入模块处理目标图像，得到人脸框对应的嵌入特征和人体框对应的嵌入特征；预测模块处理目标图像，得到人脸框对应的人头中心点位置和人体框对应的人头中心点位置。

目标图像中的人脸框对应的嵌入特征用于表征与人脸属于同一人的人体的语义信息，目标图像中的人体框对应的嵌入特征用于表征与人体属于同一人的人脸的语义信息。人脸框对应的人头中心点位是指：人头中心在人脸框的位置；人体框对应的人头中心点位置是指：人头中心在人体框的位置。

需要说明的是，人脸框和人体框分别指代的是人脸框的坐标数据，以及人体框的坐标数据。

还需要说明的是，本步骤是获取目标图像中的人脸框及其对应的嵌入特征和人头中心点位置，以及目标图像中的人体框及其对应的嵌入特征和人头中心点位置中的一种实施方式。可知的，其他能够实现获取目标图像中的人脸框及其对应的嵌入特征和人头中心点位置，以及目标图像中的人体框及其对应的嵌入特征和人头中心点位置的方式，也属于本申请的涵盖范围。

S302、处理目标图像中的目标人体框对应的嵌入特征，和每一个人脸框对应的嵌入特征，得到目标图像中的目标人体和每一个人脸的嵌入特征距离。

其中，目标人体框指代目标图像中的每一个人体框，目标人体为目标人体框指代的人体，每一个人脸为每一个人脸框指代的人脸。

需要指出的是，针对目标图像中的每一个人体框，均需要计算出其与每一个人脸框对应的嵌入特征之间的嵌入特征距离(也称之为人体和人脸的嵌入特征距离)。可知的，人脸框对应的嵌入特征可以表征与人脸属于同一人的人体的语义信息，人体框对应的嵌入特征用于表征与人体属于同一人的人脸的语义信息，因此，利用一个人脸框对应的嵌入特征和人体框对应的嵌入特征计算出的嵌入特征距离，可以表征人脸框和人体框属于同一个人的概率。

S303、处理目标图像中的目标人体框对应的人头中心点位置，和每一个人脸框对应的人头中心点位置，得到目标图像中的目标人体和每一个人脸的人头中心点距离。

其中，目标人体框指代目标图像中的每一个人体框，目标人体为目标人体框指代的人体，每一个人脸为每一个人脸框指代的人脸。

人脸框对应的人头中心点位置指代人脸框中的人头中心点位置，也可以理解成是人头中心点的坐标数据，同理，人体框对应的人头中心点位置，也是指代人体框中的人头中心点位置，当然也是人头中心点的坐标数据。

同样，也需要针对图标图像中的每一个人体框，计算出该人体框对应的人头中心点位置，与每一个人脸框对应的人头中心点位置之间的距离(也称之为人体和人脸的人头中心点距离)。属于同一个人的人脸框和人体框，人脸框中的人头中心点位置和人体框中的人头中心点位置应该是一个，所以两者之间的距离，应该是最短的，如此，人脸框对应的人头中心点位置和人体框对应的人头中心点位置之间的距离，可以反应出人脸框和人体框，是否属于同一个人。

S304、针对目标图像中的目标人体，选择用于表征目标人体和人脸最接近的嵌入特征距离、且用于表征目标人体和人脸最接近的人头中心点距离对应的人脸，作为目标人体的配对人脸。

按照上述内容可知：一个人脸框对应的嵌入特征和一个人体框对应的嵌入特征计算出的嵌入特征距离，可以表征人脸框和人体框属于同一个人的概率。并且，一个人脸框对应的人头中心点位置和一个人体框对应的人头中心点位置之间的距离，也可以表征人脸框和人体框属于同一个人的概率，因此，可以通过嵌入特征距离和人头中心点距离，来为人体寻找配对的人脸。

可以理解的是，嵌入特征距离表征目标人体和人脸最接近是指：嵌入特征距离表征目标人体和人脸的嵌入特征距离最小。同理，人头中心点距离表征目标人体和人脸最接近也可以是指：目标人体和人脸的人头中心点距离最小。

可选地，本申请的另一实施例中，步骤S304的一种实施方式，包括：

计算得到第一相似度值和第二相似度值；其中，第一相似度值指代：目标图像中的目标人体和每一个人脸的嵌入特征距离对应的相似度值，第二相似度值指代：目标图像中的目标人体和每一个人脸的人头中心点距离对应的相似度。

组合第一相似度值和第二相似度值，得到融合相似度值。

针对目标图像中的目标人体，将融合相似度值最大的人脸，作为目标人体的配对人脸。

以下通过一个示例来进行说明，在本示例中，一帧画面中有m个人体和n个人脸，依据每一个人体和每一个人脸的嵌入特征距离，以及每一个人体和每一个人脸的人头中心点距离，可以获得两个尺寸为m×n的矩阵S_e和S_h。

元素是第i个人体与第j个人脸的嵌入特征距离通过径向基函数得到的相似度数值；元素是第i个人体与第j个人脸的人头中心点距离通过径向基函数得到的相似度数值。

可知的：通过径向基函数得到的相似度数值的计算公式为：

在利用上述公式计算得到元素和元素时，d_ij分别是指第i个人体与第j个人脸的嵌入特征距离以及人头中心点距离。

用下述公式对两个相似度矩阵进行融合：

在上述公式中，J是尺寸为m×n的全1矩阵。的尺寸也是m×n，其元素由相应行和列对应的人体和人脸预测框置信度取平均后得到；[.]°为逐元素取指数操作，指数λ设为2；⊙表示对应位置元素相乘。

获得融合后的相似度矩阵S后，对每一个人体(每一行)，取相似度最大的人脸(列)作为其配对人脸，从而获得最终的人体-人脸对。

上述实施例展示的是利用嵌入特征和人头中心点位置，来完成人脸和人体的配对，还可以只用人头中心点位置(本实施例是以人头中心点位置为例进行说明，可知的，还可以以前述其他两种目标点位置来替换人头中心点位置)来实现人脸和人体的配对，具体参见图4a，人体和人脸的匹配方法，包括：

S401、调用检测模型处理目标图像，得到目标图像中的人脸框及其对应的人头中心点位置，目标图像中的人体框及其对应的人头中心点位置。

还需要说明的是，本步骤是获取目标图像中的人脸框及其对应的人头中心点位置，目标图像中的人体框及其对应的人头中心点位置中的一种实施方式。可知的，其他能够实现获取目标图像中的人脸框及其对应的人头中心点位置，目标图像中的人体框及其对应的人头中心点位置的方式，也属于本申请的涵盖范围。

S402、处理目标图像中的目标人体框对应的人头中心点位置，和每一个人脸框对应的人头中心点位置，得到目标图像中的目标人体和每一个人脸的人头中心点距离。

目标人体框指代目标图像中的至少一个人体框，目标人体为目标人体框指代的人体，每一个人脸为每一个人脸框指代的人脸。

目标图像可以获取到多个人体框，可以针对每一个人体框，均利用步骤S402计算出其指代的人体与每一个人脸的人头中心点距离。当然，也可以针对部分人体框中的每一个，利用步骤S402计算出其指代的人体和每一个人脸的人头中心点距离。

步骤S401和步骤S402的具体实施过程，可参见对应图3的实施例内容。

S403、针对目标图像中的目标人体，选择用于表征目标人体和人脸最接近的人头中心点距离对应的人脸，作为目标人体的配对人脸。

在一个可能的实施方式中，本步骤可以是：计算目标图像中的目标人体和每一个人脸的人头中心点距离对应的相似度值；针对目标图像中的目标人体，将相似度值最大的人脸，作为目标人体的配对人脸。

在上述示例中，获取尺寸为m×n的矩阵S_h之后，直接利用矩阵S_h选择人体配对的人脸，具体的，针对矩阵S_h对每一个人体(每一行)，取相似度最大的人脸(列)作为其配对人脸，从而获得最终的人体-人脸对。

还需要说明的是，针对目标图像中的目标人体，目标人体和人脸最接近的人头中心点距离，作为一个设定条件配置到本方法的执行设备中，在该设备执行步骤S403，则利用该条件，筛选出目标图像中的目标人体的配对人脸。

本申请实施例提供了一种人体和人脸的匹配装置，参见图4b，包括：

调用单元401，用于获取目标图像中的人脸框及其对应的目标点位置，以及所述目标图像中的人体框及其对应的目标点位置。

处理单元402，处理目标图像中的目标人体框对应的目标点位置，和每一个人脸框对应的目标点位置，得到目标图像中的目标人体和每一个人脸的目标点距离；目标人体框指代目标图像中的至少一个人体框，目标人体为目标人体框指代的人体，每一个人脸为每一个人脸框指代的人脸。

筛选单元403，用于针对目标图像中的目标人体，选择用于表征目标人体和人脸最接近的目标点距离对应的人脸，作为目标人体的配对人脸。

在一个可能的实施方式中，筛选单元403针对目标图像中的目标人体，选择用于表征目标人体和人脸最接近的人头中心点距离对应的人脸，作为目标人体的配对人脸时，用于：

计算目标图像中的目标人体和每一个人脸的人头中心点距离对应的相似度值；针对目标图像中的目标人体，将相似度值最大的人脸，作为目标人体的配对人脸。

在一个可能的实施方式中，调用单元执行获取目标图像中的人脸框及其对应的目标点位置，以及目标图像中的人体框及其对应的目标点位置时，用于：调用检测模型处理目标图像，得到人脸框及其对应的目标点位置，以及人体框及其对应的目标点位置。

在一个可能的实施方式中，检测模型包括：基础模块和预测模块；

基础模块用于处理目标图像，得到目标图像中的人脸框和人体框；预测模块用于得到目标图像中的人脸框对应的目标点位置和人体框对应的目标点位置；

检测模型为一阶段检测器，预测模块设置于一阶段检测器的膨胀卷积层后；检测模型为二阶段检测器，预测模块设置于二阶段检测器的第二个全连接层后。

在一个可能的实施方式中，还包括模型训练单元，模型训练单元训练检测模型过程中，采用角度损失函数，对检测模型得到人脸框对应的目标点位置和人体框对应的目标点位置的功能进行训练，角度损失函数用于：促使目标图像中的人体框对应的目标点位置的预测值靠向实际值，以及促使人脸框对应的目标点位置的预测值靠向实际值。

在一个可能的实施方式中，人体框包括：人体全身框，人体上半身框和人体上半躯干框。

在一个可能的实施方式中，目标点位置包括：人头中心点位置，脖子的中心点位置，以及肩膀和大臂的一个或两个连接点位置。

申请上述几个实施例中，调用单元401、处理单元402以及筛选单元403的具体工作过程，可参见对应的方法实施例内容，此处不再赘述。当然，模型训练单元的工作过程，也可参见对应的方法实施例内容。

本申请另一实施例还提供了一种电子设备，如图5所示，包括：

一个或多个处理器501；

存储器502，其上存储有程序；

当程序被一个或多个处理器501执行时，使得一个或多个处理器501实现如上述任意一个实施例提供的人体和人脸的匹配方法。

第四方面，本申请提供了一种电子设备，包括：

第一处理逻辑，被配置为：接收目标图像的图像数据并使用神经网络模型来处理图像数据以输出目标图像中人体部位的位置信息和目标点位置；

其中，神经网络模型包括：

第一子网络，接收图像数据的特征表达数据，并输出检测到的人脸和人体的位置数据；

第二子网络，接收人脸和人体的位置数据，并输出人体对应的目标点位置和人体对应的目标点位置。

本实施例中，第一处理逻辑属于电子设备中的执行部件，可以理解成处理器或者处理器中的执行单元。

神经网络模型即前述提及的检测模型，第一子网络属于检测器的原本模块中的一个执行模块，该模块具有得到人脸的位置信息和人体的位置信息的功能。第二子网络属于检测器中的预测模块。

在一个可能的实施方式中，神经网络模型为二阶段检测网络，第二子网络设置于二阶段检测器的第二个全连接层后；

神经网络模型为一阶段检测网络，第二子网络设置于一阶段检测器的膨胀卷积层后。

还需要说明的是，神经网络模型中在第一子网络和第二子网络之前网络，属于公知的特征图相关网络，本文不予赘述。

在一个可能的实施方式中，电子设备还包括：

第二处理逻辑，被配置为：根据第二子网络输出的人脸对应的目标点位置和人体对应的目标点位置，计算人脸与人体之间的目标点距离得到人脸与人体的匹配关系。

本实施方式中，第二处理逻辑，与第一处理逻辑等同，属于电子设备中的执行部件，可以理解成处理器或者处理器中的执行单元。

第二处理逻辑执行根据人脸对应的目标点位置和人体对应的目标点位置，计算人脸与人体之间的目标点距离得到人脸与人体的匹配关系，可以理解成是：

采用前述对应图4a的实施例中步骤S402和步骤S403的内容，计算得到的人脸与人体之间的目标点距离，进一步的，还可以是人脸与人体之间的目标点距离对应的相似度值。

本申请另一实施例还提供了一种可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述任意一个实施例提供的人体和人脸的匹配方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。