具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

人脸识别技术是用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，人脸识别技术虽然能够方便我们的生活，但是由于存在对抗神经网络进行攻击以及破解人脸识别机制的现象存在，即使人脸识别中存储的是人脸特征信息而非人脸图片，也有生成对抗神经网络可以将上述人脸特征信息恢复成原始图片，而用户的人脸信息具有唯一性，一旦泄露则会产生很大的风险，例如现在一些重要机构如银行等会使用人脸进行验证，则当用户的人脸信息泄露时，可能会对用户的财产造成重大损失。

另一方面，现有的多数智能家电的智能算法都需要采集视频信息，无论应用于人脸身份验证，还是手势行为识别等，而采集到的视频信息多数都包括人脸信息。家庭中的视频数据属于隐私数据，而带有人脸的视频信息更是敏感信息，一旦曝光侵犯则个人隐私，也会带来很大的风险。

鉴于以上原因，本申请实施例提供了一种智能设备，如图1所示，可以包括：

显示器101，被配置为显示画面；

图像采集器102，被配置为：采集包含用户人脸信息的参考图像；

处理器103，被配置为：

对图像采集器采集的参考图像进行人脸识别得到人脸图像；基于人脸图像生成卡通类型的目标图像；提取目标图像的人脸特征信息，并将人脸特征信息与预先存储的至少一个人脸特征信息进行比对；根据比对结果对参考图像进行验证。

基于上述智能设备，通过将识别得到的人脸图像进行转换生成对应的卡通类型的人脸图像，这样无论在注册人脸信息或进行人脸识别时，都不会保存用户的真实人脸信息，在其他识别算法需要采集手势信息等时，也能够将采集到的真实人脸图像转换为卡通图像，能够有效保护用户的个人信息，避免一些能够破解人脸识别的机制获取到用户的真实人脸图像或真实人脸特征信息。

可选地，本申请实施例中，显示器可以用来显示画面，智能终端在对用户进行人脸识别、手势识别或其他操作时，可以但不限于在显示器上显示基于识别得到的人脸图像生成的卡通类型的目标图像，或者，在对参考图像进行验证后，在显示器上显示验证成功或验证不成功的提示信息，具体的，可以通过文字框的形式，当验证成功时，在显示器上显示“成功”的提示信息，当验证不成功时，在显示器上显示“验证失败”的提示信息，在长时间没有识别到人脸时，在显示器上显示“未识别到人脸”的提示信息等，在此不再一一赘述。

本申请实施例中的智能设备，可以为具有人脸识别功能、手势识别功能或其他可能采集人脸图像功能的智能设备，可选地，可以但不限于为移动终端或智能家居等设备，在此不做限定。

此外，图像采集器可以为摄像头等图像采集结构，只要能够实现图像采集即可，具体实现结构在此并不做具体限定，本申请实施例中，图像采集器可以在接收到采集图像指令时，实时采集包括用户人脸信息的一段视频流，具体的，可以设置为当采集的视频流达到预设时长，或采集的视频流达到预设大小，或采集的视频流中包括用户人脸信息图像的数量达到预设要求时，停止采集，其中，上述视频流中的每一帧图像都可以作为图像采集器采集的参考图像，作为另一种可选地实施方式，在接收到采集图像指令时，在预设的时间间隔内采集多个包括用户人脸信息的图像作为上述参考图像。

可选地，图像采集器将采集的参考图像发送到处理器中，上述处理器接收图像采集器发送的参考图像，可以为图像采集器通过摄像头等图像采集结构实时采集的参考图像，作为另一种可选地实施方式，图像采集器可以采集静态的照片、图片等作为参考图像，并向处理器发送参考图像。

可选地，上述处理器被配置为可以通过人脸识别模型对图像采集器采集的参考图像进行人脸识别，得到人脸图像，具体的，通过人脸识别模型可以得到用户人脸的位置信息和对应的置信度，由于图像采集器可能采集到的参考图像不包括用户人脸信息，或者可能在识别过程中识别到非人脸图像，所以本申请实施例中设置置信度用于判别上述识别的结果是否准确，可以限定当置信度大于预设阈值时，确定识别到人脸图像，具体的，本申请实施例中可以将上述预设阈值设置为0.9，其中，上述预设阈值为可以配置的参数，本领域技术人员可以根据实际需求进行设定，在此不做限定。

如图2所示为通过人脸图像识别模型对图像采集器采集的参考图像进行人脸识别，得到人脸图像的示例，其中图2中方框内表示识别到的人脸图像，具体可以通过上述方框中至少两个顶点的坐标信息，确定人脸图像的位置信息，方框外左上角标注方框内图像的置信度，图2中方框内人脸图像对应的置信度为0.965。

可选地，通过人脸识别模型识别到人脸图像且确定人脸图像的坐标位置后，基于坐标位置将人脸图像与参考图像分割开，如图3所述为分割后得到的人脸图像的示例。

可选地，由于智能设备的图像采集器采集的图像可能存在数据像素较低的情况，低像素的人脸图像在转换为卡通人脸图像时会失去更多细节信息，从而导致卡通人脸图像的识别准确率低。因此在得到人脸图像后，可以通过但不限于使用超分辨率重建技术，提高人脸部分的像素值，之后将基于超分辨率重建的高分辨率的人脸图像转换为卡通图像，能够保留更多细节。图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法转换为相应的高分辨率图像。具体的，首先采用双三次插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率的图像。

可选的，上述处理器还被配置为：

基于训练后的生成对抗网络模型，将人脸图像转换为卡通类型的目标图像；

基于经过训练后的人脸特征提取模型，提取目标图像的人脸特征信息。

可选的，本申请实施例可以但不限于采用生成对抗网络模型来将人脸图像生成卡通类型的目标图像，当然，也可以采用其他的图像生成模型，在此不做限定；

具体的，上述生成对抗网络模型需要进行预训练，将识别的人脸图像输入训练后得到的生成对抗网络模型后，将人脸图像转换为卡通类型的目标图像并输出，可选地，上述生成对抗模型通过如图4所示的训练方式生成，包括：

步骤S401，获取包括多个原始人脸图像及对应原始卡通图像的第一样本集，并基于第一样本集对初始生成对抗网络模型进行多次训练，获得训练后的生成对抗网络模型，其中每次训练过程包括如下步骤；

可选地，基于第一样本集对初始生成对抗网络模型进行多次训练，当满足训练结束条件时，结束训练，获得训练后的生成对抗网络模型，其中，本申请实施例中的训练结束条件可以为当训练次数达到预设要求时结束训练，或者在训练过程对应的至少一个的损失函数的损失值确定满足设定条件时结束训练，训练结束后得到的生成对抗网络模型。

步骤S402，从第一样本集中选取第一样本；

可选的，每进行一次训练时，从第一样本集中选取原始人脸图像及对应的原始卡通图像。

步骤S403，将第一样本输入到初始生成对抗网络模型中，基于初始生成对抗网络模型输出的卡通图像与对应的原始卡通图像，确定第一损失值，并根据第一损失值对所述初始生成对抗网络模型进行参数调整；

可选的，初始生成对抗网络模型包括多个生成器和多个判别器，其中，生成器用于生成图像，判别器用于判别生成器生成的图像是否准确，本申请实施例中，将原始人脸图像和对应的原始卡通图像输入到初始生成对抗网络模型后，通过生成器生成对应的卡通图像，作为初始生成对抗网络模型输出的卡通图像；

可选的，本申请实施例中基于初始生成网络模型输出的卡通图像和对应的原始卡通图像确定的第一损失值，包括以下两个方面：

1)对抗损失函数(Adersarial Loss)：用于表示上述生成的卡通图像与对应的原始卡通图像的差距，通过对抗损失值对初始生成对抗网络模型进行参数调整，其中，主要是对上述生成器进行参数调整，可以使生成的卡通图像更接近原始卡通图片；

2)全变分损失函数(Total Variation Loss)：用于表示生成上述生成的卡通图像与对应的原始卡通图像之间的图像边缘(image edge)信息差距，通过全变分损失值对初始生成对抗网络模型进行参数调整，其中，主要是对上述生成器进行参数调整，可以使生成的卡通图像更接近原始卡通图片。

通过上述损失函数得到第一损失值后，并根据第一损失值对所述初始生成对抗网络模型进行参数调整。

步骤S404，将输出的卡通图像与对应的原始人脸图像输入图像生成模型中，基于图像生成模型输出的真实人脸图像与原始人脸图像，确定第二损失值，并根据第二损失值对图像生成模型进行参数调整；

可选的，上述图像生成模型可以包括但不限于为生成对抗网络模型，当然，对于其他的能够生成图像的神经网络模型在本申请中也同样适用，在此不做限定；

可选的，上述图像生成网络模型与初始生成对抗网络模型可以为两个神经网络模型，则对应的，若上述图像生成网络模型为生成对抗网络模型时，同样包括多个生成器和多个判别器，作为另一种可选的实施方式，上述图像生成网络模型可以为初始生成对抗网络模型中的一部分，具体的，上述图像生成网络模型包含至少一个生成器和对应的至少一个判别器。

本申请实施例中，将上述输出的卡通图像与对应的原始人脸图像输入生成对抗网络模型后，通过生成器生成对应的真实人脸图像，作为生成对抗网络模型输出的真实人脸图像；

同理，本申请实施例中基于生成对抗网络模型输出的真实人脸图像和对应的原始人脸图像确定的第二损失值，包括以下两个方面：

1)对抗损失函数(Adersarial Loss)：用于表示上述生成的真实人脸图像与对应的原始人脸图像的差距，通过对抗损失值对生成对抗网络模型进行参数调整，其中，主要是对上述生成器进行参数调整，可以使生成的真实人脸图像更接近原始人脸图片；

2)全变分损失函数(Total Variation Loss)：用于表示生成上述生成的真实人脸图像与对应的原始人脸图像之间的图像边缘(image edge)信息差距，通过全变分损失值对生成对抗网络模型进行参数调整，其中，主要是对上述生成器进行参数调整，可以使生成的真实人脸图像更接近原始人脸图片。

通过上述损失函数得到第二损失值后，并根据第二损失值对生成对抗网络模型进行参数调整。

步骤S405，根据原始人脸图像及真实人脸图像确定第三损失值，并根据第三损失值对初始生成对抗网络模型进行参数调整。

可选的，第三损失函数用于为人脸图像的指定目标区域设置不同的损失权重，第三损失函数可以但不限于为注意力循环损失函数，人脸图像的指定目标区域可以但不限于与为眼影、瞳孔、鼻翼以及嘴角等，通过第三损失函数，可以引导初始神经网络模型生成更好的面部的主要细节，针对指定的目标区域给予更多的注意，更多的细节保留有利于后续卡通人脸的识别验证；

具体的，通过上述图像生成模型输出的真实人脸图像和原始人脸图像确定上述第三损失值，之后并根据第三损失值对初始生成对抗网络模型进行参数调整，如图5所示为上述生成对抗网络模型的训练过程。

基于训练后的生成对抗网络模型，将人脸图像转换为卡通类型的目标图像，后，可选的，目标图像并不仅限于卡通类型的图像，对于其他将够保护隐私且能够进行人脸识别的方式也同样适用。

可选的，将得到的卡通类型的目标图像覆盖识别的人脸图像，如图6所示；

可选的，为了提高人脸识别的稳定性和准确率，需要将得到的卡通类型的目标图像进行几何归一化处理，几何归一化是指根据人脸定位结果将图像中人脸变换到某一位置，且变换为指定大小，用于在人脸识别时可以使注册登记时存储的人脸图像或人脸特征信息，与采集的人脸图像或人脸特征信息位于相同位置，或具有相同的大小。

对目标图像进行几何归一化处理的步骤如图7所示，包括：

步骤S701，基于人脸图像的脸部关键点信息和预设的标准人脸图像的脸部关键点信息得到仿射变换矩阵；

可选的，本申请实施例中基于脸部关键点检测模型确定人脸图像的脸部关键点信息，上述关键点检测模型包括但不限于基于深度卷积神经网络训练得到的脸部关键点检测模型，检测人脸的脸部关键点，可选的，上述预设的脸部的面部关键点包括但不限于两侧眼睛的眼球中心、鼻尖以及两侧嘴角的关键点。

步骤S702，基于仿射变换矩阵对人脸图像进行校正。

如图8所示，为本申请实施例提供的对人脸图像进行校正及后续生成的卡通图像的过程。

可选的，本申请实施例可以但不限于采用人脸特征提取模型来将提取目标图像的人脸特征信息，本申请的人脸特征提取模型为卡通类型的人脸特征提取模型；

具体的，上述卡通类型的人脸特征提取模型需要进行预训练，将卡通类型的目标图像输入训练后的人脸特征提取模型后，输出对应的人脸特征信息，可选地，上述人脸特征提取模型通过如图9所示的训练方式生成，包括：

步骤S901，获取包括多个卡通图像的第二样本集，并基于第二样本集对初始人脸特征提取模型进行多次训练，获得训练后的人脸特征提取模型，其中每次训练过程包括如下步骤；

可选地，基于第二样本集对人脸特征提取模型进行多次训练，当满足训练结束条件时，结束训练，获得训练后的人脸特征提取模型，其中，本申请实施例中的训练结束条件可以为当训练次数达到预设要求时结束训练，或者在训练过程对应的至少一个的损失函数的损失值确定满足设定条件时结束训练，训练结束后得到的人脸特征提取模型；

具体的，本申请实施例设置人脸特征提取模型对应的损失函数取零时结束训练，可选的，可以在人脸特征模型对应的损失函数多次取零时结束训练。

步骤S902，从第二样本集中选取同一用户的至少一个卡通图像，基于初始人脸特征提取模型提取同一用户的至少一个卡通图像的人脸特征信息；

可选的，本申请的初始人脸特征提取模型为能够提取真实人脸特征信息的卷积神经网络模型，需要通过卡通图像对上述初始人脸特征提取模型进行训练，得到卡通人脸特征提取模型，也即本申请对应的人脸特征提取模型，人脸进行注册时，将得到的人脸信息保存在注册数据库中，其中，注册数据库保存的人脸特征信息是为人脸特征向量，处理器能够通过计算不同特征向量之间的相似度确定不同的特征向量是否对应一个人，本申请通过对卡通人脸的特征信息进行提取，具有隐私安全性；

可选的，本申请实施例中选取同一用户的两张不同的卡通图像来基于初始人脸特征提取模型提取人脸特征信息；

步骤S903，从第二样本集中选取另一用户的至少一个卡通图像，基于初始人脸特征提取模型提取另一用户的至少一个卡通图像的人脸特征信息；

可选的，本申请实施例选取另一用户的一张卡通图像来基于初始人脸特征提取模型提取人脸特征信息。

步骤S904，基于初始人脸特征提取模型提取的同一用户的至少一个卡通图像的人脸特征信息，与另一用户的至少一个卡通图像的人脸特征信息，确定第四损失值；

可选的，本申请实施例对应的损失函数如下所示：

L(A，P，N)＝max(‖f(A)-f(P)‖²-‖f(A)-f(N)‖²+α,0)

其中，A和P为同一用户的两张不同的卡通图像，N为另一用户的卡通图像，f表示基于人脸图像提取特征值，本申请实施例中，提取的特征值为一维的64个特征值，这是由于卡通图像虽然能够尽可能的保留人脸细节特征，但同时也会丢失很多细节特征；

a为超参数，用于表示不同的人脸距离至少为a距离，a为可以配置的参数，本申请实施例中，将a设置为较高的参数，有利于提高人脸特征提取模型提取的人脸特征信息的准确率。

步骤S905，根据第四损失值对初始人脸特征提取模型进行参数调整。

可选的，将提取的人脸特征信息与预先存储的至少一个人脸特征信息进行比对，具体的，通过计算目标图像的人脸特征信息与预先存储的至少一个人脸特征信息的相似度，基于相似度对参考图像进行验证；

可选的，本申请实施例中计算人脸特征信息之间相似度的公式如下：

其中，Similarity为相似度，A为基于参考图像得到的卡通类型的目标图像的人脸特征向量，B为预先存储的至少一个人脸特征向量，Ai和Bi分别为人脸特征向量A和B的分量，本申请实施例中，若得到的相似度大于预设阈值时，确定参考图像验证成功。

可选的，得到上述参考图像后，基于上述过程得到参考图像对应卡通图像的人脸特征信息，可以保存在注册数据库中，作为另一种可选地实施方式，在进行识别验证时，基于上述过程得到参考图像对应卡通图像的人脸特征信息，与注册数据库中的人脸特征信息进行一一比对，确定存在相似度大于预设阈值时，验证成功。

基于同一发明构思，本发明实施例提供了一种人脸识别方法，采用如本发明实施例提供的上述智能设备实现，如图10所示，该方法可以包括：

步骤S1001，采集包含用户人脸信息的参考图像进行人脸识别得到人脸图像；

步骤S1002，基于所述人脸图像生成卡通类型的目标图像；

步骤S1003，提取所述目标图像的人脸特征信息，并将所述人脸特征信息与预先存储的至少一个人脸特征信息进行比对；

步骤S1004，根据所述比对结果对所述参考图像进行验证。

可选的，基于所述人脸图像生成卡通类型的目标图像，包括：

基于训练后的生成对抗网络模型，将所述人脸图像转换为卡通类型的目标图像；

提取所述目标图像的人脸特征信息，包括：

基于经过训练后的人脸特征提取模型，提取所述目标图像的人脸特征信息。

可选的，所述生成对抗网络模型通过以下训练方式生成：

获取包括多个原始人脸图像及对应原始卡通图像的第一样本集，并基于所述第一样本集对初始生成对抗网络模型进行多次训练，获得训练后的生成对抗网络模型，其中每次训练过程包括如下步骤：

从所述第一样本集中选取第一样本；

将所述第一样本输入到初始生成对抗网络模型中，基于所述初始生成对抗网络模型输出的卡通图像与对应的原始卡通图像，确定第一损失值，并根据所述第一损失值对所述初始生成对抗网络模型进行参数调整；

将所述输出的卡通图像与对应的原始人脸图像输入图像生成模型中，基于所述图像生成模型输出的真实人脸图像与所述原始人脸图像，确定第二损失值，并根据所述第二损失值对所述图像生成模型进行参数调整；

根据所述原始人脸图像及所述真实人脸图像确定第三损失值，并根据所述第三损失值对所述初始生成对抗网络模型进行参数调整。

可选的，所述人脸特征提取模型通过以下训练方式生成：

获取包括多个卡通图像的第二样本集，并基于所述第二样本集对初始人脸特征提取模型进行多次训练，获得训练后的人脸特征提取模型，其中每次训练过程包括如下步骤：

从所述第二样本集中选取同一用户的至少一个卡通图像，基于初始人脸特征提取模型提取所述同一用户的至少一个卡通图像的人脸特征信息；

从所述第二样本集中选取另一用户的至少一个卡通图像，基于初始人脸特征提取模型提取所述另一用户的至少一个卡通图像的人脸特征信息；

基于初始人脸特征提取模型提取的所述同一用户的至少一个卡通图像的人脸特征信息，与另一用户的至少一个卡通图像的人脸特征信息，确定第四损失值；

根据所述第四损失值对所述初始人脸特征提取模型进行参数调整。

可选的，基于所述人脸图像生成卡通类型的目标图像之前，包括：

基于所述人脸图像的脸部关键点信息和预设的标准人脸图像的脸部关键点信息得到仿射变换矩阵；

基于所述仿射变换矩阵对所述人脸图像进行校正。

其中，关于上述各步骤的实现方式，可以参见前述智能设备的具体实施例，重复之处不再赘述。

本发明实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的人脸识别的方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述实施例提供的人脸识别的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。