具体实施方式

下面将结合附图，详细描述本说明书实施例的技术方案。

本说明书实施例披露一种用于隐私保护的加密模型训练方法、用于隐私保护的图像加密方法以及基于隐私保护的加密人脸图像识别方法，下面首先对用于隐私保护的加密模型训练方法的应用场景和发明构思进行介绍，具体如下：

在例如人脸识别、人脸支付等使用人脸的过程中，若直接使用人脸图像，其在使用过程中，易出现人脸及其相应隐私泄露的情况。为了保护个人隐私，可以利用传统数字图像处理方法中的加密算法对人脸图像进行加密，进而使用加密后的人脸图像进行后续的任务。上述过程中，在一定程度上起到保护个人隐私的作用，但无法掌控加密后的人脸图像的图像特征损失对下游任务的影响，如上述加密后的人脸图像用于训练人脸识别模型时，人脸识别模型的准确率可能会大幅下降。传统数字图像处理方法中的加密算法一般包括：随机扰乱图像的行或列，随机扰乱图像的像素点，缩放图像的像素点，或利用混沌序列对图像进行加密的等加密算法。

鉴于此，发明人提出一种用于隐私保护的加密模型训练方法，如图1所示，为本说明书披露的一个实施例的实施框架示意图。其中，利用待训练的加密模型对原始人脸图像加密，得到对应的加密人脸图像；利用待训练的第一人脸识别模型，对加密人脸图像进行识别，得到第一人脸预测结果；利用第一人脸预测结果以及原始人脸图像对应的人脸标注结果，确定第一预测损失，其中，该第一预测损失可以表征加密人脸图像的预测结果与真实的人脸标注结果的差异，该第一预测损失越小可以表征第一人脸预测结果越准确，也就是说加密人脸图像中用于人脸识别的人脸特征越多，而与人脸识别无关的背景特征越少，相应的，第一人脸识别模型的识别结果准确性越高。

将待训练的加密模型作为生成模型，结合用于判别输入图像是否为噪声图像的判别模型组成生成对抗网络模型。相应的，将其生成的加密人脸图像，输入判别模型，得到加密人脸图像为噪声图像的第一预测概率。其中，该第一预测概率越大，表征加密人脸图像越接近噪声图像，而加密人脸图像越接近噪声图像，人脸图像中的原始人脸越不易被泄露，对原始人脸起到的保护作用越大。

根据与第一预测损失正相关，与第一预测概率负相关，确定总预测损失，以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型。该训练过程中，兼顾加密后图像的隐私保护，以及加密后图像训练所得的人脸识别图像的准确性。利用加密模型加密得到的加密人脸图像越接近噪声图像，其中的原始人脸越不易被泄露；并且保证利用该加密人脸图像训练所得的第一人脸识别模型的识别结果的准确性，与原始人脸图像训练所得的人脸识别模型的识别结果的准确性相当。

在本说明书一个或多个实施例中，考虑到对原始人脸图像中原始人脸的更全面的保护，即对个人隐私更全面的保护，在加密模型的训练过程中，还可以从扩大原始人脸图像的图像特征与加密人脸图像的图像特征的差异的角度，联合设置总预测损失。使得经训练完成的加密模型加密所得的加密人脸图像，其图像特征与原始人脸图像的图像特征存在较大差异，保证无法利用加密人脸图像的图像特征复原得到原始人脸。

一种可实施方式中，上述提到的原始人脸图像的图像特征和加密人脸图像的图像特征所对应的特征提取算法可以包括但不限于：指定图像相似性评价指标对应的特征提取算法以及基于神经网络的特征提取算法。其中，指定图像相似性评价指标可以包括但不限于：基于离散余弦变换DCT的特征提取和基于主成分分析PCA的特征提取。

对于用于隐私保护的图像加密方法，其利用上述用于隐私保护的加密模型训练方法训练所得的加密模型，对待加密人脸图像进行加密，得到对应的加密后人脸图像，以实现对待加密人脸图像中人脸保密的同时，不影响后续利用该加密后人脸图像训练所得的人脸识别模型的准确率。

对于基于隐私保护的加密人脸图像识别方法，其首先利用上述用于隐私保护的加密模型训练方法训练所得的加密模型对待处理人脸图像进行加密，得到对应的待识别人脸图像，进而，利用上述用于隐私保护的加密模型训练方法训练所得的第一人脸识别模型，对待识别人脸图像进行人脸识别，得到准确性较高的人脸识别结果，实现对加密后的人脸图像的准确识别。

下面结合具体实施例，对本说明书提供的用于隐私保护的加密模型训练方法、用于隐私保护的图像加密方法以及基于隐私保护的加密人脸图像识别方法进行详细阐述。首先对用于隐私保护的加密模型训练方法进行阐述。

图2示出了本说明书一个实施例中用于隐私保护的加密模型训练方法的流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。所述方法包括如下步骤S210-S260：

S210：利用待训练的加密模型对原始人脸图像加密，得到对应的加密人脸图像。

一种可实施方式中，在对加密模型训练之前，可以首先构建用于训练加密模型的训练集，该训练集中可以包括：多个原始人脸图像及各原始人脸图像对应的人脸标注结果。其中，该原始人脸图像可以是：通过图像采集设备采集所得的包含人脸的图像；人脸标注结果可以包括：表征所对应原始人脸图像中人脸的身份的信息，例如可以通过人脸ID来标识各原始人脸图像中人脸的身份。后续的，可以针对训练集中的每一原始人脸图像执行本说明书实施例所提供的加密模型训练流程，以训练加密模型。

可以理解的，本说明书实施例中，以其中一个原始人脸图像为例来说明训练集每个原始人脸图像的处理过程，也就是说，针对训练集中的每一原始人脸图像，可以进行类似处理。

待训练的加密模型可以是基于神经网络的模型，一种情况中，该待训练的加密模型可以是U-Net结构的模型，U-Net结构的模型可以更好的提取出图像中有用的特征，该有用的特征可以包括但不限于：图像中有助于人脸识别的特征，有助于实现加密的特征。

将原始人脸图像输入待训练的加密模型，待训练的加密模型对原始人脸图像进行加密，得到原始人脸图像对应的加密人脸图像。

S220：将加密人脸图像输入待训练的第一人脸识别模型，得到第一人脸预测结果。

一种实现中，待训练的第一人脸识别模型可以是基于神经网络的模型，可以包括特征提取层和分类层。将加密人脸图像输入待训练的第一人脸识别模型的特征提取层，得到加密人脸图像的图像特征，将所提取的图像特征输入分类层，得到第一人脸预测结果。其中，第一人脸预测结果包括预测所得的加密人脸图像中人脸的身份的信息。

S230：利用第一人脸预测结果以及原始人脸图像对应的人脸标注结果，确定第一预测损失。

基于第一损失函数，利用第一人脸预测结果以及原始人脸图像对应的人脸标注结果，确定第一预测损失。该第一预测损失可以表示出人脸预测结果与人脸标注结果之间的差异。该第一预测损失越小表征第一人脸预测结果越准确，相应的，第一人脸识别模型的识别结果准确性越高。

该第一损失函数可以为ArcFace损失函数，还可以为L1损失函数、L2损失函数、交叉熵损失函数或Smooth L1损失函数等。可以理解的，本说明书实施例并不对第一损失函数的具体类型进行限定。

S240：将加密人脸图像输入用于判别输入图像是否为噪声图像的判别模型，得到加密人脸图像为噪声图像的第一预测概率。

其中，第一预测概率可以标识加密人脸图像为噪声图像的概率。第一预测概率值越大，表征加密人脸图像为噪声图像的可能性越大，即加密人脸图像越符合噪声图像风格。相应的，加密人脸图像的加密效果越好。

本说明书实施例中，为了保证加密人脸图像的加密效果，使得加密人脸图像中的人脸更隐蔽，可以将加密模型作为生成模型，结合该用于判别输入图像是否为噪声图像的判别模型，组成生成对抗网络模型，以通过生成对抗网络模型，将加密人脸图像转换成噪声图像风格的图像即噪声图像，使得加密人脸图像以噪声图像的形式存在，加密人脸图像中人脸更隐蔽，不易泄露。

在一种实现中，该判别模型可以是预先经过训练的模型，训练该判别模型的过程可以是：将人脸图像输入该加密模型，得到人脸图像对应的加密图像；将加密图像以及随机噪声图像输入该判别模型，得到加密图像为噪声图像的预测概率以及随机噪声图像为噪声图像的预测概率；进而，根据与加密图像为噪声图像的预测概率负相关，与随机噪声图像为噪声图像的预测概率正相关，确定判别损失；以最大化判别损失为目标，训练判别模型，直至判别模型达到预设收敛条件，结束对判别模型的训练。该人脸图像可以包括原始人脸图像也可以不包括原始人脸图像。

其中，预设收敛条件可以包括：迭代训练次数达到预设次数阈值，或者迭代训练时长达到预设时长，或者判别损失大于设定的损失阈值等等。

后续的，在利用训练加密模型的过程中，固定该预先经过训练的判别模型的模型参数。相应的，在训练判别模型的过程中，固定加密模型的模型参数。

S250：确定总预测损失。总预测损失与第一预测损失正相关，与第一预测概率负相关。

鉴于第一预测损失，可以监测加密人脸图像训练所得的人脸识别模型的识别结果的准确性。其中，第一预测损失越小，表征加密人脸图像训练所得的人脸识别模型的识别结果的准确性越高，也就是说第一预测损失越小越好。

并且，鉴于第一预测概率，可以监测加密人脸图像是否更符合噪声图像风格。其中，第一预测概率越大，表征加密人脸图像越趋近噪声图像风格，即加密人脸图像越像噪声图像，即加密人脸图像的加密效果越好，相应的，加密人脸图像中人脸越不易被识别，也就是说，第一预测概率越大越好。相应的，在确定总预测损失时，使其与第一预测损失正相关，与第一预测概率负相关。

一种实现方式中，总预测损失可以通过如下公式(1)表示：

l₁＝al₁₁+bl₁₂； (1)

其中，l₁₂＝E_x[log(1-D(G(x)))]；

l₁表示总预测损失，l₁₁表示第一预测损失，x表示原始人脸图像，G(x)表示加密人脸图像，D(G(x))表示第一预测概率，a和b为预设权重系数，a和b为正数。

S260：以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型。

基于总预测损失，利用反向传播算法，确定加密模型和第一人脸识别模型的模型参数梯度。利用所确定的模型参数梯度以及加密模型和第一人脸识别模型的模型参数，确定加密模型和第一人脸识别模型更新后的模型参数。进而基于更新后的模型参数，调整加密模型以及第一人脸识别模型的模型参数。其中，确定加密模型和第一人脸识别模型的模型参数梯度是以最小化总预测损失为目标得到的。最小化总预测损失，以实现提高利用加密模型加密后的图像的加密效果，提高加密后图像中人脸的保密性，并实现在训练加密模型的过程中，对利用加密后的图像训练所得的人脸识别模型的识别结果的监督，保持其准确性。

上述步骤S210～S260为一次模型迭代训练过程。为了训练得到更好的加密模型和第一人脸识别模型，可以多次迭代执行上述过程。也就是在步骤S260之后基于加密模型以及第一人脸识别模型更新后的模型参数，返回执行步骤S210。

上述模型迭代训练过程的停止条件可以包括，迭代训练次数达到预设次数阈值，或者迭代训练时长达到预设时长，或者总预测损失小于设定的损失阈值等等。

本实施例，根据与第一预测损失正相关，与第一预测概率负相关，确定总预测损失，以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型，以保证利用训练所得的加密模型加密后的加密人脸图像更接近噪声图像，起到保护加密人脸图像中原始人脸不被泄露的同时，兼顾保证利用加密人脸图像训练所得的第一人脸识别模型的识别结果的准确性，使其识别结果的准确性与利用原始人脸图像训练所得的识别模型识别结果的准确性相当。

并且，通过上述第一预测损失训练加密模型，可以使得加密模型更突出图像中重要部分例如主体人脸的特征，并更好的去除图像中对于人脸识别无关的特征如背景特征，例如：若图像中存在两张人脸，通过第一预测损失训练加密模型可以去除掉非主体人脸的特征，使得加密后的图像更易训练，模型可以快速收敛，且识别准确率高。其中，主体人脸可以指图像对应的人脸标注结果中标注身份信息的人脸，非主体人脸可以指图像对应的人脸标注结果中未标注身份信息的人脸。

回顾一下步骤S210～S260的执行过程，上述实施例是以一个原始人脸图像为一个样本为例进行说明的。在另一实施例中，也可以针对一批样本即多个原始人脸图像执行上述步骤S210～步骤S240，分别得到每个原始人脸图像的第一预测损失和第一预测概率。进而基于与多个原始人脸图像的第一预测损失正相关，与多个原始人脸图像的第一预测概率负相关，确定总预测损失，以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型。本实施例中，对一批样本确定总预测损失，然后再调整加密模型以及第一人脸识别模型的模型参数，这样能够减少对加密模型以及第一人脸识别模型的参数调整次数，更易于训练过程的实施。

一种实施方式中，上述基于与多个原始人脸图像的第一预测损失正相关，与多个原始人脸图像的第一预测概率负相关，确定总预测损失的过程中，可以是：对多个原始人脸图像的第一预测损失l₁₁求和，并对多个原始人脸图像的基于第一预测概率所确定的预测损失l₁₂求和，进而基于多个原始人脸图像的l₁₁和值和l₁₂和值，确定总预测损失。

在本说明书的另一实施例中，还可以包括对判别模型的训练过程，该训练过程可以包括如下步骤11-13：

步骤11：获得随机噪声图像。其中，该随机噪声图像可以为基于椒盐噪声生成的噪声图像，也可以是基于高斯噪声生成的噪声图像，这都是可以的，本实施例并不对随机噪声图像的生成过程进行限定。

步骤12：将随机噪声图像输入判别模型，得到随机噪声图像为噪声图像的第二预测概率。其中，该第二预测概率可以表征：判别模型判别该随机噪声图像为噪声图像的可能性。该第二预测概率越高，表征判别模型判别该随机噪声图像为噪声图像的可能性越大。

步骤13：以最小化第一预测概率，最大化第二预测概率为目标，训练判别模型。确定出第二预测概率之后，可以根据与第一预测概率负相关，与第二预测概率正相关，确定判别损失，进而以最大化判别损失为目标，也就是说以最小化第一预测概率，最大化第二预测概率为目标，调整判别模型的模型参数，以训练判别模型。

其中，训练判别模型的加密人脸图像，可以与训练加密模型的加密人脸图像为相同的图像，也可以为不同的图像，这都是可以的。

在一种实现中，判别损失可以通过如下公式(2)表示：

l_D＝E_y[log D(y)]+E_x[log(1-D(G(x)))]； (2)

其中，l_D表示判别损失，y表示随机噪声图像，D(y)表示第二预测概率。

一种情况中，对生成对抗模型中生成模型和判别模型的训练可以以交替训练的方式进行。其中，训练生成模型即本说明书中提到的加密模型的过程中，固定判别模型的模型参数；在训练判别模型的过程中，固定加密模型的模型参数。该训练判别模型的过程，可以在训练作为生成模型的加密模型的过程之前，也可以在训练作为生成模型的加密模型的过程之后，这都是可以的。

鉴于此，在训练加密模型的过程中，可以将判别损失l_D和基于第一预测概率所确定的预测损失l₁₂合并成一个公式表示，相应的，上述公式(1)可以改写成如下公式(3)的形式：

l₁＝al₁₁+bl_D； (3)

回顾一下步骤11-13的执行过程，上述实施例是以一个原始人脸图像和一个随机噪声图像为样本为例进行说明的。在另一实施例中，也可以针对一批样本即多个原始人脸图像和多个随机噪声图像执行上述步骤11-12，分别得到每个原始人脸图像的第一预测概率，和每个随机噪声的第二预测概率；并基于与多个原始人脸图像的第一预测概率负相关，与多个随机噪声图像的第二预测概率正相关，确定判别损失，以最大化判别损失为目标，训练判别模型。

在本说明书的另一实施例中，为了保证对加密人脸图像中人脸的加密效果更好，不仅需要在直观上例如利用人眼无法从加密人脸图像中观测出原始人脸，还需要保证从加密人脸图像中提取出的特征也无法还原出原始人脸。其中，该原始人脸可以指原始人脸图像中所包含的人脸。相应的，还可以包括如下步骤21-22:

步骤21：分别将原始人脸图像及加密人脸图像输入经训练的第二人脸识别模型，得到原始人脸图像对应的第一输出结果及加密人脸图像对应的第二输出结果。

其中，第二人脸识别模型基于原始人脸图像及对应的人脸标注结果训练得到。该第二人脸识别模型可以为基于神经网络的模型，该第二人脸识别模型为预先基于原始人脸图像及对应的人脸标注结果训练，且识别结果准确性达到预期的模型。一种实施中，该第二人脸识别模型可以包括特征提取层和分类层，特征提取层可以针对输入的图像提取其图像特征，分类层可以基于特征提取层所输出的图像特征，确定所对应图像的人脸识别结果。相应的，第二人脸识别模型的输出结果可以包括：特征提取层的某一层所提取的图像特征，也可以包括分类层所确定的人脸识别结果。

在一种实施方式中，为了加密模型训练过程的方便，第一人脸识别模型和第二人脸识别模型，可以具有相同的神经网络结构。在另一种实施方式中，第一人脸识别模型和第二人脸识别模型，可以具有不同的神经网络结构。

步骤22：基于第一输出结果、第二输出结果以及原始人脸图像对应的人脸标注结果，确定第二预测损失。

相应的，前述步骤S250进一步设计为，使得总预测损失还与第二预测损失正相关。

一种情况中，第一输出结果可以包括：原始人脸图像的第一图像特征和/或原始人脸图像的第三人脸预测结果。第二输出结果可以包括：加密人脸图像的第二图像特征和/或第二人脸预测结果。其中，第一图像特征和第二图像特征为从第二人脸识别模型的相同层所得到的特征。

在一个实施例中，第一图像特征可以是第二人脸识别模型中预定的中间层，针对原始人脸图像输出的特征图对应的特征向量。第二图像特征可以是该预定的中间层针对加密人脸图像输出的特征图对应的特征向量。

一种实施方式中，第一输出结果包括第一图像特征，且第二输出结果包括第二图像特征。可以按照预设相似度算法，计算第一图像特征和第二图像特征之间的相似度。该相似度可以表征第一图像特征和第二图像特征之间的相似程度。该相似度值越小，表征第一图像特征和第二图像特征之间的相似程度越低。

一个实施例中，该预设相似度算法可以为余弦cosine相似度算法或者其他相似度算法。以预设相似度算法为余弦cosine相似度算法为例进行说明，利用余弦cosine相似度算法，计算两个特征向量夹角间的余弦值，即计算第一图像特征和第二图像特征夹角间的余弦值；利用该余弦值来衡量第一图像特征和第二图像特征之间相似度的大小。其中，余弦值越接近1，第一图像特征和第二图像特征间夹角越趋于0，表明第一图像特征和第二图像特征越相似。余弦值越接近于0，第一图像特征和第二图像特征间夹角越趋于90度，表明第一图像特征和第二图像特征越不相似。

计算出第一图像特征与第二图像特征之间的相似度之后，为了保证加密人脸图像通过第二人脸识别模型所提取出的第二图像特征无法还原出原始人脸，需要第二图像特征和第一图像特征之间的相似度较低，进而，可以根据与相似度正相关确定第二预测损失。

另一种实施方式中，第二输出结果包括第二人脸预测结果，可以利用第二损失函数，基于第二人脸预测结果和人脸标注结果，确定第二人脸预测结果和人脸标注结果之间的损失，即第三预测损失。第三预测损失越小，表示第二人脸预测结果与人脸标注结果越接近，即，第二人脸识别模型基于加密人脸图像识别到的结果，与原始标注结果越接近。这意味着，加密人脸图像所保留的图像特征，仍可有效用于人脸识别。因此，第三预测损失在一定程度上可以反映出加密人脸图像所保留的图像特征对于人脸识别的区分度。

其中，该第二损失函数可以为ArcFace损失函数，还可以为L1损失函数、L2损失函数、交叉熵损失函数或Smooth L1损失函数等。可以理解的，本说明书实施例并不对第二损失函数的具体类型进行限定。

另一种实施方式中，该第一输出结果包括：原始人脸图像的第一图像特征，第二输出结果包括：加密人脸图像的第二人脸预测结果以及第二图像特征；所述步骤22，可以包括如下步骤221-223：

步骤221：计算第一图像特征和第二图像特征之间的相似度。

步骤222：基于第二人脸预测结果，以及人脸标注结果，确定第三预测损失。

步骤223：确定第二预测损失，其与相似度及第三预测损失正相关。

本实现方式中，结合相似度以及第三预测损失共同确定第二预测损失，进而利用与第一预测损失正相关、与第一预测概率负相关且与该第二预测损失正相关，确定总预测损失。利用该总预测损失训练加密模型，使得经加密模型加密后的加密人脸图像更接近噪声图像；利用加密人脸图像训练所得的人脸识别模型的准确性得到保障；加密人脸图像与原始人脸图像，经第二人脸识别模型提取的特征上产生较大的差异；加密人脸图像经第二人脸识别模型提取的特征在人脸识别上具有区分度。

一种实现中，总预测损失可以通过如下公式(4)表示：

l₂＝al₁₁+bl_D+l₁₃； (4)

其中，l₁₃＝c₁l₁₃₁+c₂l₁₃₂；

l₂表示总预测损失，l₁₃表示第二预测损失，l₁₃₁表示相似度，l₁₃₂表示第三预测损失，c₁和c₂表示预设权重系数，其中，c₁和c₂为正数。

在本说明书的另一实施例中，图像之间的相似度除了可以通过视觉感官即人眼辨别确定，通过人脸识别模型所提取的特征确定，还可以通过图像相似性评价指标确定。在一种情况中，可能存在两帧图像视觉感官上差别很大，但是通过某些图像相似性评价指标对应的特征提取算法所提取的特征相似性却较大。鉴于此，为了避免加密人脸图像经某些图像相似性评价指标对应的特征提取算法所提取的特征，仍与原始人脸图像经该图像相似性评价指标对应的特征提取算法所提取的特征相似性较大，进而通过该所提取的特征反推出加密人脸图像中的人脸，暴露个人隐私，该方法还可以包括如下步骤31-32:

步骤31：利用指定图像相似性评价指标对应的特征提取算法，分别提取得到原始人脸图像对应的第一特征图及加密人脸图像对应的第二特征图。一种实现方式中，特征提取算法可以包括以下至少一个：基于离散余弦变换DCT的特征提取，基于主成分分析PCA的特征提取。可以理解的，上述特征提取算法作为本说明书实施例的一种示例。上述指定图像相似性评价指标还可以是其他用于对图像相似性进行评价的指标，相应的，特征提取算法可以为其他用于对图像相似性进行评价的指标对应的特征提取算法。

步骤32：确定第一特征图和第二特征图之间的差异度。该差异度可以是基于图像之间的像素差异而确定。在一种实施方式中，可以是计算第一特征图和第二特征图之间的均方误差MSE值，将计算所得的MSE值确定为第一特征图和第二特征图之间的差异度。

相应的，在前述步骤S250，使得总预测损失还与差异度负相关。可以理解的，差异度是基于图像之间的像素差异而确定的，图像之间的像素差异越大，图像之间的差异越大。而第一特征图与第二特征图之间的差异越大，可以表征加密人脸图像与原始人脸图像在像素上的差异越大，并且，无法通过第二特征图反推出原始人脸图像中的人脸，加密人脸图像的加密效果越好。相应的，总预测损失还与差异度负相关。

在一种实施例中，在步骤S250，可以根据与第一预测损失正相关，与第一预测概率和差异度负相关，确定总预测损失。进而以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型。使得经加密模型加密后的加密人脸图像更接近噪声图像，确保加密后的图像中人脸的保密性；且利用加密后的图像训练所得的人脸识别模型的准确性得到保障；且加密后的图像与加密前的图像，分别经指定图像相似性评价指标对应的特征提取算法所提取的特征差异度较大，可以更好的保证加密后的图像中人脸的保密性。

在另一种实施例中，在步骤S250，可以根据与第一预测损失和第二预测损失正相关，与第一预测概率和差异度负相关，确定总预测损失。进而以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型。使得经加密模型加密后的加密人脸图像具有上述实施例所提的优点的同时，还兼具加密人脸图像与原始人脸图像经人脸识别模型所提取的特征具有较大的差异的优点，及加密人脸图像所保留的图像特征对于人脸识别具有区分度的优点。

一种情况中，总预测损失可以通过如下公式(5)表示：

l₃＝al₁₁+bl_D+l₁₃+dl₁₄； (5)

其中，l₁₃＝c₁l₁₃₁+c₂l₁₃₂；

l₃表示总预测损失，l₁₄表示差异度，d表示预设权重系数，d为负数。上述预设权重系数可以根据实际需求进行设置。在一种实施例中，上述预设权重系数可以分别设置为a＝1，b＝1，c₁＝1，c₂＝1，d＝-0.00001。

图3为本说明书披露的一个实施例的实施框架示意图。如图3所示，原始人脸图像x输入待训练的加密模型，得到加密人脸图像G(x)。加密人脸图像G(x)输入待训练的第一人脸识别模型f1，f1对加密人脸图像进行特征提取，并基于所提取的图像特征得到相应的特征向量，进而基于相应的特征向量确定出第一人脸预测结果。利用第一人脸预测结果及原始人脸图像对应的人脸标注结果，确定第一预测损失。

将待训练的加密模型作为生成模型，其生成的加密人脸图像G(x)，输入判别模型，判别模型判别加密人脸图像G(x)是否为噪声图像，得到加密人脸图像为噪声图像的第一预测概率，基于第一预测概率确定相应的预测损失l₁₂。

原始人脸图像x及加密人脸图像G(x)，输入经训练的第二人脸识别模型f2，得到原始人脸图像x的第一输出结果，加密人脸图像G(x)的第二输出结果。其中，第一输出结果包括第一图像特征即第二人脸识别模型f2预定的中间层，针对原始人脸图像x输出的特征图对应的特征向量。第二输出结果包括第二图像特征即第二人脸识别模型f2预定的中间层，针对加密人脸图像G(x)输出的特征图对应的特征向量，和第二人脸预测结果。

基于余弦cosine相似度算法，计算第一图像特征和第二图像特征之间的相似度cosine loss。按照ArcFace损失函数，基于第二人脸预测结果，以及人脸标注结果，确定第三预测损失arcface loss。

利用指定图像相似性评价指标对应的特征提取算法，例如图3中所示的DCT的特征提取算法，分别提取得到原始人脸图像对应的第一特征图及加密人脸图像对应的第二特征图；基于均方误差MSE算法，计算第一特征图和第二特征图之间的差异度MSE值。

后续的，根据与第一预测损失、相似度和第三预测损失正相关，与第一预测概率和差异度负相关，确定总预测损失。

在一种实施方式中，如图3所示，还包括对判别模型的训练过程，该对判别模型的训练过程可以与训练加密模型的过程交替进行。其中，对判别模型的训练过程中，将随机噪声图像y及加密人脸图像G(x)输入判别模型，判别模型输出判别随机噪声图像y为噪声图像的第二预测概率，以及判别加密人脸图像G(x)为噪声图像的第一预测概率。根据与第一预测概率负相关，与第二预测概率正相关，确定判别损失，进而以最大化判别损失为目标，也就是说以最小化第一预测概率，最大化第二预测概率为目标，调整判别模型的模型参数，以训练判别模型。鉴于对加密模型和判别模型的训练过程可以交替进行，在训练加密模型的过程中，可以将判别损失l_D和基于第一预测概率所确定的预测损失l₁₂合并成一个公式表示，相应的，可以通过判别损失标识。

相应于上述方法实施例，下面对所述用于隐私保护的图像加密方法进行阐述。

如图4所示，为本说明书实施例提供的用于隐私保护的图像加密方法的一种流程示意图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。所述用于隐私保护的图像加密方法可以包括如下步骤S410-S430：

S410：获得加密模型。其中，该加密模型的训练方式可以参照上述用于隐私保护的加密模型训练方法实施例所提供的训练方式，在此不再赘述。一种实现中，该加密模型可以预先存储于设备本地，相应的，可以从设备本地获得加密模型。另一种实现中，也可以从存储加密模型的服务器处下载得到加密模型。在存在对人脸图像进行加密的需求时，可以获得加密模型。其中，存在对人脸图像进行加密的需求，可以是：检测到设置的图像采集设备被启动，也可以是：获得包含人脸的图像。

S420：获得待加密人脸图像。其中，该待加密人脸图像为包含人脸的图像。可以理解的，S420可以在S410之后执行，也可以在S410之前执行，也可以S410和S420并行执行。

S430：将待加密人脸图像输入加密模型，得到对应的加密后人脸图像。其中，加密模型可以是基于神经网络的模型，将待加密人脸图像输入加密模型，加密模型对待加密人脸图像进行加密，得到对应的加密后人脸图像。加密后人脸图像与随机噪声图像更相似，通过人眼无法辨别出其中的人脸；从其中提取的特征，与从原始图像中提取的特征存在较大差异；且在人脸识别上具有区分度，具有唯一性。在一种实现中，加密模型可以为U-Net结构的模型。

一种实施例中，该方法可以应该于终端设备，该终端设备可以是任一具有计算、处理能力的设备，例如可以为手机、摄像机以及电脑等。相应的，可以是终端设备获得待加密的人脸图像，则直接在本地利用加密模型对所获得的图像进行加密，以在一定程度上降低人脸图像被窃取，进而降低图像涉及的个人隐私泄露的风险。

本实施例中，可以利用训练所得的加密模型对人脸图像进行加密，后续的利用加密后的人脸图像执行其他任务。例如：进行人脸支付任务、进行人脸识别任务。

相应于上述方法实施例，下面对基于隐私保护的加密人脸图像识别方法进行阐述。

如图5所示，为本说明书实施例提供的基于隐私保护的加密人脸图像识别方法的一种流程示意图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。所述基于隐私保护的加密人脸图像识别可以包括如下步骤S510-S530：

S510：获得加密模型和第一人脸识别模型；其中，加密模型和第一人脸识别模型的训练方式可以参照上述用于隐私保护的加密模型训练方法实施例所提供的训练方式，在此不再赘述。

加密模型可以是基于神经网络的模型。在一种实现中，加密模型可以为U-Net结构的模型。第一人脸识别模型可以是基于神经网络的模型，例如可以是基于深度神经网络的模型。

S520：将待处理人脸图像输入加密模型，得到对应的待识别人脸图像。其中，该待处理人脸图像为包含人脸的图像。将待处理人脸图像输入加密模型，加密模型对待处理人脸图像进行加密，得到对应的待识别人脸图像。待识别人脸图像与随机噪声图像更相似，待识别人脸图像与原始图像即待处理人脸图像在像素上存在较大差异，无法通过人眼辨别出其中的人脸；从其中提取的特征与从原始图像所提取的特征存在较大差异；且其在人脸识别上具有区分度，具有唯一性。

S530：将待识别人脸图像输入第一人脸识别模型，得到对应的人脸识别结果。第一人脸识别模型可以包括特征提取层和分类层，将待识别人脸图像输入特征提取层，特征提取层对待识别人脸图像进行特征提取，得到对应的图像特征；将图像特征输入分类层，分类层基于所输入的图像特征，确定对应的人脸识别结果。

一种实现中，所得到的人脸识别结果可以继续用于下游任务的执行，例如：实现人脸支付任务，实现考勤任务，实现身份认证任务等等。

本实施例中，通过对人脸图像进行加密，进而利用加密后的人脸图像进行人脸识别，在一定程度上可以提高对人脸图像中人脸及其涉及的个人隐私的保护。

上述内容对本说明书的特定实施例进行了描述，其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行，并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的，或者可能是有利的。

相应于上述方法实施例，本说明书实施例，提供了一种用于隐私保护的加密模型训练装置600，其示意性框图如图6所示，包括：

加密模块610，配置为利用待训练的加密模型对原始人脸图像加密，得到对应的加密人脸图像；

第一输入模块620，配置为将所述加密人脸图像输入待训练的第一人脸识别模型，得到第一人脸预测结果；

第一损失确定模块630，配置为利用所述第一人脸预测结果以及所述原始人脸图像对应的人脸标注结果，确定第一预测损失；

第二输入模块640，配置为将所述加密人脸图像输入用于判别输入图像是否为噪声图像的判别模型，得到所述加密人脸图像为噪声图像的第一预测概率；

总损失确定模块650，配置为确定总预测损失，所述总预测损失与所述第一预测损失正相关，与所述第一预测概率负相关；

第一训练模块660，配置为以最小化所述总预测损失为目标，训练所述加密模型以及第一人脸识别模型。

在一种实施方式中，还包括：

第一图像获得模块(图中未示出)，配置为获得随机噪声图像；

第三输入模块(图中未示出)，配置为将所述随机噪声图像输入所述判别模型，得到所述随机噪声图像为噪声图像的第二预测概率；

第二训练模块(图中未示出)，配置为以最小化所述第一预测概率，最大化所述第二预测概率为目标，训练所述判别模型。

在一种实施方式中，还包括:

第四输入模块(图中未示出)，配置为分别将所述原始人脸图像及所述加密人脸图像输入经训练的第二人脸识别模型，得到所述原始人脸图像对应的第一输出结果及所述加密人脸图像对应的第二输出结果，其中，所述第二人脸识别模型基于原始人脸图像及对应的人脸标注结果训练得到；

第二损失确定模块(图中未示出)，配置为基于所述第一输出结果及所述第二输出结果，以及所述原始人脸图像对应的人脸标注结果，确定第二预测损失；

所述总损失确定模块650，还配置为所述使得总预测损失还与所述第二预测损失正相关。

在一种实施方式中，所述第一人脸识别模型和所述第二人脸识别模型，具有相同的神经网络结构。

在一种实施方式中，所述第一输出结果包括：所述原始人脸图像的第一图像特征，所述第二输出结果包括：所述加密人脸图像的第二人脸预测结果以及第二图像特征；

所述第二损失确定模块，具体配置为计算所述第一图像特征和所述第二图像特征之间的相似度；

基于所述第二人脸预测结果，以及所述人脸标注结果，确定第三预测损失；

确定所述第二预测损失，其与所述相似度及所述第三预测损失正相关。

在一种实施方式中，所述第一图像特征是所述第二人脸识别模型中预定的中间层，针对所述原始人脸图像输出的特征图对应的特征向量；

所述第二图像特征是所述预定的中间层针对所述加密人脸图像输出的特征图对应的特征向量。

在一种实施方式中，还包括:

第一提取模块(图中未示出)，配置为利用指定图像相似性评价指标对应的特征提取算法，分别提取得到所述原始人脸图像对应的第一特征图及所述加密人脸图像对应的第二特征图；

第一差异度确定模块(图中未示出)，配置为确定第一特征图和第二特征图之间的差异度；

所述总损失确定模块650，还配置为使得所述总预测损失还与所述差异度负相关。

在一种实施方式中，还包括：

第二提取模块(图中未示出)，配置为利用指定图像相似性评价指标对应的特征提取算法，分别提取得到所述原始人脸图像对应的第一特征图及所述加密人脸图像对应的第二特征图；

第二差异度确定模块(图中未示出)，配置为确定第一特征图和第二特征图之间的差异度；

所述总损失确定模块，还配置为使得所述总预测损失还与所述差异度负相关。

在一种实施方式中，所述特征提取算法包括以下之一：基于离散余弦变换DCT的特征提取算法，基于主成分分析PCA的特征提取算法；

所述差异度基于图像之间的像素差异而确定。

相应于上述方法实施例，本说明书实施例，提供了一种用于隐私保护的图像加密装置700，其示意性框图如图7所示，包括：

第一模型获得模块710，配置为获得如前述的用于隐私保护的加密模型训练装置训练所得的加密模型；

第二图像获得模块720，配置为获得待加密人脸图像；

第五输入模块730，配置为将所述待加密人脸图像输入所述加密模型，得到对应的加密后人脸图像。

相应于上述方法实施例，本说明书实施例，提供了一种基于隐私保护的加密人脸图像识别装置800，其示意性框图如图8所示，包括：

第二模型获得模块810，配置为获得如前述的用于隐私保护的加密模型训练装置训练所得的加密模型和第一人脸识别模型；

第六输入模块820，配置为将待处理人脸图像输入所述加密模型，得到对应的待识别人脸图像。

第七输入模块830，配置为将所述待识别人脸图像输入所述第一人脸识别模型，得到对应的人脸识别结果。

上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描述，此处不再赘述。装置实施例是基于对应的方法实施例得到，与对应的方法实施例具有同样的技术效果，具体说明可参见对应的方法实施例。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书所提供的所述用于隐私保护的加密模型训练方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书所提供的所述用于隐私保护的加密模型训练方法。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书所提供的所述用于隐私保护的图像加密方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书所提供的所述用于隐私保护的图像加密方法。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书所提供的所述基于隐私保护的加密人脸图像识别方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书所提供的所述基于隐私保护的加密人脸图像识别方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于存储介质和计算设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。