具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于深度学习的视频换脸设备结构示意图。

如图1所示，该基于深度学习的视频换脸设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对基于深度学习的视频换脸设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于深度学习的视频换脸程序。

在图1所示的基于深度学习的视频换脸设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于深度学习的视频换脸设备中的处理器1001、存储器1005可以设置在基于深度学习的视频换脸设备中，所述基于深度学习的视频换脸设备通过处理器1001调用存储器1005中存储的基于深度学习的视频换脸程序，并执行本发明实施例提供的基于深度学习的视频换脸方法。

本发明实施例提供了一种基于深度学习的视频换脸方法，参照图2，图2为本发明一种基于深度学习的视频换脸方法第一实施例的流程示意图。

本实施例中，所述基于深度学习的视频换脸方法包括以下步骤：

步骤S10：在接收到待换脸视频的换脸指令时，根据所述换脸指令获取预存换脸模型。

需要说明的是，本实施例的执行主体为一个控制器，所述控制器为主要用于控制基于深度学习的视频换脸方法的控制器，也可以为能实现此功能的任意设备，本实施例对此不加以限定。本实施例及下述各实施例将以基于深度学习的视频换脸方法的控制器为例进行具体说明。

应理解的是，换脸指令指的是一种用于指示开始执行对待换脸视频进行换脸的指令，换脸指令可以为任意形式的指令，本实施例对此不加以限制。

在具体实施中，预存换脸模型指的是预先处理并且存储的用于换脸的模型，本实施例中的预存换脸模型是基于FaceShifer模型，然后修改部分结构，调整参数后得到的模型。

需要说明的是，待换脸视频指的是需要执行换脸方法步骤的视频，可以为任意长度、清晰度的视频，本实施例对此不加以限制。

应理解的是，在接收到待换脸视频的换脸指令时，根据所述换脸指令获取预存换脸模型指的是，当接收到需要对待换脸视频执行换脸的换脸指令时，调用预先存储的预存换脸模型。

进一步地，为了能够预先得到训练完成的预存换脸模型，步骤S10之前，还包括：

获取历史换脸图像、历史替换图像和历史目标视频帧；

根据所述历史换脸图像、所述历史替换图像和所述历史目标视频帧对原始模型进行训练，得到训练后的模型；

通过预设格式对所述训练后的模型进行调整，得到预存换脸模型。

需要说明的是，历史换脸图像指的是，在本次换脸之前进行成功的换脸方法步骤中存储的换脸图像。换脸图像指的是经过预存换脸模型确定的，待换脸视频帧中的需要替换的图像区域。

应理解的是，历史替换图像指的是，在本次换脸之前进行成功的换脸方法步骤中存储的替换图像。替换图像指的是，需要在待换脸视频帧上替换换脸图像的图像。

在具体实施中，历史目标视频帧指的是，在本次换脸之前进行成功的换脸方法步骤中存储的人脸替换完毕的视频帧。

需要说明的是，历史换脸图像、历史替换图像和历史目标视频帧都是以开源数据集CelebA-HQ、FFHQ数据集的形式存储的。

应理解的是，根据所述历史换脸图像、所述历史替换图像和所述历史目标视频帧对原始模型进行训练，得到训练后的模型指的是，从训练数据集中提取出历史换脸图像、历史替换图像和历史目标视频帧，然后根据历史换脸图像、历史替换图像和历史目标视频帧对原始模型进行训练，得到了训练后的模型。

在具体实施中，原始模型指的是，在训练之前调用的用于换脸的FaceShifer模型。

需要说明的是，预设格式指的是PB格式，通过预设格式对所述训练后的模型进行调整，得到预存换脸模型指的是将训练后的模型的PB格式，得到了预存换脸模型。

通过这种方式，可以对原始模型进行准确并且快速的训练，得到预存换脸模型。

进一步地，为了能够对原始模型进行结构调整，步骤根据所述历史换脸图像、所述历史替换图像和所述历史目标视频帧对原始模型进行训练，得到训练后的模型之前，还包括：

获取若干个预设损失函数；

根据所述预设损失函数得到预设总损失函数；

根据所述预设总损失函数对所述原始模型进行更新，得到目标模型；

所述根据所述历史换脸图像、所述历史需替换图像和所述历史目标视频帧对原始模型进行训练，得到训练后的模型，包括：

根据所述历史换脸图像、所述历史需替换图像和所述历史目标视频帧对所述目标模型进行训练，得到训练后的模型。

应理解的是，预设损失函数指的是预先存储的，用于替换原始模型中的函数的损失函数。

在具体实施中，预设损失函数可以包括以下四种损失函数，依次为GAN损失函数、id损失函数、多层属性损失函数和像素级重建损失函数：

其中，D为鉴别器，G为生成器，E为数学期望，Z_id为人脸特征，X_s为源脸，也就是需要被换掉的换脸图像，X_t为目标脸，也就是替换换脸图像的替换图像，指的是生成的人脸，也就是替换后的人脸；Z^k _att为第k层内某一属性的嵌入。

在具体实施中，根据所述预设损失函数得到预设总损失函数指的是根据GAN损失函数、id损失函数、多层属性损失函数和像素级重建损失函数得到预设总损失函数。

需要说明的是，预设总损失函数的计算方法为：

其中，λ_att、λ_id和λ_rec都为一个预先设置的系数。

应理解的是，根据所述预设总损失函数对所述原始模型进行更新，得到目标模型指的是，当得到预设总损失函数之后，将预设总损失函数替换原始模型中的损失函数，得到的模型即为目标模型。

通过这种方式，可以通过替换原始模型中的损失函数，以使原始模型的准确度提高，提高了视频换脸的准确率和最终效果。

步骤S20：提取所述待换脸视频中的待换脸视频帧。

在具体实施中，待换脸视频帧指的是，在待换脸视频中需要换脸的指定视频帧，待换脸视频帧可以是待换脸视频中的任意一帧画面，本实施例对此不加以限制。

需要说明的是，提取所述待换脸视频中的待换脸视频帧指的是，从待换脸视频中抽出需要换脸的视频帧作为待换脸视频帧。

步骤S30：当所述待换脸视频帧中存在人脸信息时，将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定，得到换脸图像。

应理解的是，确定待换脸视频中是否存在人脸信息，可以使用图像识别手段，也可以使用其他方法，本实施例对此不加以限制。

在具体实施中，当所述待换脸视频帧中存在人脸信息时，将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定，得到换脸图像指的是，当检测到待换脸视频帧中存在人脸信息后，将待换脸视频帧输入到预存换脸模型中，最终通过预存换脸模型输出的图像即为确定的换脸图像。

步骤S40：根据所述换脸图像对所述待换脸视频进行更新，得到目标视频。

需要说明的是，目标视频指的是，需要经过此方法之后最终得到的换脸完成的视频。

应理解的是，根据所述换脸图像对所述待换脸视频进行更新，得到目标视频指的是，当确定了换脸图像后，将预先准备的替换图像在待换脸视频帧中的换脸图像进行替换和覆盖，然后得到第二目标视频帧，最后根据第二目标视频帧对待换脸视频进行更新，得到目标视频。

本实施例通过在接收到待换脸视频的换脸指令时，根据所述换脸指令获取预存换脸模型；提取所述待换脸视频中的待换脸视频帧；当所述待换脸视频帧中存在人脸信息时，将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定，得到换脸图像；根据所述换脸图像对所述待换脸视频进行更新，得到目标视频。通过这种方式，可以在接收到换脸指令时获取预存换脸模型，然后提取出需要换脸的待换脸视频帧，当待换脸视频帧中存在人脸信息时再通过预存换脸模型确定换脸图像，最后根据换脸图像对待换脸视频进行更新，得到目标视频，实现了只调用一个预存换脸模型对视频帧进行处理最后得到换脸图像，使得视频换脸训练次数少，步骤耗时短并且资源消耗小。

参考图3，图3为本发明一种基于深度学习的视频换脸方法第二实施例的流程示意图。

基于上述第一实施例，本实施例基于深度学习的视频换脸方法在所述步骤S30包括：

步骤S301：当所述待换脸视频帧中存在人脸信息时，根据所述待换脸视频帧得到对齐人脸图像。

需要说明的是，对齐人脸图像指的是，当待换脸视频帧中存在人脸信息时，对待换脸视频帧进行处理得到的人脸图像。

应理解的是，当所述待换脸视频帧中存在人脸信息时，根据所述待换脸视频帧得到对齐人脸图像指的是，，当待换脸视频帧中存在人脸信息时，对待换脸视频帧进行处理，先确定人脸的图像位置，然后对人脸图像进行对齐处理，得到对齐人脸图像。

进一步地，为了能够准确的得到对齐人脸图像，步骤S101，包括：

当所述待换脸视频帧中识别到人脸时，对所述待换脸视频帧进行检测，得到若干个人脸关键点；

根据所述人脸关键点在所述待换脸视频帧中剪切出预设尺寸的人脸区域图像；

根据所述人脸区域图像将人脸进行对齐操作，得到对齐人脸图像。

需要说明的是，人脸关键点指的是在对待换脸视频帧自动检测之后自动选取的，人脸上的关键图像点，用于识别面部特征的图像点，人脸关键点的个数可以为任意个数，本实施例对此不加以限制。

在具体实施中，如图4所示为选取人脸关键点的示意图，人脸关键点会基于识别到的人脸的面部器官等特征部位进行选取，并且人脸关键点的个数本实施例不作具体限定，可以为任意个数。图4仅作示意作用，并不对本实施例的说明内容起到限定作用。

应理解的是，当所述待换脸视频帧中识别到人脸时，对所述待换脸视频帧进行检测，得到若干个人脸关键点指的是，当检测到待换脸视频帧中存在人脸信息时，自动对待换脸视频帧进行图像检测，然后确定若干个人脸关键点。

在具体实施中，预设尺寸是可以由管理员或者用户自行设定的尺寸，用于裁剪人脸面部图像，预设尺寸的大小本实施例对此不加以限制。

需要说明的是，人脸区域图像指的是，根据人脸关键点的位置，在待换脸视频帧中剪切出的预设尺寸的图像。

应理解的是，根据所述人脸关键点在所述待换脸视频帧中剪切出预设尺寸的人脸区域图像指的是，当确定若干个人脸关键点之后，根据人脸关键点的位置在待换脸视频帧中裁剪出预设尺寸的图像区域，作为人脸区域图像。

在具体实施中，根据所述人脸区域图像将人脸进行对齐操作，得到对齐人脸图像指的是，当得到人脸区域图像之后，通过仿射变换将人脸图像进行对齐操作，也就是将人脸的位置和角度调整到正面，最后得到的图像即为对齐人脸图像。

通过这种方式，可以准确且快速的将人脸图像变换为对齐人脸图像，使得后续的换脸步骤更加方便，提高了换脸的最终效果。

步骤S302：将所述对齐人脸图像通过所述预存换脸模型进行换脸图像确定，得到换脸图像。

需要说明的是，将所述对齐人脸图像通过所述预存换脸模型进行换脸图像确定，得到换脸图像指的是，将对齐人脸图像输入到训练完成后得到的预存换脸模型，然后得到预存换脸模型输出的图像，将预存换脸模型输出的图像作为换脸图像。

进一步地，为了在待换脸视频帧未识别到人脸时将待换脸视频帧放回待换脸视频，步骤提取所述待换脸视频中的待换脸视频帧之后，还包括：

当所述待换脸视频帧中未识别到人脸时，将所述待换脸视频帧作为第一目标视频帧；

查询所述第一目标视频帧在所述待换脸视频中的视频帧位置信息；

根据所述视频帧位置信息将所述第一目标视频帧写回所述待换脸视频。

应理解的是，当所述待换脸视频帧中未识别到人脸时，将所述待换脸视频帧作为第一目标视频帧指的是，当对待换脸视频帧进行图像识别后并未识别到人脸时，将没有识别到人脸的待换脸视频帧作为第一目标视频帧。

在具体实施中，视频帧位置信息指的是第一目标视频帧在待换脸视频中所处的帧数的位置，也就是第一目标视频帧在待换脸视频中的帧数编号。

需要说明的是，查询所述第一目标视频帧在所述待换脸视频中的视频帧位置信息指的是，当确定第一目标视频帧之后，查询第一目标视频帧在待换脸视频中的视频帧位置信息。

应理解的是，根据所述视频帧位置信息将所述第一目标视频帧放回所述待换脸视频指的是，当确定第一目标视频帧的视频帧位置信息之后，将第一目标视频帧放回待换脸视频中。

通过这种方式，可以在待换脸视频帧中未识别到人脸信息时将待换脸视频帧快速放回待换脸视频，提高了视频换脸的效率。

进一步地，为了能够在得到换脸图像之后将待换脸视频进行换脸，步骤根据所述换脸图像对所述待换脸视频进行更新，得到目标视频，包括：

查询所述换脸图像在所述待换脸视频帧的对应位置；

根据所述对应位置确定替换图像；

将所述待换脸视频帧中的所述换脸图像替换为所述替换图像，得到第二目标视频帧；

根据所述第二目标视频帧对所述待换脸视频进行更新，得到目标视频。

需要说明的是，查询所述换脸图像在所述待换脸视频帧的对应位置指的是，查询换脸图像在待换脸视频帧中的所处的位置，即为对应位置。

应理解的是，替换图像指的是，预先存储的用于替换换脸图像的人脸图像，也就是替换完成后在待换脸视频帧中的人脸图像。

在具体实施中，根据所述对应位置确定替换图像指的是，当确定换脸图像的对应位置之后，根据对应位置确定需要进行替换的替换图像。

需要说明的是，将所述待换脸视频帧中的所述换脸图像替换为所述替换图像，得到第二目标视频帧指的是，将待换脸视频帧中的换脸图像用替换图像进行替换，最终得到的视频帧即为第二目标视频帧。也就是说，第二目标视频帧中是待换脸视频帧中的换脸图像更换为替换图像的图像。

应理解的是，根据所述第二目标视频帧对所述待换脸视频进行更新，得到目标视频指的是，当得到第二目标视频帧之后，查询第二目标视频帧在待换脸视频中的所处的帧数的位置，也就是第二目标视频帧在待换脸视频中是帧数编号，然后将第二目标视频帧替换待换脸视频帧，放入到待换脸视频中，得到目标视频。

本实施例通过当所述待换脸视频帧中存在人脸信息时，根据所述待换脸视频帧得到对齐人脸图像；将所述对齐人脸图像通过所述预存换脸模型进行换脸图像确定，得到换脸图像。通过这种方式，可以在使用预存换脸模型之前对待换脸视频帧进行预处理，得到对齐人脸图像，然后将对齐人脸图像输入到预存换脸模型中，使用预存换脸模型准确率高的图像输入，提高了换脸的效果。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于深度学习的视频换脸程序，所述基于深度学习的视频换脸程序被处理器执行时实现如上文所述的基于深度学习的视频换脸方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。

参照图5，图5为本发明基于深度学习的视频换脸装置第一实施例的结构框图。

如图5所示，本发明实施例提出的基于深度学习的视频换脸装置包括：

调用模块10，用于在接收到待换脸视频的换脸指令时，根据所述换脸指令获取预存换脸模型。

提取模块20，用于提取所述待换脸视频中的待换脸视频帧。

处理模块30，用于当所述待换脸视频帧中存在人脸信息时，将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定，得到换脸图像。

更新模块40，用于根据所述换脸图像对所述待换脸视频进行更新，得到目标视频。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例通过在接收到待换脸视频的换脸指令时，根据所述换脸指令获取预存换脸模型；提取所述待换脸视频中的待换脸视频帧；当所述待换脸视频帧中存在人脸信息时，将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定，得到换脸图像；根据所述换脸图像对所述待换脸视频进行更新，得到目标视频。通过这种方式，可以在接收到换脸指令时获取预存换脸模型，然后提取出需要换脸的待换脸视频帧，当待换脸视频帧中存在人脸信息时再通过预存换脸模型确定换脸图像，最后根据换脸图像对待换脸视频行更新，得到目标视频，实现了只调用一个预存换脸模型对视频帧进行处理最后得到换脸图像，使得视频换脸训练次数少，步骤耗时短并且资源消耗小。

在本实施例中，所述调用模块10，还用于获取历史换脸图像、历史替换图像和历史目标视频帧；根据所述历史换脸图像、所述历史替换图像和所述历史目标视频帧对原始模型进行训练，得到训练后的模型；通过预设格式对所述训练后的模型进行调整，得到预存换脸模型。

在本实施例中，所述调用模块10，还用于获取若干个预设损失函数；根据所述预设损失函数得到预设总损失函数；根据所述预设总损失函数对所述原始模型进行更新，得到目标模型；所述根据所述历史换脸图像、所述历史需替换图像和所述历史目标视频帧对原始模型进行训练，得到训练后的模型，包括：根据所述历史换脸图像、所述历史需替换图像和所述历史目标视频帧对所述目标模型进行训练，得到训练后的模型。

在本实施例中，所述处理模块30，还用于当所述待换脸视频帧中存在人脸信息时，根据所述待换脸视频帧得到对齐人脸图像；将所述对齐人脸图像通过所述预存换脸模型进行换脸图像确定，得到换脸图像。

在本实施例中，所述处理模块30，还用于当所述待换脸视频帧中识别到人脸时，对所述待换脸视频帧进行检测，得到若干个人脸关键点；根据所述人脸关键点在所述待换脸视频帧中剪切出预设尺寸的人脸区域图像；根据所述人脸区域图像将人脸进行对齐操作，得到对齐人脸图像。

在本实施例中，所述提取模块20，还用于当所述待换脸视频帧中未识别到人脸时，将所述待换脸视频帧作为第一目标视频帧；查询所述第一目标视频帧在所述待换脸视频中的视频帧位置信息；根据所述视频帧位置信息将所述第一目标视频帧放回所述待换脸视频。

在本实施例中，所述更新模块40，还用于查询所述换脸图像在所述待换脸视频帧的对应位置；根据所述对应位置确定替换图像；将所述待换脸视频帧中的所述换脸图像替换为所述替换图像，得到第二目标视频帧；根据所述第二目标视频帧对所述待换脸视频进行更新，得到目标视频。

由于本装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于深度学习的视频换脸方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。