三维虚拟角色图像生成方法及装置

文档序号:192771 发布日期:2021-11-02 浏览:28次 >En<

阅读说明:本技术 三维虚拟角色图像生成方法及装置 (Three-dimensional virtual character image generation method and device ) 是由 梁彦军 于 2021-08-05 设计创作,主要内容包括:本申请涉及一种三维虚拟角色图像生成方法及装置,涉及计算机视觉领域,该方法包括:使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;根据目标人物的二维虚拟角色图像,得到虚拟几何数据;将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像。本申请能够成功地将目标人物图像转化为三维虚拟角色图像,使图像更加的生动形象,用户体验较好。(The application relates to a method and a device for generating a three-dimensional virtual character image, which relate to the field of computer vision, and the method comprises the following steps: replacing the face area of the target character image by using a preset virtual character image to generate a first two-dimensional virtual character image of the target character; obtaining virtual geometric data according to the two-dimensional virtual character image of the target character; inputting texture data corresponding to the target character image into a generator of a generating type countermeasure network to generate virtual texture data; and generating a three-dimensional virtual character image corresponding to the target character based on the virtual geometric data and the virtual texture data. The method and the device can successfully convert the target character image into the three-dimensional virtual character image, so that the image is more vivid and the user experience is better.)

三维虚拟角色图像生成方法及装置

技术领域

本申请涉及计算机视觉领域,尤其涉及一种三维虚拟角色图像生成方法及装置。

背景技术

目前,特效相机,拍摄道具等功能已经成为了视频类App的标配,用户只需要上传一张照片或是一段视频,就可以自动合成特定风格的个性化的脸部特效,将自己变身为漫画卡通人物、肖像画、古风人物等,但这些基本都仅限在二维图像的风格化上,为了使自己变身为漫画卡通人物、肖像画、古风人物等更加形象生动,生成风格化的三维图像是十分重要的,但是现有技术目前无法将单张的图片转化为三维虚拟角色图像,用户体验较差。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种三维虚拟角色图像生成方法及装置。

第一方面,本申请提供了一种三维虚拟角色图像生成方法,该方法包括:

使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;

获取目标人物图像对应的第一几何数据和纹理数据;

根据目标人物的二维虚拟角色图像对第一几何数据进行修正,得到虚拟几何数据;

将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;

根据虚拟几何数据与虚拟纹理数据,生成待渲染的三维虚拟角色,并将三维虚拟角色转换为第二二维虚拟角色图像;

将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果,若判别结果为真,则基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像。

第二方面,本申请提供了一种三维虚拟角色图像生成装置,该装置包括:

二维图像生成模块,用于使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;

数据获取模块,用于获取目标人物图像对应的第一几何数据和纹理数据;

修正模块,用于根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据;

数据生成模块,用于将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;

图像转换模块,用于根据虚拟几何数据与虚拟纹理数据,生成待渲染的三维虚拟角色,并将三维虚拟角色转换为第二二维虚拟角色图像;

三维图像生成模块,用于将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果,若判别结果为真,则基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像。

第三方面,提供了一种空调器控制设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现第一方面任一项实施例的三维虚拟角色图像生成方法的步骤。

第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如第一方面任一项实施例的三维虚拟角色图像生成方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点:

本申请实施例提供的该方法,通过使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像,可以获取目标人物的二维虚拟角色图像。通过获取目标人物图像对应的第一几何数据和纹理数据,并根据目标人物的二维虚拟角色图像对第一几何数据进行修正,得到虚拟几何数据,将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据,成功获取了修正后的目标人物的虚拟数据。通过根据虚拟几何数据与虚拟纹理数据,生成待渲染的三维虚拟角色,并将三维虚拟角色转换为第二二维虚拟角色图像,并将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果,若判别结果为真,则基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像,即本申请实施例的方法能够成功地将目标人物图像转化为三维虚拟角色图像,使图像更加的生动形象,用户体验较好。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种三维虚拟角色图像生成方法的流程示意图;

图2为本申请又一实施例提供的一种三维虚拟角色图像生成方法的流程示意图;

图3为本申请再一实施例提供的一种三维虚拟角色图像生成方法的流程示意图;

图4为本申请实施例提供的一种三维虚拟角色图像生成装置的结构示意图;

图5为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

图1为本申请实施例提供的一种三维虚拟角色图像生成方法的流程示意图。如图1所示,该方法包括:

步骤101、使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像。

在本申请的一个实施例中,目标人物图像可以为用户的照片,而预设的虚拟角色图像则可以为与用户照片中的脸部区域对应的二维风格化图像,即目标人物的第一二维虚拟角色图像。

具体实施时,举例来说,可以将目标人物图像输入到预先训练好的二维风格化图像神经网络中,输出目标人物的第一二维虚拟角色图像。

该二维风格化图像神经网络的训练过程如下:

获取样本数据,该样本数据包括:多个人物的真人图像,以及与各个真人图像分别对应的二维虚拟角色图像,其中,多个真人图像可以是基于CelebA-HQ数据集采集得到的;

利用该样本数据对预设神经网络进行训练,得到训练好的二维风格化图像神经网络。

步骤102、获取目标人物图像对应的第一几何数据和纹理数据。

在本申请的一个实施例中,第一几何数据可以为预测出的目标人物的三维几何形状,而纹理数据可以为预测出的目标人物的三维纹理贴图。

对于该第一几何数据和纹理数据的获取方法,举例来说:

基于目标人物图像,使用人脸3D形变统计模型(3D Morphable Model,简称3DMM)系数回归神经网络预测三维人脸模型的身份、表情、纹理、姿态和光照参数,随后使用预测出的身份、表情、纹理、姿态和光照参数进行三维人脸重建,进而预测出目标人物图像对应的第一几何数据和纹理数据。

下面提供一种上述获取目标人物图像对应的第一几何数据和纹理数据的具体示例:

采用3DMM系数回归神经网络从目标人物图像中预测出三维人脸模型巴塞尔人脸模型(Basel Face Model,简称BFM)的形状和姿态系数(ci,ce,ct,p,γ)∈R257,其中,ci∈R80,,ce∈R64,ct∈R80分别对应BFM的身份、表情和纹理贴图系数,p∈R6,γ∈R27则对应目标人物脸部姿态和光照系数,之后使用预测出的身份、表情、纹理、姿态和光照参数进行三维人脸重建,进而预测出目标人物图像对应的第一几何数据Sr和纹理数据Tr,具体如下:

其中,为人脸平均形状(大数据集中人脸的平均几何形状),为人脸平均纹理贴图(大数据集中人脸的平均纹理贴图),Bid,Bexp,Bt分别为身份,表情和纹理贴图的PCA基底(即对大数据集进行了统计操作,PCA基底就是统计出来的数据)。

步骤103、根据目标人物的二维虚拟角色图像对第一几何数据进行修正,得到虚拟几何数据。

在本申请的一个实施例中,如图2所示,根据目标人物的二维虚拟角色图像对第一几何数据进行修正,得到虚拟几何数据,包括:

步骤201、从目标人物的第一二维虚拟角色图像中提取第二几何数据。

在本实施例中,从目标人物的第一二维虚拟角色图像中提取的第二几何数据可以为目标人物的二维关键点数据,例如,其可以为目标人物的鼻子、眼镜、耳朵、嘴巴等关键位置的几何数据。

步骤202、从第一几何数据中提取与第二几何数据对应的第三几何数据,并对第三几何数据进行二维数据转换处理。

在本实施例中,从第一几何数据中提取的第三几何数据可以为与二维关键点数据对应的三维关键点数据,(这些三维关键点数据是预先设定好的,直观理解二维关键点数据的第一个点是眼珠,那么三维关键点数据的第一个点也是眼珠)。需要说明的是,二维关键点数据是虚拟角色的,三维关键点数据是目标人物的,本申请实施例的目的是对目标人物的几何形状进行变形,使其投影到二维平面的点位置与二维关键点一致。

步骤203、利用第二几何数据和二维数据处理后的第三几何数据,对第一几何数据进行修正,得到虚拟几何数据。

应理解,通过将三维关键点数据投影到二维平面上,可以获得二维数据处理后的第三几何数据(即第一二维关键点),将第二几何数据(即第二二维关键点)和二维数据处理后的第三几何数据进行对比,根据对比结果即可完成对第一几何数据的修正。

下面提供一具体示例对本申请实施例进行说明:

获取目标人物的第一二维虚拟角色图像;

将目标人物的第一二维虚拟角色图像输入到训练好的关键点预测神经网络中,输出第一二维虚拟角色图像的68个二维关键点ls∈R68

从虚拟几何数据SS中取出对应的68个三维关键点,并将其投影到二维空间中,得到68个变形后的二维关键点l′s∈R68

随后,计算关键点的损失函数,具体如下:

为了使修正后得到的虚拟几何数据更加平滑,可以使用拉普拉斯损失函数来限制几何形状的剧烈变形,具体如下:

其中,Lap(S,f)为具有几何形状S和面片集f的三维人脸的拉普拉斯矩阵。需要说明的是,S为三维人脸的点集,f为面片集合,面片集合中的面片一般是由三个点组成的封闭区域,该拉普拉斯矩阵就是根据几何形状S和面片集f创建得到的。

虚拟几何数据修正的损失函数为:

其中,α为损失函数平衡因子(根据经验自定义得到)。

最后,将虚拟几何数据修正的损失函数反向传播至虚拟几何数据SS,指导虚拟几何数据SS完成修正,即:

其中,η为学习率(预设固定值),是参数Ss的梯度。需要说明的是,梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。

步骤104、将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据。

在本实施例中,生成式对抗网络是通过训练得到的,该生成式对抗网络的训练方法可以由服务器执行,也可以由终端执行,在此不做限定。

步骤105、根据虚拟几何数据与虚拟纹理数据,生成待渲染的三维虚拟角色,并将三维虚拟角色转换为第二二维虚拟角色图像。

在本申请的一个实施例中,基于步骤1045,为了提高虚拟纹理数据的生成效果,该目标函数包括:像素损失函数、感知损失函数、风格损失函数和对抗损失函数;

目标函数根据以下方法获得:

将第一二维虚拟角色图像的像素数据与第二二维虚拟角色图像的像素数据进行比对,获取像素损失函数;

分别获取第一二维虚拟角色图像与第二二维虚拟角色图像的各层卷积特征,并将第一二维虚拟角色图像的各层卷积与第二二维虚拟角色图像的各层卷积特征进行比对,获取感知损失函数和风格损失函数。

具体实施时,作为一种实施例:

使用可微渲染器将虚拟几何数据SS与虚拟纹理数据TS的三维人脸渲染为二维图像I′r

使用训练后的人脸区域分割神经网络预测第一二维虚拟角色图像Ir的脸部区域通过分割出第一二维虚拟角色图像Ir的脸部区域可以排除非脸部区域(头发、背景等)的干扰,提高图像处理效果。

使用VGG19神经网络分别提取Ir和I′r的各层卷积特征;

其中,Ir和I′r的RGB值应是相近的,因此,引入像素损失函数来度量Ir和I′r的像素级差异,该像素级差异表示为Ir和I′r之间人脸区域像素值的L1距离,具体如下:

然而,只使用像素损失并不能很好的生成图像的高频信息(图像内容、空间结构等),即,像素损失并不能很好的衡量Ir和I′r的感知差异,因此,本申请实施例引入感知损失函数,促使I′r具有和Ir相似的高级语义特征,在训练时它可以更稳健的衡量图像的相似性,其表示为Ir和I′r各层卷积特征之间的L1距离,具体如下:

其中,φi为VGG19神经网络的第i层卷积特征。

进一步地,为了使Ir和I′r不会有太大的风格差异(颜色、纹理等),本申请实施例还引入风格损失函数用于度量Ir和I′r的在风格上的差异,其表示为Ir和I′r各层卷积特征的格拉姆矩阵的L1距离,具体如下:

此外,为了生成高质量的风格化纹理贴图Ts,将Ir和I′r输入到一个判别器网络D中,由此产生的对抗损失函数为:

其中,用于约束生成器,用于约束判别器。D(Ir)或D(I′r)可以为1(真)或0(假)。在本申请实施例中,作为另一种实现方式,该判别器可以只用于计算损失函数,而在具体应用时不予使用,即该判别器只用于训练生成器,在生成虚拟纹理数据后,可以直接基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像,无需判别器参与。

在本申请实施例中,生成对抗网络通过如下步骤训练得到:

步骤1041、获取目标人物图像对应的纹理数据。

在本申请的一个实施例中,目标人物图像对应的纹理数据可以是预先生成的,用于与虚拟纹理数据匹配。

步骤1042、将目标人物图像对应的纹理数据输入到生成对抗网络的生成器中,输出待判定虚拟纹理数据。

在本申请的一个实施例中,可以使用U-Net作为生成式对抗网络,将目标人物图像对应的纹理数据输入生成器中,输出待判定虚拟纹理数据。

步骤1043、根据待判定虚拟纹理数据与虚拟几何数据,生成待判定三维虚拟角色,并将待判定三维虚拟角色转换为待判定二维虚拟角色图像。

应理解,由于后续判定器进行判别时是与第一二维虚拟角色图像比对是否一致,因此,需要将待判定三维虚拟角色转换为待判定二维虚拟角色图像。

步骤1044、将待判定二维虚拟角色图像与第一二维虚拟角色图像输入判别器中,输出判别结果,其中,判别器包括预设数量的卷积,判别结果用于表示待判定二维虚拟角色图像是否与第一二维虚拟角色图像一致。

在本申请的一个实施例中,判别器接收两个输入,一个是待判定二维虚拟角色图像,另一个是第一二维虚拟角色图像,将该待判定二维虚拟角色图像和第一二维虚拟角色图像输入判别器中,即可得到判别结果。

步骤1045、基于判别结果和目标函数调整生成对抗网络的参数,得到虚拟纹理数据生成模型,其中,虚拟纹理数据生成模型用于生成与目标人物对应的虚拟纹理数据。

步骤106、将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果,

在实施例中,判别器的输入分别为第一二维虚拟角色图像与第二二维虚拟角色图像,将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,即可得到判别结果。若判别结果为真,则表示第一二维虚拟角色图像与第二二维虚拟角色图像一致,此时基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像,则可以保证三维虚拟角色图像更加形象生动。

而为了保证第二二维虚拟角色图像具有高质量的处理效果,将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果之后,如图3所示,该方法还包括:

步骤301、若判别结果为假,则通过生成器生成与虚拟纹理数据不同的衍生虚拟纹理数据;

步骤302、根据衍生虚拟纹理数据与虚拟几何数据,生成衍生三维虚拟角色图像,并将衍生三维虚拟角色图像转换为衍生二维虚拟角色图像;

步骤303、将衍生二维虚拟角色图像与第一二维虚拟角色图像在判别器中进行对比,直至判别结果为真。

进一步地,为了保证第一二维虚拟角色图像与第二二维虚拟角色图像在进行图像处理时的一致性,提高处理精度,将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器之前,该方法还包括:

对第一二维虚拟角色图像与第二二维虚拟角色图像进行标准化处理。

具体地,标准化处理的公式如下:

Xa=(X-μ)/b

其中,X表示第一二维虚拟角色图像,μ表示第一二维虚拟角色图像与第二二维虚拟角色图像的均值,b表示第一二维虚拟角色图像与第二二维虚拟角色图像的方差。

由上可知,本申请实施例提供的三维虚拟角色图像生成方法,通过使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像,可以获取目标人物的二维虚拟角色图像。通过获取目标人物图像对应的第一几何数据和纹理数据,并根据目标人物的二维虚拟角色图像对第一几何数据进行修正,得到虚拟几何数据,将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据,成功获取了修正后的目标人物的虚拟数据。通过根据虚拟几何数据与虚拟纹理数据,生成待渲染的三维虚拟角色,并将三维虚拟角色转换为第二二维虚拟角色图像,并将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果,若判别结果为真,则基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像,即本申请实施例的方法能够成功地将目标人物图像转化为三维虚拟角色图像,使图像更加的生动形象,用户体验较好。

基于同一发明构思,本发明实施例中还提供了一种三维虚拟角色图像生成装置,如下面的实施例。由于三维虚拟角色图像生成装置解决问题的原理与三维虚拟角色图像生成方法相似,因此,三维虚拟角色图像生成装置的实施可以参见三维虚拟角色图像生成方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

图4为本申请实施例提供的一种三维虚拟角色图像生成装置的结构示意图,如图4所示,该装置包括:

二维图像生成模块401,用于使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;

数据获取模块402,用于获取目标人物图像对应的第一几何数据和纹理数据;

修正模块403,用于根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据;

数据生成模块404,用于将目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;

图像转换模块405,用于根据虚拟几何数据与虚拟纹理数据,生成待渲染的三维虚拟角色,并将三维虚拟角色转换为第二二维虚拟角色图像;

三维图像生成模块406,用于将第一二维虚拟角色图像与第二二维虚拟角色图像输入生成式对抗网络的判别器,得到判别器输出的判别结果,若判别结果为真,则基于虚拟几何数据和虚拟纹理数据,生成目标人物对应的三维虚拟角色图像。

在一种可选的实施例中,修正模块403进一步用于:

从所述目标人物的第一二维虚拟角色图像中提取第二几何数据;

从所述第一几何数据中提取与所述第二几何数据对应的第三几何数据,并对所述第三几何数据进行二维数据转换处理;

利用所述第二几何数据和二维数据处理后的第三几何数据,对所述第一几何数据进行修正,得到虚拟几何数据。

在一种可选的实施例中,装置还包括:

数据生成模块,若判别结果为假,则通过生成器生成与虚拟纹理数据不同的衍生虚拟纹理数据;

图像转换模块,用于根据衍生虚拟纹理数据与虚拟几何数据,生成衍生三维虚拟角色图像,并将衍生三维虚拟角色图像转换为衍生二维虚拟角色图像;

对比模块,用于将衍生二维虚拟角色图像与第一二维虚拟角色图像在判别器中进行对比,直至判别结果为真。

在一种可选的实施例中,装置还包括:

图像处理模块,用于对第一二维虚拟角色图像与第二二维虚拟角色图像进行标准化处理。

在一种可选的实施例中,生成对抗网络通过如下方式训练得到:

获取目标人物图像对应的纹理数据和虚拟纹理数据;

将目标人物图像对应的纹理数据和虚拟纹理数据输入生成器中进行融合,输出待判定虚拟纹理数据;

根据待判定虚拟纹理数据与虚拟几何数据,生成待判定三维虚拟角色,并将待判定三维虚拟角色转换为待判定二维虚拟角色图像;

将待判定二维虚拟角色图像与第一二维虚拟角色图像输入判别器中,输出判别结果,其中,判别器包括预设数量的卷积,判别结果用于表示待判定二维虚拟角色图像是否与第一二维虚拟角色图像一致;

基于判别结果和目标函数调整生成对抗网络的参数,得到虚拟纹理数据生成模型,其中,虚拟纹理数据生成模型用于生成与目标人物对应的虚拟纹理数据。

在一种可选的实施例中,目标函数包括:像素损失函数、感知损失函数和风格损失函数;

目标函数根据以下方法获得:

将第一二维虚拟角色图像的像素数据与第二二维虚拟角色图像的像素数据进行比对,获取像素损失函数;

分别获取第一二维虚拟角色图像与第二二维虚拟角色图像的各层卷积特征,并将第一二维虚拟角色图像的各层卷积与第二二维虚拟角色图像的各层卷积特征进行比对,获取感知损失函数和风格损失函数。

图5为本发明实施例提供的一种的计算机设备的结构示意图,图5所示的计算机设备500包括:至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。计算机设备500中的各个组件通过总线系统505耦合在一起。可理解,总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统505。

其中,用户接口503可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。

可以理解,本发明实施例中的存储器502可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中,存储器502存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统5021和应用程序5022。

其中,操作系统5021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序5022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。

在本发明实施例中,通过调用存储器502存储的程序或指令,具体的,可以是应用程序5022中存储的程序或指令,处理器501用于执行各方法实施例所提供的方法步骤,例如包括:

使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;

获取所述目标人物图像对应的第一几何数据和纹理数据;

根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据;

将所述目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;

根据所述虚拟几何数据与所述虚拟纹理数据,生成待渲染的三维虚拟角色,并将所述三维虚拟角色转换为第二二维虚拟角色图像;

将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器,得到所述判别器输出的判别结果,若所述判别结果为真,则基于所述虚拟几何数据和所述虚拟纹理数据,生成所述目标人物对应的三维虚拟角色图像。

在一种可选的实施例中,所述根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据,包括:

从所述目标人物的第一二维虚拟角色图像中提取第二几何数据;

从所述第一几何数据中提取与所述第二几何数据对应的第三几何数据,并对所述第三几何数据进行二维数据转换处理;

利用所述第二几何数据和二维数据处理后的第三几何数据,对所述第一几何数据进行修正,得到虚拟几何数据。

在一种可选的实施例中,所述将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器,得到所述判别器输出的判别结果之后,所述方法还包括:

若所述判别结果为假,则通过所述生成器生成与所述虚拟纹理数据不同的衍生虚拟纹理数据;

根据所述衍生虚拟纹理数据与所述虚拟几何数据,生成衍生三维虚拟角色图像,并将所述衍生三维虚拟角色图像转换为衍生二维虚拟角色图像;

将所述衍生二维虚拟角色图像与所述第一二维虚拟角色图像在所述判别器中进行对比,直至所述判别结果为真。

在一种可选的实施例中,所述将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器之前,所述方法还包括:

对所述第一二维虚拟角色图像与所述第二二维虚拟角色图像进行标准化处理。

在一种可选的实施例中,所述生成对抗网络通过如下方式训练得到:

获取所述目标人物图像对应的纹理数据和所述虚拟纹理数据;

将所述目标人物图像对应的纹理数据和所述虚拟纹理数据输入所述生成器中进行融合,输出待判定虚拟纹理数据;

根据所述待判定虚拟纹理数据与所述虚拟几何数据,生成待判定三维虚拟角色,并将所述待判定三维虚拟角色转换为待判定二维虚拟角色图像;

将所述待判定二维虚拟角色图像与所述第一二维虚拟角色图像输入所述判别器中,输出判别结果,其中,所述判别器包括预设数量的卷积,所述判别结果用于表示所述待判定二维虚拟角色图像是否与所述第一二维虚拟角色图像一致;

基于所述判别结果和目标函数调整所述生成对抗网络的参数,得到虚拟纹理数据生成模型,其中,所述虚拟纹理数据生成模型用于生成与所述目标人物对应的虚拟纹理数据。

在一种可选的实施例中,所述目标函数包括:像素损失函数、感知损失函数和风格损失函数;

所述目标函数根据以下方法获得:

将所述第一二维虚拟角色图像的像素数据与所述第二二维虚拟角色图像的像素数据进行比对,获取所述像素损失函数;

分别获取所述第一二维虚拟角色图像与所述第二二维虚拟角色图像的各层卷积特征,并将所述第一二维虚拟角色图像的各层卷积与所述第二二维虚拟角色图像的各层卷积特征进行比对,获取所述感知损失函数和所述风格损失函数。

向用户发送多个所述目标对象摆放成功的提示信息。上述本发明实施例揭示的方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成上述方法的步骤。

可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本实施例提供的计算机设备可以是如图5中所示的计算机设备,可执行如图1-3三维虚拟角色图像生成方法的所有步骤,进而实现图1-3所示三维虚拟角色图像生成方法的技术效果,具体请参照图1-3相关描述,为简洁描述,在此不作赘述。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中,存储介质可以包括易失性存储器,例如随机存取存储器;存储器也可以包括非易失性存储器,例如只读存储器、快闪存储器、硬盘或固态硬盘;存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行,以实现上述三维虚拟角色图像生成方法。

所述处理器用于执行存储器中存储的三维虚拟角色图像生成程序,以实现以下步骤:

一种三维虚拟角色图像生成方法,包括:

使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;

获取所述目标人物图像对应的第一几何数据和纹理数据;

根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据;

将所述目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;

根据所述虚拟几何数据与所述虚拟纹理数据,生成待渲染的三维虚拟角色,并将所述三维虚拟角色转换为第二二维虚拟角色图像;

将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器,得到所述判别器输出的判别结果,若所述判别结果为真,则基于所述虚拟几何数据和所述虚拟纹理数据,生成所述目标人物对应的三维虚拟角色图像。

在一种可选的实施例中,所述根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据,包括:

从所述目标人物的第一二维虚拟角色图像中提取第二几何数据;

从所述第一几何数据中提取与所述第二几何数据对应的第三几何数据,并对所述第三几何数据进行二维数据转换处理;

利用所述第二几何数据和二维数据处理后的第三几何数据,对所述第一几何数据进行修正,得到虚拟几何数据。

在一种可选的实施例中,所述将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器,得到所述判别器输出的判别结果之后,所述方法还包括:

若所述判别结果为假,则通过所述生成器生成与所述虚拟纹理数据不同的衍生虚拟纹理数据;

根据所述衍生虚拟纹理数据与所述虚拟几何数据,生成衍生三维虚拟角色图像,并将所述衍生三维虚拟角色图像转换为衍生二维虚拟角色图像;

将所述衍生二维虚拟角色图像与所述第一二维虚拟角色图像在所述判别器中进行对比,直至所述判别结果为真。

在一种可选的实施例中,所述将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器之前,所述方法还包括:

对所述第一二维虚拟角色图像与所述第二二维虚拟角色图像进行标准化处理。

在一种可选的实施例中,所述生成对抗网络通过如下方式训练得到:

获取所述目标人物图像对应的纹理数据和所述虚拟纹理数据;

将所述目标人物图像对应的纹理数据和所述虚拟纹理数据输入所述生成器中进行融合,输出待判定虚拟纹理数据;

根据所述待判定虚拟纹理数据与所述虚拟几何数据,生成待判定三维虚拟角色,并将所述待判定三维虚拟角色转换为待判定二维虚拟角色图像;

将所述待判定二维虚拟角色图像与所述第一二维虚拟角色图像输入所述判别器中,输出判别结果,其中,所述判别器包括预设数量的卷积,所述判别结果用于表示所述待判定二维虚拟角色图像是否与所述第一二维虚拟角色图像一致;

基于所述判别结果和目标函数调整所述生成对抗网络的参数,得到虚拟纹理数据生成模型,其中,所述虚拟纹理数据生成模型用于生成与所述目标人物对应的虚拟纹理数据。

在一种可选的实施例中,所述目标函数包括:像素损失函数、感知损失函数和风格损失函数;

所述目标函数根据以下方法获得:

将所述第一二维虚拟角色图像的像素数据与所述第二二维虚拟角色图像的像素数据进行比对,获取所述像素损失函数;

分别获取所述第一二维虚拟角色图像与所述第二二维虚拟角色图像的各层卷积特征,并将所述第一二维虚拟角色图像的各层卷积与所述第二二维虚拟角色图像的各层卷积特征进行比对,获取所述感知损失函数和所述风格损失函数。

专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

21页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种三维场景的重建系统、方法、设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!