基于弱监督学习的三维人脸重建模型建立方法及其应用
阅读说明：本技术 基于弱监督学习的三维人脸重建模型建立方法及其应用 (Three-dimensional face reconstruction model establishing method based on weak supervised learning and application thereof ) 是由 侯文广 梅少杰 余勤 王毅凡 董静娴 于 2021-09-27 设计创作，主要内容包括：本发明公开了一种基于弱监督学习的三维人脸重建模型建立方法,属于三维人脸重建技术领域,包括：建立用于三维人脸重建的弱监督学习模型,包括：三维人脸重建网络,用于从输入图像提取三维人脸参数；人脸特征提取模型,用于从输入图像提取人脸特征向量；GCN优化解码器,用于根据人脸特征向量对粗纹理参数进行优化,得到精纹理参数；以及三维人脸生成器,用于根据形状参数和精纹理参数生成三维人脸模型；获取人脸图像数据集,对模型进行训练；训练过程中,将模型输出的三维人脸模型渲染为二维人脸图像并计算损失值,对模型进行模型参数优化,以最小化二维人脸图像与输入图像之间的误差。本发明能够提高三维人脸模型的纹理清晰度,可应用于中医面诊。(The invention discloses a method for establishing a three-dimensional face reconstruction model based on weak supervised learning, which belongs to the technical field of three-dimensional face reconstruction and comprises the following steps: establishing a weak supervision learning model for three-dimensional face reconstruction, comprising the following steps: the three-dimensional face reconstruction network is used for extracting three-dimensional face parameters from an input image; the human face feature extraction model is used for extracting a human face feature vector from an input image; the GCN optimization decoder is used for optimizing the coarse texture parameters according to the face feature vectors to obtain fine texture parameters; the three-dimensional face generator is used for generating a three-dimensional face model according to the shape parameters and the fine texture parameters; acquiring a face image data set, and training a model; in the training process, a three-dimensional face model output by the model is rendered into a two-dimensional face image, a loss value is calculated, and model parameters of the model are optimized so as to minimize errors between the two-dimensional face image and an input image. The method can improve the texture definition of the three-dimensional face model, and can be applied to the traditional Chinese medicine facial diagnosis.)
技术领域
本发明属于三维人脸重建技术领域，更具体地，涉及一种基于弱监督学习的三维人脸重建模型建立方法及其应用。
背景技术
中医诊断是我国中医学专家根据几千年来的临床经验总结出的一套系统的医学理论。“望闻问切”四种方法是中医认识、研究病症的主要途径。作为面诊的重要内容，面诊一直是传统中医诊断学领域研究的重点。面既为脏腑气血之荣、又为经脉汇聚之所。人脸面部的形态、光泽、纹理等特征可以很好地反映人体气血的运行状况，对人体内部器官的健康状况进行表征。但这种传统的面诊方法，一方面严重依赖于中医专家长时间积累的专业知识和临床经验，缺乏客观和量化的评价指标；另一方面受限于医生面诊时的光照、噪声等外部环境，不利于复诊参考和经验分享，严重阻碍了中医诊断学的普及和推广。
随着计算机与人工智能技术广泛应用于医学图像处理、医疗信息系统等诸多领域并发挥重要作用，利用计算机技术对人脸面像进行处理和分析，实现中医面诊过程的自动化、客观化和标准化，是中医面诊的重要研究方向和现代化发展趋势。相较于二维人脸图像，三维人脸图像携带更丰富的个性化特征，具有重要的研究意义和应用前景。
中医面像研究中，实现三维人脸图像重建可以实现更个性化的特征提取及更精确的人脸区域定位，以分析面部特征与对应内部器官的关系。但是，现有的三维人脸重建方法，侧重于重建出人脸的三维形状，但重建出的三维人脸模型的往往存在纹理不清晰的问题，并不适用于中医面诊。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于弱监督学习的三维人脸重建模型建立方法及其应用，其目的在于，有效解决现有的三维人脸重建方法重建出的三维人脸模型纹理不清晰，不适用于中医面诊等依赖于清晰的人脸纹理信息的应用的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于弱监督学习的三维人脸重建模型建立方法，包括：
建立用于三维人脸重建的弱监督学习模型，弱监督学习模型包括：三维人脸重建网络，用于从输入图像提取三维人脸参数，输入图像含有人脸图像，三维人脸参数包括形状参数和粗纹理参数；人脸特征提取模型，用于从输入图像提取人脸特征向量；GCN优化解码器，用于根据人脸特征向量对粗纹理参数进行优化，得到精纹理参数；以及三维人脸生成器，用于根据形状参数和精纹理参数生成三维人脸模型；
获取人脸图像数据集，对弱监督学习模型进行训练；训练过程中，将弱监督学习模型输出的三维人脸模型渲染为二维人脸图像，并基于渲染得到的二维人脸图像与输入图像之间的误差计算损失值，根据所计算的损失值对模型进行模型参数优化，以最小化二维人脸图像与输入图像之间的误差；训练结束后，得到三维人脸重建模型。
进一步地，训练过程中，所使用的损失函数L为：
L＝ε1[Lp+ε2Li]+ε3Lv
其中，Lp、Li和Lv分别表示渲染得到的二维人脸图像相对于输入图像的颜色损失、感知损失和顶点损失，ε1、ε2和ε3为用于控制几种损失的权重常数。
进一步地，三维人脸重建网络为预训练好的3DMM回归器，且粗纹理参数包括纹理参数、表情参数、光照参数和姿态参数。
进一步地，人脸特征提取模型包括人脸区域分割模块和特征提取模块；
人脸区域分割模块用于从输入图像中分割出人脸区域；
特征提取模块用于从人脸区域提取人脸特征向量。
进一步地，特征提取模块为预训练好的FaceNet模型去掉Flatten层之后的结构后得到的模型。
进一步地，训练过程中，利用可微渲染器将弱监督学习模型输出的三维人脸模型渲染为二维人脸图像。
进一步地，可微渲染器为SoftRas。
按照本发明的另一个发面，提供了一种三维人脸重建方法，包括：
将含人脸的图像输入由本发明提供的上述基于弱监督学习的三维人脸重建模型建立方法所建立的三维人脸重建模型，以重建对应的三维人脸模型。
进一步地，本发明提供的三维人脸重建方法，用于中医面诊。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的上述基于弱监督学习的三维人脸重建模型建立方法，和/或本发明提供的上述三维人脸重建方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明在从人脸图像中提取出三维人脸参数后，进一步从人脸图像提取人脸特征向量，并基于所提取的人脸特征向量对三维人脸参数中的粗纹理参数进行优化，得到更为精细的精纹理参数，最终基于三维人脸参数中的形状参数和优化后得到的精纹理参数生成三维人脸模型，由于生成三维人脸模型时，纹理参数得到了优化，更为精细，因此，本发明所重建得到的三维人脸模型纹理清晰度得到了有效的提升。
(2)本发明对用于三维人脸重建的模型进行训练的过程中，通过将模型输出的三维人脸模型渲染为二维人脸图像，并基于二维人脸图像与输入图像之间的误差计算损失值，直接以输入图像作为损失计算的依据，一方面能够保证模型的重建精度较高，另一方面，实现了一种弱监督的训练方式，无需预先标注标签，降低了对训练样本的要求。
(3)本发明进行模型训练时，所计算的损失函数同时包括二维人脸图像相对于输入图像的颜色损失、感知损失和顶点损失，这三类损失分别反映了渲染图像与输入图像之间像素点的颜色差异、渲染图像与输入图像之间的深层特征差异以及重建得到的三维人脸模型中的顶点误差，因此，本发明基于该损失函数进行模型训练，能够有效利用二维人脸图像的像素信息，实现像素级的弱监督，训练得到的模型重建精度较高。
(4)本发明先从输入图像中分割出人脸区域，再从人脸区域提取人脸特征向量，通过图像分割，能够减少冗余信息的干扰，提高人脸特征向量的表达能力。
(5)本发明利用3DMM回归器作为三维人脸重建网络，用于从输入图像提取三维人脸参数，其所提取的三维人脸参数具体包括形状参数、纹理参数、表情参数、光照参数和姿态参数，本发明将形状参数之外的其他参数，即纹理参数、表情参数、光照参数和姿态参数统一作为粗纹理参数利用GCN解码优化器进行优化，所得到的精纹理参数能够体现光照等外部因素对纹理信息的影响，从而进一步提高重建得到的三维人脸模型中纹理信息的精度和清晰度。
(6)本发明可应用于中医面诊等对于纹理清晰度有较高要求的领域。
附图说明
图1为本发明实施例提供的基于弱监督学习的三维人脸重建模型建立方法示意图；
图2为现有的GCN解码优化器网络结构示意图；
图3为现有的可微渲染器的结构示意图；
图4为本发明实施例提供的三维人脸重建效果示意图；其中，(a)为输入的人脸图像，(b)～(d)模型重建得到的三维人脸模型在不同角度下的视图，(e)模型重建得到的三维人脸模型经渲染得到的二维人脸图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决现有的三维人脸重建方法重建出的三维人脸模型纹理不清晰，不适用于中医面诊等依赖于清晰的人脸纹理信息的应用的技术问题，本发明提供了一种基于弱监督学习的三维人脸重建模型建立方法及其应用，其整体思路在于，对三维人脸参数中的纹理信息进行优化，并利用优化后的三维人脸参数生成三维人脸模型，以提高三维人脸模型中纹理信息的清晰度。
以下为实施例。
实施例1：
一种基于弱监督学习的三维人脸重建模型建立方法，包括：模型建立步骤和模型训练步骤。
本实施例中，模型建立步骤具体包括：
建立用于三维人脸重建的弱监督学习模型，弱监督学习模型如图1所示，包括：三维人脸重建网络、人脸特征提取模型、GCN优化解码器以及三维人脸生成器，其中：
三维人脸重建网络，用于从输入图像提取三维人脸参数，输入图像含有人脸图像，三维人脸参数包括形状参数和粗纹理参数；作为一种可选的实施方式，如图1所示，本实施例中，三维人脸重建模型为预训练好的3DMM回归器，其所提取的三维人脸参数包括形状参数、纹理参数、表情参数、光照参数和姿态参数，可选地，本实施例中，将该三维人脸参数表示为：
表示形状参数，表示表情参数，表示纹理参数，表示光照参数，表示姿态参数；3DMM基于PCA(Principal Component Analysis)方法以形状向量和纹理向量进行线性组合；待重建三维人脸的形状S和纹理T的计算公式为：
式中，和分别是BFM(Basel Face Model)数据库中平均人脸形状和纹理，Bi、Be及Bt分别为经过标准差缩放后的三维人脸的形状、表情及纹理的PCA基向量；传统的三维人脸重建方法，往往在提取到上述三维人脸参数之后，直接基于这些参数生成对应的三维人脸模型，由此重建得到的三维人脸模型，其纹理往往不清晰；本实施例将形状参数之外的其他参数，即纹理参数、表情参数、光照参数和姿态参数统一作为粗纹理参数，并利用模型中的其余结构对该粗纹理参数进行进一步地优化；应当说明的是，3DMM回归器仅为本发明一种可选的实施方式，不应理解为对本发明的唯一限定，其他可从人脸图像中提取出三维人脸参数的方式，也可用于本发明；
人脸特征提取模型，用于从输入图像提取人脸特征向量；如图1所示，本实施例中，人脸特征提取模型具体包括预训练好的人脸区域分割模块和特征提取模块，人脸区域分割模块用于从输入图像中分割出人脸区域，以减少冗余信息的干扰；本实施例中，人脸区域分割模块可由任意一种图像分割模型实现；
特征提取模块用于从人脸区域提取人脸特征向量，可选地，本实施例中，具体通过将预训练好的FaceNet模型中Flatten层之后的网络结构去掉，由剩余结构作为特征提取模块；实施例中，FaceNet预训练模型为官方使用CASIA-WebFace数据集训练的模型；应当说明的是，此处所构造的特征提取模块仅为一种可选的实施方式，不应理解为对本发明的唯一限定，其他任意一种可从人脸区域中提取出人脸特征向量的模型，均可用于本发明；
GCN优化解码器，用于根据人脸特征向量对粗纹理参数进行优化，得到精纹理参数；GCN优化解码器的结构如图2所示，其包括GCN解码器和GCN优化，GCN解码器使用4个频谱残差块，每个残差块包含两个切比雪夫卷积层并使用ReLU激活；GCN优化器使用类似GCN频谱残差块，且顶部和底部分别加上一个上采样层和下采样层；人脸特征向量作为GCN解码器的输入，粗纹理参数作为GCN优化器的输入，将GCN解码器和GCN优化器的输出串联在一起输入到切比雪夫卷积层，即可实现对粗纹理参数的优化，输出精纹理参数；
三维人脸生成器，用于根据形状参数和精纹理参数生成三维人脸模型；由于纹理参数得到了优化，因此，三维人脸生成器所生成的三维人脸模型也是一种优化后的三维人脸模型，其中的纹理更为清晰；作为一种可选的实施方式，本实施例直接使用预训练好的3DMM回归器作为三维人脸生成器，将形状参数和精纹理参数所构成的优化后的三维人脸参数输入其中，即可生成相应的三维人脸模型；
本实施例中，模型训练步骤具体包括：
获取人脸图像数据集，对弱监督学习模型进行训练；容易理解的是，此处所获取的人脸图像数据集中，人脸图像的大小应满足模型的输入要求，可选地，本实施例中，人脸图像数据集中的人脸图像的大小具体为600×900，由于实际通过相机采集的图像尺寸一般较大，例如是4000×6000，此时需将图像进行重采样至指定大小；在本发明其他一些实施例中，模型输入图像的大小也可根据需要设定为其他尺寸；
为了定量计算模型的重建损失，以衡量模型的训练效果，如图1所示，本实施例在训练过程中，将弱监督学习模型输出的三维人脸模型渲染为二维人脸图像，并基于渲染得到的二维人脸图像与输入图像之间的误差计算损失值，根据所计算的损失值对模型进行模型参数优化，以最小化二维人脸图像与输入图像之间的误差；训练结束后，得到三维人脸重建模型；
可选地，本实施例中，具体通过SoftRas将弱监督学习模型输出的三维人脸模型渲染为二维人脸图像，SoftRas是一种可微渲染器，其结构如图3所示，其对三维人脸模型进行可微渲染的过程如下：
特征提取部分的输入是优化三维人脸模型的形状参数S和纹理参数T，同时，相机参数P和光照参数L作为外部环境变量参与渲染过程的调控；形状参数S通过坐标变换生成人脸网格的法向量N、深度Z及对应的屏幕坐标U；在特定的光照环境L中，通过网格法向量N和模型纹理参数T可以计算模型的顶点颜色C；SoftRas渲染过程的输入是网格深度Z、屏幕坐标U和顶点颜色C，该过程首先对屏幕坐标U进行概率映射，计算每个点的像素概率D，然后使用聚合函数融合像素概率D、网格深度Z和顶点颜色C的特征生成渲染图像I；
应当说明的是，SoftRas仅为本发明一种可选的实施方式，不应理解为对本发明的唯一限定，在本发明其他的一些实施例中，也可使用其他方式显示渲染。
为了进一步保证模型的重建效果，本实施例设计了一种混合损失函数，以L表示该损失函数，其表达式为：
L＝ε1[Lp+ε2Li]+ε3Lv
其中，Lp、Li和Lv分别表示渲染得到的二维人脸图像相对于输入图像的颜色损失、感知损失和顶点损失，这三类损失分别反映了渲染图像与输入图像之间像素点的颜色差异、渲染图像与输入图像之间的深层特征差异以及重建得到的三维人脸模型中的顶点误差，本实施例基于该损失函数进行模型训练，能够有效利用二维人脸图像的像素信息，实现像素级的弱监督，训练得到的模型重建精度较高；ε1、ε2和ε3为用于控制几种损失的权重常数，可选地，本实施例中，ε2设置为0.2，ε1及ε3分别由0和1逐渐调整为1和0；
具体地，混合损失函数L中，三类损失的计算方式分别如下：
为了比较渲染图像与输入图像之间的差异，网络结构中预先将人脸区域从输入图像中分割出来，减少冗余信息的干扰，然后采用如下损失函数计算渲染图像与人脸分割图像之间的像素损失：
其中，M代表投影图像中的人脸区域，i代表像素位置，Ai表示i像素位置的置信度，由Mask提供，Ii和I′i分别表示输入图像与投影图像像素点的颜色；
采用预先训练好FaceNet网络提取人脸图像的感知层信息，并通过以下感知损失函数对人脸模型的语义级特征进行拟合：
其中，f(I)和f′(I)分别代表输入二维人脸图像与渲染图像的深层特征，＜，＞表示内积；
由三维重建人脸模型的渲染图像与输入二维人脸图像的顶点颜色之间的差异计算顶点损失。该损失函数公式如下：
其中，|x|表示预测关键点与关键点标签的误差，ω和ε是对数函数的参数，ω表示非线性的范围，ε表示曲率，C是由ω和ε控制的常数，用于平滑损失函数的线性及非线性部分；可选地，本实施例中，ω和ε经验性的设置为10和2。
实施例2：
一种三维人脸重建方法，包括：
将含人脸的图像输入由本发明实施例1提供的上述基于弱监督学习的三维人脸重建模型建立方法所建立的三维人脸重建模型，以重建对应的三维人脸模型。
本实施例可应用于中医面诊等对于纹理信息有较高要求的应用。
实施例3：
一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明实施例1提供的上述基于弱监督学习的三维人脸重建模型建立方法，和/或本发明实施例2提供的上述三维人脸重建方法。
以下结合一些具体的重建结果对本发明的三维人脸重建效果做进一步的说明。
分别以图4中的(a)所示的多张人脸图像作为三维人脸重建模型的输入，由模型输出对应的三维人脸模型，三维人脸模型在不同角度下的视图分别如图4中的(b)、(c)和(d)所示；根据图4中的(b)～(d)所示的结果可以看出，本发明方法重建后的三维人脸模型在各个角度均具有较好的重建效果，人脸三维结构特征明显，人脸纹理较为清晰，能够有效地反映真实的皮肤颜色及纹理，可以应用于中医面诊。
进一步对各三维人脸模型进行渲染，得到对应的二维人脸图像，如图4中的(e)所示，对比图4中的(e)和图4中的(a)可以看出，重建后的渲染图像与输入图像具有较高的相关性，人脸面部的相应特征均得到了较好的重建，细节信息恢复效果明显，进一步说明了本发明所提供的方法的有效性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。