具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的目标对象三维重建方法，可以应用于如图1所示的应用环境中。其中，图像采集设备102可以对目标对象104进行图像采集，计算机设备106可以获取图像采集设备102所采集的二维图像，并根据二维图像，采用本申请各实施例中的目标对象三维重建方法，对目标对象进行三维重建，得到目标对象的目标参数化模型。计算机设备106可以通过与图像采集设备102进行网络通信，从图像采集设备102获取二维图像。也可以人工将图像采集设备102所采集的二维图像存储至计算机设备106中。

其中，图像采集设备102可以是可以但不限于是各种相机、摄像头、摄像机和录像机等。目标对象104可以但不限于是人体、动物和机器人等。计算机设备106可以是终端或服务器，也可以由终端和服务器共同实现。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、车载计算机和便携式可穿戴设备，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，在其他实施例中，计算机设备106也可以直接从数据库或者存储设备等中获取已经存在的目标对象104的二维图像，而不使用图像采集设备102来采集目标对象104的二维图像。

可以理解，本申请各实施例中的目标对象三维重建方法，采用人工智能技术中的计算机视觉技术以及机器学习技术等，能够有效实现目标对象的三维重建。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在一个实施例中，如图2所示，提供了一种目标对象三维重建方法，本申请实施例以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

步骤202，获取包括目标对象的二维图像。

其中，目标对象，是三维重建所针对的对象。包括目标对象的二维图像，是指二维图像中所包含的目标对象的图像内容。

在一个实施例中，目标对象，可以是人体、动物和机器人等中的任意一种。

在一个实施例中，图像采集设备可以对目标对象进行图像采集，得到目标对象的二维图像，然后计算机设备可以获取图像采集设备所采集的二维图像。

在一个实施例中，计算机设备可以通过网络从图像采集设备获取目标对象的二维图像。在另一个实施例中，可以人工通过存储卡、移动硬盘和U盘等方式中的任意一种，将图像采集设备所采集的二维图像存储至计算机设备中。

在一个实施例中，计算机设备也可以直接获取已经存在的目标对象的二维图像。比如，计算机设备可以从数据库或本地中获取已有的目标对象的二维图像。

在一个实施例中，若目标对象为人体，则目标对象可以摆成适合三维重建的标准姿势，由图像采集设备对保持标准姿势的人体进行图像采集，得到目标对象的二维图像。比如：标准姿势可以是图3中人物所摆的形如字母“A”的姿势。可以理解，标准姿势可以根据三维重建需求进行任意设定，对此并不限定。

在一个实施例中，计算机设备可以先获取包括目标对象的多帧二维图像，然后从多帧二维图像中选取其中一帧二维图像，并根据所选取的单帧二维图像执行步骤204及后续步骤。

在一个实施例中，所选取的单帧二维图像是适合进行三维重建的二维图像，比如：可以是目标对象的正面的二维图像。

在一个实施例中，多帧二维图像，可以包括在目标对象的各个不同方向下的拍摄的二维图像。在一个实施例中，多帧二维图像，可以包括在绕目标对象一圈的各个不同方向下拍摄的二维图像。

在一个实施例中，图像采集设备可以绕目标对象一圈，并在此过程中采集目标对象的多帧二维图像。在另一个实施例中，目标对象可以自转一圈，在此过程中由固定位置的图像采集设备采集目标对象的多帧二维图像。

在一个实施例中，多帧二维图像可以是从连续拍摄的视频中提取出的二维图像。在另一个实施例中，多帧二维图像也可以是多次拍照分别得到的二维图像。

在一个实施例中，计算机设备可以先从包括目标对象的二维图像中裁剪出目标对象所处区域的二维图像，然后根据所裁剪出的目标对象所处区域的二维图像，执行步骤204及后续步骤。其中，目标对象所处区域的二维图像，是指目标对象所对应的图像内容占据主要区域的二维图像。本实施例中，裁剪出目标对象所处区域的二维图像，能够避免原始的包括目标对象的二维图像中存在多个对象、或者目标对象不处于二维图像正中央等问题，能够提高后续进行三维重建的准确性。

在一个实施例中，计算机设备可以先从包括目标对象的原始的二维图像中检测出目标对象的关键点或目标对象所处的目标框，然后根据关键点或目标框，从原始的二维图像中裁剪出目标对象所处区域的二维图像。如图3所示，302为原始的二维图像，里面的这个人即为目标对象，对302进行目标检测和裁剪，即能裁剪出目标对象所处区域的二维图像304。

在一个实施例中，计算机设备可以采用人体关键点检测网络(Keypoint R-CNN)，从包括目标对象的二维图像中检测出目标对象的关键点或目标对象所处的目标框。

步骤204，根据二维图像，创建目标对象的三维的参数化模型。

其中，三维的参数化模型，是指从目标对象的二维图像中提取模型参数、并根据模型参数建模得到的目标对象的三维模型。三维的参数化模型的表面是由顶点和面片组成的网格(即mesh)构成的。

在一个实施例中，三维的参数化模型可以是人体的参数化模型，也可以是动物的参数化模型。在一个实施例中，人体的参数化模型可以是SMPL模型(Skinned multi-personlinear model，多人线性蒙皮模型)、SMPLH模型(Skinned multi-person linear modelwith hand，带手势的多人线性蒙皮模型)和SMPLX模型(Skinned multi-person linearmodel with expression，带手势和面部表情的多人线性蒙皮模型)等中的任意一种。可以理解，参数化模型有很多种，这里对所采用的参数化模型不进行限定，只要是将形状和姿态分开建模的参数化模型均可使用。

在一个实施例中，计算机设备可以从二维图像中提取模型参数，然后将模型参数输入到初始参数化模型中，创建目标对象的参数化模型。具体地，计算机设备可以从二维图像中提取目标对象的形状参数和姿态参数，然后将形状参数和姿态参数输入到初始参数化模型中，创建目标对象的参数化模型。

其中，初始参数化模型，是指未输入目标对象的形状参数和姿态参数的参数化模型。可以理解，初始参数化模型不具有目标对象的具体形状和具体姿态，在初始参数化模型中输入目标对象的形状参数和姿态参数之后，即可创建出目标对象对应的参数化模型。

在一个实施例中，若目标对象为人体，则计算机设备可以采用Expose方法(一种创建SMPLX模型的方法)，根据二维图像，创建目标对象的SMPLX模型(带手势和面部表情的多人线性蒙皮模型)。该方法所创建出的参数化模型，相较于SMPL模型而言，增加了人体的手势和面部表情，且提高了分辨率，从而能够提高三维重建的准确性。

步骤206，根据二维图像生成目标对象的三维连续表面；三维连续表面，是对目标对象的表面进行连续表示得到的三维表面。

可以理解，三维连续表面具备目标对象的细节信息。

在一个实施例中，三维连续表面可以是隐式曲面。其中，隐式曲面(ImplicitSurface，一种表面的表示方式)，是由隐式函数来定义的曲面，即，由隐式函数定义的一个等值面。

在一个实施例中，计算机设备可以通过PIFuHD方法(一种通过一个端到端可训练的从粗到细的模型框架来生成目标对象的隐式曲面的方法)，根据二维图像生成目标对象的隐式曲面。

如图3所示，计算机设备可以根据目标对象所处区域的二维图像304，分别创建出目标对象的参数化模型308、以及目标对象的三维连续表面306。可以理解，因为三维连续表面是连续的，分辨率很大，所以具有目标对象的细节信息，从图3中可以看出，三维连续表面306中具有目标对象的细节信息，比如：衣服、头发和鞋子等细节信息。而参数化模型是将形状参数和姿态参数输入到初始参数化模型中创建出来的，所以缺乏细节信息，目标人体的参数化模型308一般是如图3所示的裸体的人体模型，缺乏目标人体具体的衣服、鞋子和头发等细节信息。

步骤208，将三维连续表面进行网格划分，得到三维网格表面。

其中，三维网格表面(Mesh)，是指由顶点和面片组成的网格表面。

在一个实施例中，计算机设备可以采用Marching cubes方法(等值面提取算法，一种提取网格的方法)，将三维连续表面进行网格划分，得到三维网格表面。

在其他实施例中，计算机设备也可以采用其他提取网格的方法，将三维连续表面进行网格划分，得到三维网格表面，不做限定。

可以理解，参数化模型与三维连续表面的形式是不同的，参数化模型是由顶点和面片组成的网格，而三维连续表面是连续表示的三维表面，因此，本实施例中，将三维连续表面进行网格划分，得到三维网格表面，能够使参数化模型与三维连续表面的形式一致，便于后续参数化模型与三维连续表面之间的配准处理，即，在配准处理过程中只需将参数化模型中的网格表面与三维网格表面进行配准处理即可。

步骤210，调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。

其中，配准处理(Registration)，是指将两个网格表面之间的形状、姿态和细节等特征调整至趋向于一致的处理。目标参数化模型，是对目标对象进行三维重建所最终得到的参数化模型。

在一个实施例中，可以在参数化模型中添加偏移量参数，所调整的参数化模型的模型参数可以包括偏移量参数。在一个实施例中，所调整的参数化模型的模型参数还可以包括全局特征参数、姿态参数和形状参数等中的至少一种。其中，偏移量参数，是用于表征参数化模型的表面顶点的偏移量的模型参数。全局特征参数，是用于表征参数化模型的全局特征的模型参数。姿态参数，是用于表征参数化模型的姿态的模型参数。形状参数，是用于表征参数化模型的形状的模型参数。

在一个实施例中，计算机设备可以按照由全局到局部的顺序，依次调整用于表征参数化模型在相应层面的特征的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。比如：计算机设备可以先调整全局特征参数(对应于全局层面)，再调整形状参数和姿态参数(对应于介于全局和局部之间的层面)，最后调整偏移量参数(对应于局部层面)。可以理解，每次调整完用于表征某一个层面的特征的模型参数之后，将调整后的该层面对应的模型参数的参数值固定，再调整下一个层面对应的模型参数。本实施例中，按照由全局到局部的顺序依次调整模型参数，能够避免直接调整局部层面的模型参数而造成局部变形过大的问题，提高了配准的准确性，进而提高了三维重建的准确性。

在一个实施例中，计算机设备可以获取预先构建的目标损失函数，朝着使目标损失函数最小化的方向，迭代地调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

在一个实施例中，在计算机设备调整不同的模型参数的过程中，所分别使用的目标损失函数可以是相同的，也可以是不同的。即，可以根据所调整的模型参数所表征的参数化模型的特征的区别，设计相应的目标损失函数。

在一个实施例中，目标损失函数可以包括网格差异损失函数、表面拓扑结构损失函数和变形损失函数等中的至少一种。

如图4所示，计算机设备可以将图3中创建的参数化模型308与三维连续表面306的三维网格表面进行配准处理，得到如图4所示的目标参数化模型402。从图中可以看出，目标参数化模型402具有三维连续表面所具有的细节信息，避免了参数化模型对目标对象形状表达有限，缺乏细节信息的局限性，提高了对目标对象进行三维重建的准确性。在一个实施例中，计算机设备可以获取目标对象的纹理贴图，然后根据纹理贴图对目标参数化模型进行纹理渲染，得到纹理渲染后的目标参数化模型。其中，纹理贴图，用于表征参数化模型表面的高频细节和颜色等信息。

在一个实施例中，计算机设备可以获取包括目标对象的多帧二维图像，然后根据多帧二维图像，得到目标对象的纹理贴图。

在一个实施例中，计算机设备可以根据动作参数，驱动目标参数化模型执行动作。其中，动作参数，是用于表征目标参数化模型的动作的模型参数。

上述目标对象三维重建方法中，根据目标对象的二维图像，创建目标对象的三维的参数化模型，并根据二维图像生成目标对象的三维连续表面，将三维连续表面进行网格划分，得到三维网格表面，然后调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。因为三维连续表面具有目标对象的细节信息，所以通过将参数化模型中的网格表面与三维网格表面进行配准处理所得到的目标参数化模型，对目标对象的形状表达能力更强，能够具有目标对象的细节信息，比如：目标人体的衣服、头发或鞋子等细节信息，避免了通过参数化模型三维重建所得到的目标对象的参数化模型对目标对象形状表达有限，缺乏细节信息的局限性，提高了对目标对象进行三维重建的准确性。并且，参数化模型在深度上往往存在歧义。例如，身高较矮的目标人物的参数化模型的腿部往往不完整，通过本申请的方法所得到的目标参数化模型还避免了深度上的歧义，提高了三维重建的准确性。

此外，由于三维连续表面建模的目标对象三维模型，无法进行动作驱动，具有局限性，而参数化模型能够实现动作驱动。因此，调整参数化模型的模型参数，将参数化模型中的网格表面与三维连续表面中提取的三维网格表面进行配准处理后得到目标参数化模型，能够具备参数化模型能够进行动作驱动的优势，避免了三维连续表面无法进行驱动的局限性，使得目标参数化模型既具有细节信息，提高了三维重建的准确性，又能够进行动作驱动，因为能够灵活地对模型进行动作驱动，所以提高了三维重建所得到的目标参数化模型的适用性，拓宽了适用范围。

在一个实施例中，该方法还包括：在参数化模型中添加偏移量参数，得到可变形的参数化模型。本实施例中，步骤210调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理包括：调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

其中，可变形的参数化模型，是指表面顶点的偏移量参数的参数值能够进行调整的参数化模型，即，表面顶点能够进行偏移的参数化模型。

在一个实施例中，计算机设备可以调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。

在一个实施例中，在调整可变形的参数化模型的表面顶点对应的偏移量参数之前，计算机设备可以先调整可变形的参数化模型的全局层面的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，然后将调整后的全局层面的模型参数固定，调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。比如：计算机设备可以先调整全局特征参数，再调整形状参数和姿态参数，之后再调整偏移量参数。本实施例中，先调整全局层面的模型参数，再调整表面顶点对应的偏移量参数，能够避免直接调整偏移量参数而造成局部偏移过大的问题，提高了配准的准确性，进而提高了三维重建的准确性。

在一个实施例中，计算机设备可以根据参数化模型的表面顶点语义分割结果，确定三维连续表面所表达不完整的部分对应的表面顶点，然后固定所确定的表面顶点的偏移量参数，并调整可变形的参数化模型中除所确定的表面顶点之外的表面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

其中，表面顶点语义分割结果，用于表征参数化模型中的表面顶点所属于的目标对象中的部分。比如：若目标对象为人体，表面顶点语义分割结果可以包括面部、手部、脚部和躯干部等中的至少一种。即，比如：表面顶点的语义分割结果为手部，则表示该表面顶点属于目标人体的手部。

可以理解，三维连续表面对目标对象中的某些区域表达不完整，这些区域即为三维连续表面所表达不完整的部分。

上述实施例中，通过在参数化模型中添加偏移量参数，得到可变形的参数化模型，调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，能够使得参数化模型中的网格表面与三维网格表面的配准处理更加准确，实现局部细节特征的配准，使得目标参数化模型能够具有三维连续表面所具有的细节信息，避免了参数化模型对目标对象形状表达有限，缺乏细节信息的局限性，提高了对目标对象进行三维重建的准确性。

在一个实施例中，可变形的参数化模型的模型参数还包括全局特征参数、姿态参数和形状参数。本实施例中，调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理包括：调整可变形的参数化模型的全局特征参数，以将参数化模型中的网格表面与三维网格表面进行深度配准；对深度配准后的参数化模型的姿态参数和形状参数进行调整，以将参数化模型中的网格表面与三维网格表面进行重合配准；调整重合配准后的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行特征部位配准。

其中，深度配准，是指将参数化模型中的网格表面与三维网格表面在深度方向上进行配准处理。重合配准，是指将参数化模型中的网格表面与三维网格表面朝着重合的方向进行配准处理。特征部位配准，是指将参数化模型中的网格表面与三维网格表面在局部细节特征部位上进行配准处理。

在一个实施例中，全局特征参数可以包括参数化模型的全局方向参数和全局变换量参数。其中，全局方向参数，是用于表征参数化模型的整体旋转方向的模型参数。全局变换量参数，是用于表征参数化模型的整体位移量的模型参数。

在一个实施例中，计算机设备可以先调整可变形的参数化模型的全局特征参数，以将参数化模型中的网格表面与三维网格表面进行深度配准，然后固定调整后的全局特征参数的参数值，对深度配准后的参数化模型的姿态参数和形状参数进行调整，以将参数化模型中的网格表面与三维网格表面进行重合配准，再固定调整后的全局特征参数、姿态参数和形状参数的参数值，调整重合配准后的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行特征部位配准，得到目标对象最终的目标参数化模型。

上述实施例中，因为根据二维图像创建出的参数化模型往往存在深度歧义，导致参数化模型与三维连续表面的三维网格表面之间在深度方向上存在较大偏差，因此，先调整可变形的参数化模型的全局特征参数，能够使得参数化模型与三维网格表面之间在全局的深度上进行对齐，避免深度方向上的偏差。然后通过调整形状参数和姿态参数，来调整参数化模型的形状和姿态，能够使得参数化模型与三维网格表面之间相重合。在调整全局特征参数、形状参数和姿态参之后，再调整偏移量参数，能够避免直接调整偏移量参数而造成局部偏移量过大的问题，提高了配准的准确性，进而提高了三维重建的准确性。

在一个实施例中，调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理包括：获取参数化模型的表面顶点语义分割结果；根据表面顶点语义分割结果，确定可变形的参数化模型中几何形状变化剧烈的表面顶点；固定所确定的表面顶点对应的偏移量参数，并调整可变形的参数化模型中除所确定的表面顶点之外的表面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

具体地，可以预先对几何形状变化剧烈的表面顶点对应的目标语义分割结果进行设置，计算机设备可以根据参数化模型的各个表面顶点对应的语义分割结果，从中确定出目标语义分割结果所对应的表面顶点，将所确定的表面顶点作为几何形状变化剧烈的表面顶点。

其中，目标语义分割结果，是指几何形状变化剧烈的表面顶点所对应的语义分割结果。

可以理解，因为三维连续表面对目标对象中几何形状变化剧烈的位置存在表达不完整或者表达模糊等问题，所以，将参数化模型中几何形状变化剧烈的表面顶点的偏移量参数进行固定，仅调整除几何形状变化剧烈的表面顶点之外的表面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，能够避免三维连续表面的上述局限性问题。

比如：若目标对象为人体，则目标语义分割结果可以包括面部和手部等中的至少一种。可以理解，因为人体的面部和手部等部位的几何形状变化剧烈，所以将面部和手部等中的至少一种预设为目标语义分割结果。目标人体的三维连续表面中对面部和手部等部位容易出现表达不完整或表达模糊等问题。如图3和图4所示，三维连续表面的手部存在不完整的问题，面部存在表达模糊的问题。如图4所示，在根据参数化模型的表面顶点语义分割结果404的约束下进行配准处理之后得到的目标参数化模型，保留了原本的参数化模型中手部和面部的完整性，避免受到三维连续表面的上述局限性的影响。

在一个实施例中，计算机设备可以将所确定的表面顶点对应的偏移量参数的参数值固定为0，并调整可变形的参数化模型中除所确定的表面顶点之外的表面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

上述实施例中，计算机设备可以根据参数化模型的表面顶点语义分割结果，对几何形状变化剧烈的表面顶点的偏移量参数进行固定，仅调整除所确定的表面顶点之外的表面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，避免了三维连续表面对几何形状变化剧烈的位置表达不完整或表达模糊等问题，使得目标参数化模型对几何形状变化剧烈的位置能够完整重建，提高了三维重建的准确性。

在一个实施例中，二维图像为单帧二维图像，根据单帧二维图像创建的参数化模型为第一参数化模型。本实施例中，获取参数化模型的表面顶点语义分割结果包括：获取包括目标对象的多帧二维图像；获取分别根据多帧二维图像中各帧二维图像对应创建的目标对象的第二参数化模型；对多帧二维图像中的各帧二维图像分别进行语义分割，得到相应的第二参数化模型的部分可见的表面顶点语义分割结果；根据各第二参数化模型的部分可见的表面顶点语义分割结果，确定第一参数化模型的表面顶点语义分割结果。

其中，部分可见的表面顶点语义分割结果，是指仅有一部分表面顶点的语义分割结果，而缺少另一部分表面顶点的语音分割结果。

在一个实施例中，多帧二维图像中可以包括该单帧二维图像，也可以不包括该单帧二维图像。

在一个实施例中，可以通过前述的获取多帧二维图像的各实施例中的方法，获取包括目标对象的多帧二维图像。

在一个实施例中，计算机设备可以通过前述的根据二维图像创建目标对象的三维的参数化模型的各实施例中的方法，分别根据多帧二维图像中各帧二维图像对应创建的目标对象的第二参数化模型。每帧二维图像分别对应创建一个第二参数化模型。

在一个实施例中，计算机设备可以对多帧二维图像中的各帧二维图像分别进行语义分割，得到各帧二维图像分别对应的语义分割结果。然后，计算机设备可以根据各帧二维图像分别对应的语义分割结果，分别确定相应的第二参数化模型的部分可见的表面顶点语义分割结果。即，针对每一帧二维图像，计算机设备可以根据该帧二维图像的语义分割结果，确定该帧二维图像所对应第二参数化模型的部分可见的表面顶点语义分割结果。

在一个实施例中，计算机设备可以采用Human Parsing网络(RP-R-CNN，一种用于对图像进行语义分割的深度学习网络)对各帧二维图像分别进行语义分割。

可以理解，因为二维图像仅能表达出目标对象在某个方向下的图像，因此，根据二维图像所得到的第二参数化模型的表面顶点语义分割结果是部分可见的，并不能得到参数化模型完整的表面顶点语义分割结果。

在一个实施例中，计算机设备可以根据第一参数化模型的各表面顶点分别对应至各第二参数化模型中的语义分割结果，进行投票融合，确定第一参数化模型的表面顶点语义分割结果。具体地，针对第一参数化模型的表面顶点，计算机设备可以将该表面顶点对应至各第二参数化模型中的各个语义分割结果作为该表面顶点的候选语义分割结果，然后根据各候选语义分割结果，确定该表面顶点的最终的语义分割结果。可以理解，在得到第一参数化模型中各个表面顶点的最终的语义分割结果之后，即得到了第一参数化模型的表面顶点语义分割结果。

在一个实施例中，计算机设备可以根据各候选语义分割结果的出现频率的大小，从各候选语义分割结果中选取该表面顶点最终的语义分割结果。

在一个实施例中，计算机设备可以将出现频率最大的候选语义分割结果，确定为该表面顶点最终的语义分割结果。

例如：第一参数化模型的表面顶点A对应至第二参数化模型B、C和D中的语义分割结果分别为手部、胳膊和手部，因为“手部”的出现频率最大，所以可以将“手部”确定为表面顶点A的语义分割结果。

如图5所示，计算机设备对多帧二维图像分别进行语义分割，得到了各帧二维图像分别对应的语义分割结果，并且根据各帧二维图像分别创建第二参数化模型，然后计算机设备根据各帧二维图像分别对应的语义分割结果、以及相应的第二参数化模型，进行投票融合，得到第一参数化模型的表面顶点语义分割结果。可以将各表面顶点按照语义分割结果的不同，以不同的颜色进行表示，为了清楚地示意，图5中用不同的数字对第一参数化模型中不同的语义分割结果的区域进行了标记。

上述实施例中，计算机设备根据多帧二维图像分别对应的语义分割结果，分别确定相应的第二参数化模型的部分可见的表面顶点语义分割结果，然后根据各个第二参数化模型的部分可见的表面顶点语义分割结果，确定第一参数化模型的表面顶点语义分割结果。可以理解，各第二参数化模型中的表面顶点语义分割结果不是完整的，而是部分可见的，然后根据各第二参数化模型中的表面顶点语义分割结果所得到的第一参数化模型的表面顶点语义分割结果是融合了各第二参数化模型中的部分可见的表面顶点语义分割结果所得到的，使得参数化模型的表面顶点语义分割结果更加完整，且提高了参数化模型的表面顶点语义分割结果的准确性。

在一个实施例中，在根据各第二参数化模型的表面顶点语义分割结果，确定第一参数化模型的表面顶点语义分割结果之后，该方法还包括：确定第一参数化模型中未确定语义分割结果的不可见表面顶点；确定在不可见表面顶点的预设邻域范围内的可见表面顶点；根据所确定的可见表面顶点的语义分割结果，确定不可见表面顶点的语义分割结果。

其中，不可见表面顶点，是第一参数化模型中未确定语义分割结果的表面顶点。可见表面顶点，是第一参数化模型中已确定语义分割结果的表面顶点。预设邻域范围，是预设与表面顶点相邻的范围。

比如：因为目标对象的多帧二维图像中难以拍摄到目标对象的脚底，所以目标对象的脚底处的表面顶点即为不可见表面顶点。

具体地，在根据各第二参数化模型的表面顶点语义分割结果，确定第一参数化模型的表面顶点语义分割结果之后，计算机设备可以确定第一参数化模型中未确定语义分割结果的不可见表面顶点，然后确定在不可见表面顶点的预设邻域范围内的已确定语义分割结果的可见表面顶点，再根据所确定的可见表面顶点的语义分割结果，确定不可见表面顶点的语义分割结果。

在一个实施例中，预设邻域范围，可以是预设邻域半径的范围内的区域。预设邻域半径，是指预设邻域范围的半径。比如：预设邻域半径为3。

在一个实施例中，计算机设备可以根据所确定的可见表面顶点的语义分割结果的出现频率，从所确定的可见表面顶点的语义分割结果中，选取不可见表面顶点的语义分割结果。

在一个实施例中，计算机设备可以从所确定的可见表面顶点的语义分割结果中，选取出现频率最大的语义分割结果，作为不可见表面顶点的语义分割结果。

例如：不可见表面顶点A的预设邻域范围内的可见表面顶点为B、C和D，B、C和D的语义分割结果分别为手部、面部和手部。因为“手部”这一语义分割结果出现频率最大，所以可以将“手部”确定为不可见表面顶点A的语义分割结果。

上述实施例中，根据不可见表面顶点的预设邻域范围内的可见表面顶点的语义分割结果，确定不可见表面顶点的语义分割结果，从而避免了参数化模型的表面顶点语义分割结果存在不可见表面顶点的问题。提高了参数化模型的表面顶点语义分割结果的完整性，且提高了参数化模型的表面顶点语义分割结果的准确性。

在一个实施例中，步骤210调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理包括：获取多项约束的目标损失函数；目标损失函数包括网格差异损失函数、表面拓扑结构损失函数和变形损失函数；朝着使目标损失函数最小化的方向，迭代地调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

其中，网格差异损失函数，是用于表征参数化模型中的网格表面与三维网格表面之间的网格差异的损失函数。表面拓扑结构损失函数，是用于维持参数化模型在变形过程中表面的拓扑结构的损失函数。变形损失函数，是用于约束参数化模型的变形幅度的损失函数。可以理解，变形损失函数可以用于约束参数化模型的变形幅度，以防止参数化模型变形过大。

在一个实施例中，深度配准过程中所使用的目标损失函数包括网格差异损失函数。计算机设备可以朝着使包括网格差异损失函数的目标损失函数最小化的方向，迭代地调整参数化模型的全局特征参数，以将参数化模型中的网格表面与三维网格表面进行深度配准。

在一个实施例中，重合配准过程中所使用的目标损失函数包括网格差异损失函数。计算机设备可以朝着使包括网格差异损失函数的目标损失函数最小化的方向，迭代地调整参数化模型的姿态参数和形状参数，以将参数化模型中的网格表面与三维网格表面进行重合配准。

在一个实施例中，特征部位配准过程中所使用的目标损失函数包括网格差异损失函数、表面拓扑结构损失函数和变形损失函数。计算机设备可以朝着使包括网格差异损失函数、表面拓扑结构损失函数和变形损失函数的目标损失函数最小化的方向，迭代地调整参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行特征部位配准。

在一个实施例中，网格差异损失函数可以包括参数化模型中的各表面顶点分别到三维连续表面所划分的三维网格表面的最小距离之和、以及三维连续表面所划分的三维网格表面的各表面顶点分别到参数化模型的网格表面的最小距离之和。本实施例中，通过双向优化两个模型(即参数化模型与三维连续表面所划分的三维网格表面)各自顶点到对方的表面的最小距离，使得两个模型相重合，提高了目标参数化模型的准确性，从而提高了三维重建的准确性。

在一个实施例中，网格差异损失函数用如下公式(1)表示：

其中，L_p2s表示网格差异损失函数，S表示参数化模型的表面顶点，p∈S表示p是参数化模型的表面顶点，M表示参数化模型的网格表面的面片，f∈M表示f是参数化模型的网格表面的面片。表示三维连续表面所划分的三维网格表面的表面顶点，表示q是三维连续表面所划分的三维网格表面的表面顶点，表示三维连续表面所划分的三维网格表面的面片，表示是三维连续表面所划分的三维网格表面的面片。表示p到的最小距离，即表示参数化模型的表面顶点到三维连续表面所划分的三维网格表面的最小距离。表示参数化模型中的各表面顶点到三维连续表面所划分的三维网格表面的最小距离之和。表示q到f的最小距离，即表示三维连续表面所划分的三维网格表面的表面顶点到参数化模型的网格表面的最小距离。表示三维连续表面所划分的三维网格表面的各表面顶点分别到参数化模型的网格表面的最小距离之和。

在一个实施例中，表面拓扑结构损失函数可以包括表面拓扑结构差异损失函数和本身表面拓扑结构损失函数。其中，表面拓扑结构差异损失函数，是用于表征参数化模型在调整模型参数前后表面拓扑结构的变化的损失函数。本身表面拓扑结构损失函数，是用于表征调整模型参数后的参数化模型本身的表面拓扑结构的损失函数。

在一个实施例中，表面拓扑结构差异损失函数可以是参数化模型在调整模型参数前后的网格表面的拉普拉斯值的差异的正则化。其中，拉普拉斯值，用于表征网格表面的局部细节特征。本实施例中，通过约束调整模型参数前后的参数化模型的网格表面的拉普拉斯值的差异，避免了进行配准处理导致参数化模型的表面拓扑结构变化过大的情况，提高了目标参数化模型的合理性和准确性，从而提高了三维重建的准确性。

在一个实施例中，表面拓扑结构差异损失函数可以用如下公式(2)来表示：

其中，表示表面拓扑结构差异损失函数，p表示参数化模型的表面顶点，δ_p表示调整模型参数后的参数化模型的表面顶点p处的拉普拉斯值，δ'_p表示调整模型参数前的参数化模型的表面顶点p处的拉普拉斯值。拉普拉斯值δ_p可以用如下公式(3)来表示：

其中，N(p)表示表面顶点p的邻域范围内的邻居表面顶点，k∈N(p)表示k是表面顶点p的邻域范围内的邻居表面顶点。可以理解，δ'_p也可以采用如上公式(3)的计算方式得到。

在一个实施例中，本身表面拓扑结构损失函数可以是在调整模型参数后的参数化模型的网格表面的拉普拉斯值的正则化。本实施例中，通过约束调整模型参数后的参数化模型的网格表面的拉普拉斯值，避免了目标参数化模型的表面拓扑结构变化剧烈的情况，增强了目标参数化模型的表面的平滑性，提高了目标参数化模型的合理性和准确性，提高了三维重建的准确性。

在一个实施例中，本身表面拓扑结构损失函数可以用如下公式(4)来表示：

其中，L_lap表示本身表面拓扑结构损失函数，δ_p表示调整模型参数后的参数化模型的网格表面的拉普拉斯值。拉普拉斯值δ_p同样可以用公式(3)来表示。

在一个实施例中，变形损失函数可以是参数化模型的表面顶点的偏移量参数的参数值的正则化。本实施例中，通过约束参数化模型的表面顶点的偏移量参数的参数值，避免了表面顶点的偏移过大，提高了目标参数化模型的合理性和准确性，提高了三维重建的准确性。

在一个实施例中，变形损失函数可以用如下公式(5)来表示：

其中，L_d表示变形损失函数，p表示参数化模型的表面顶点，d_p表示调整模型参数后的参数化模型的表面顶点p的偏移量参数的参数值。

在一个实施例中，目标损失函数可以用如下公式(6)来表示：

其中，L_p2s表示网格差异损失函数，表示表面拓扑结构差异损失函数，L_lap表示本身表面拓扑结构损失函数，L_d表示变形损失函数。λ_p2s、λ_lap和λ_d分别为目标损失函数中各项损失函数的权重。可以根据实际情况对各个权重进行设置。

在一个实施例中，可以将各个权重分别设置为λ_p2s＝1×10²、λ_lap＝1×10³和λ_d＝1×10¹。

在一个实施例中，计算机设备可以通过Adam优化器(一种用于迭代地优化模型参数的算法)，朝着使目标损失函数最小化的方向，迭代地调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。在一个实施例中，可以将迭代地调整参数化模型的模型参数的过程的学习率设置为lr＝1×10^-2。

在一个实施例中，计算机设备可以通过Kaolin包(一种应用于深度学习的开源工具库)实现目标损失函数中的各项损失函数。

上述实施例中，通过朝着使多项约束的目标损失函数最小化的方向，迭代地调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，能够提高三维重建的准确性，且提高了三维重建的效率。具体地，通过构建网格差异损失函数，使得两个模型相重合，提高了目标参数化模型的准确性，从而提高了三维重建的准确性。通过构建表面拓扑结构损失函数，提高了目标参数化模型的表面拓扑结构的合理性和准确性，提高了三维重建的准确性。通过构建变形损失函数，约束参数化模型的表面顶点的偏移量参数的参数值，避免了表面顶点的偏移过大，提高了目标参数化模型的合理性和准确性，提高了三维重建的准确性。

在一个实施例中，二维图像为单帧二维图像，根据单帧二维图像创建的参数化模型为第一参数化模型。本实施例中，该方法还包括：获取包括目标对象的多帧二维图像；获取分别根据多帧二维图像中各帧二维图像对应创建的目标对象的第二参数化模型；根据各第二参数化模型的表面顶点所对应的纹理坐标，将相应二维图像中目标对象所对应的点映射到纹理空间，得到各帧二维图像分别对应的目标对象的初始纹理贴图；将各初始纹理贴图进行融合，得到目标对象的纹理贴图；根据纹理贴图对目标参数化模型进行纹理渲染。

其中，纹理坐标(UV坐标)，是参数化模型的表面顶点在纹理贴图上对应的坐标。纹理空间，是指以纹理贴图为基准的坐标空间。初始纹理贴图，是指根据多帧二维图像中的单帧的二维图像所得到的纹理贴图。可以理解，由于初始纹理贴图是根据单帧的二维图像所得到的，因此初始纹理贴图不是参数化模型的完整的纹理贴图。

在一个实施例中，多帧二维图像中可以包括该单帧二维图像，也可以不包括该单帧二维图像。

在一个实施例中，可以通过前述的获取多帧二维图像的各实施例中的方法，获取包括目标对象的多帧二维图像。

在一个实施例中，计算机设备可以通过前述的根据二维图像创建目标对象的三维的参数化模型的各实施例中的方法，分别根据多帧二维图像中各帧二维图像对应创建的目标对象的第二参数化模型。每帧二维图像分别对应创建一个第二参数化模型。

在一个实施例中，计算机设备可以根据各第二参数化模型的表面顶点所对应的纹理坐标、以及第二参数化模型的表面顶点与相应的二维图像中的点的对应关系，将相应二维图像中目标对象所对应的点映射到纹理空间，得到相应二维图像中的目标对象所对应的点的纹理坐标，从而形成各帧二维图像分别对应的目标对象的初始纹理贴图。

如图6所示，针对每帧二维图像，根据该二维图像、以及相应的第二参数化模型的表面顶点所对应的纹理坐标(如图6中的602)，将该二维图像中目标对象所对应的点映射到纹理空间(即纹理展开)，得到相应二维图像中的目标对象所对应的点的纹理坐标，从而得到该二维图像对应的如图6中的604所示的目标对象的初始纹理贴图。

在一个实施例中，计算机设备可以将各初始纹理贴图进行排序，然后按照排序后的顺序，将各初始纹理贴图依次进行融合，得到目标对象的纹理贴图。

在一个实施例中，计算机设备可以根据各第二参数化模型的全局方向，将各初始纹理贴图进行排序。其中，全局方向，是指全局方向参数的参数值。

在一个实施例中，计算机设备可以根据目标对象的纹理贴图，对目标参数化模型进行纹理渲染，得到纹理渲染后的目标参数化模型。

在一个实施例中，计算机设备可以通过Neural Render(一种用于进行纹理渲染的算法)，根据目标对象的纹理贴图，对目标参数化模型进行纹理渲染，得到纹理渲染后的目标参数化模型。

在一个实施例中，计算机设备可以先分别从各帧二维图像中分割出前景(即目标对象)，再根据分割得到的二维图像得到初始纹理贴图。在一个实施例中，计算机设备可以使用前景分割模型，分别从多帧二维图像中分割出前景(即目标对象)。本实施例中，通过对前景的分割，去除掉二维图像中的背景，避免了得到的初始纹理贴图中出现背景信息的问题，提高了得到纹理贴图的准确性。

在一个实施例中，计算机设备可以先分别对各帧二维图像进行去光照处理，以去除掉二维图像中的光照，从而提高纹理贴图的准确性和清晰性。在一个实施例中，计算机设备可以使用去光照模型分别对各帧二维图像进行去光照处理。

上述实施例中，根据多帧二维图像以及相应的第二参数化模型，得到各帧二维图像分别对应的初始纹理贴图，然后将各初始纹理贴图进行融合，能够得到目标对象的准确的纹理贴图，再根据纹理贴图对目标参数化模型进行纹理渲染，能够得到纹理渲染后的目标参数化模型，使得目标参数化模型所包含的信息量更加丰富，从而提高了所重建的目标参数化模型的适用性。

在一个实施例中，将各初始纹理贴图进行融合，得到目标对象的纹理贴图包括：根据各第二参数化模型的根节点方向，确定各帧二维图像对应的融合顺序；按照融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到目标对象的纹理贴图。

其中，根节点方向，用于表征参数化模型的全局方向。根节点，是参数化模型的关键点骨架上的节点。根节点的旋转和平移表示整个参数化模型的旋转和平移。

在一个实施例中，计算机设备可以根据各第二参数化模型的根节点方向，对多帧二维图像进行顺次排序，得到各帧二维图像对应的融合顺序。

在一个实施例中，计算机设备可以将各帧二维图像根据所对应的第二参数化模型的根节点方向，按照预设的各个主方向进行分组，即，将二维图像划分至根节点方向所最接近的主方向的分组中。然后在每个分组中，将该组的二维图像按照根节点方向与该组的主方向之间的一致性大小进行排序，得到各帧二维图像对应的融合顺序。其中，一致性，用于表征根节点方向与主方向的接近程度。

在一个实施例中，在一个实施例中，主方向可以包括前、后、左和右4个方向。

在一个实施例中，计算机设备可以按照各帧二维图像分别对应的融合顺序，将各帧二维图像对应的初始纹理贴图依次进行融合，得到目标对象的纹理贴图。

在一个实施例中，计算机设备可以先确定二维图像所对应的初始纹理贴图上各点的可见性，然后按照融合顺序，从首位二维图像起选取当前二维图像，根据当前二维图像对应的初始纹理贴图和各点的可见性，生成当前二维图像对应的纹理贴图；将当前二维图像对应的纹理贴图与已累计融合的纹理贴图进行融合；在融合后，按照融合顺序将下一位二维图像作为当前二维图像，迭代返回根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图的步骤以继续执行，直至迭代停止，得到目标对象的纹理贴图。

在一个实施例中，计算机设备可以用初始纹理贴图上各点的可见性对当前二维图像对应的初始纹理贴图上各点进行加权，生成当前二维图像对应的纹理贴图。

在一个实施例中，针对每帧二维图像，计算机设备可以根据相应的第二参数化模型的各表面顶点的法向量方向、与二维图像的拍摄方向之间的接近程度，确定该二维图像对应的初始纹理贴图上各点的可见性。

上述实施例中，根据各第二参数化模型的根节点方向，确定各帧二维图像对应的融合顺序，然后按照融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到目标对象的纹理贴图，提高了融合得到纹理贴图的效率，且提高了所得到的纹理贴图的准确性。

在一个实施例中，该方法还包括：获取各帧二维图像分别对应的目标对象的可见性贴图。本实施例中，按照融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到目标对象的纹理贴图包括：按照融合顺序，从首位二维图像起选取当前二维图像，根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图；将当前二维图像对应的纹理贴图与已累计融合的纹理贴图进行融合；在融合后，按照融合顺序将下一位二维图像作为当前二维图像，迭代返回根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图的步骤以继续执行，直至迭代停止，得到目标对象的纹理贴图。

其中，可见性贴图，用于表征二维图像所对应的初始纹理贴图上各点的可见性。已累计融合的纹理贴图，是对当前二维图像对应的初始纹理贴图进行融合之前已累计融合得到的纹理贴图。

具体地，计算机设备可以先将首位二维图像作为当前二维图像，然后根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图，然后将当前二维图像对应的纹理贴图与已累计融合的纹理贴图进行融合，并在融合后，按照融合顺序将下一位二维图像作为当前二维图像，迭代返回根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图的步骤以继续执行，直至迭代停止，即，各帧二维图像对应的初始纹理贴图均融合完成，得到目标对象的纹理贴图。

如图7所示，702即为各帧二维图像分别对应的初始纹理贴图，704即为各帧二维图像分别对应的可见性贴图，进行迭代的纹理融合后，得到目标对象的纹理贴图706。

在一个实施例中，计算机设备可以将当前二维图像对应的初始纹理贴图和可见性贴图相乘，生成当前二维图像对应的纹理贴图。可以理解，将当前二维图像对应的初始纹理贴图和可见性贴图进行相乘相当于用可见性贴图上各点的可见性对初始纹理贴图上各点的纹理值进行加权。

在一个实施例中，将当前二维图像对应的纹理贴图与已累计融合的纹理贴图进行融合可以包括：将已累计融合的纹理贴图与当前二维图像对应的不可见性贴图相乘，再加上当前二维图像对应的纹理贴图。

在一个实施例中，上述实施例中按照融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到目标对象的纹理贴图的迭代步骤可以用如下公式(7)表示：

Γ'＝(1-α)×Γ+α×P； (7)

其中，α表示当前二维图像对应的可见性贴图，P表示当前二维图像对应的初始纹理贴图，Γ表示已累计融合的纹理贴图，Γ'融合当前二维图像对应的初始纹理贴图之后所得到的已累计融合的纹理贴图。

在一个实施例中，针对每帧二维图像，计算机设备可以根据相应的第二参数化模型的各表面顶点的法向量方向、与二维图像的拍摄方向之间的接近程度，确定该二维图像对应的初始纹理贴图上各点的可见性，生成二维图像对应的可见性贴图。

上述实施例中，按照融合顺序将各帧二维图像对应的初始纹理贴图迭代地依次进行融合、并且在融合过程中通过可见性贴图对初始纹理贴图进行加权，得到目标对象的纹理贴图，从而提高了所得到的纹理贴图的准确性。

在一个实施例中，获取各帧二维图像分别对应的可见性贴图包括：按各第二参数化模型表面的法向量，生成相应二维图像对应的法向量贴图；针对各帧二维图像，根据二维图像对应的法向量贴图中的法向量方向与二维图像的拍摄方向之间的接近程度，确定目标对象在法向量贴图中所对应的各点的可见性，得到二维图像对应的可见性贴图。

其中，法向量贴图，用于表征二维图像中目标对象上各点在相应的第二参数化模型中对应的表面顶点的法向量方向。

在一个实施例中，针对每帧二维图像，计算机设备可以根据相应的第二参数化模型的各表面顶点的法向量，生成该二维图像对应的法向量贴图，如图6中的606所示即为法向量贴图。

在一个实施例中，针对每帧二维图像，计算机设备可以根据二维图像对应的法向量贴图中各点的法向量方向与该二维图像的拍摄方向之间的接近程度，确定二维图像对应的初始纹理贴图中各点的可见性，得到二维图像对应的可见性贴图。具体地，计算机设备可以根据法向量贴图中各点的法向量方向与该二维图像的拍摄方向之间的接近程度，得到各点对应的可见性，得到可见性贴图，如图6中的608即为可见性贴图。

在一个实施例中，计算机设备可以根据法向量方向与二维图像的拍摄方向之间的余弦值来表示接近程度。

上述实施例中，根据二维图像对应的法向量贴图中的法向量方向与二维图像的拍摄方向之间的接近程度，得到二维图像对应的可见性贴图，能够得到准确的可见性贴图，进而能够提高所得到的纹理贴图的准确性。

如图8所示，为通过本申请各实施例中的目标对象三维重建方法对3个目标人体分别进行三维重建所得到的目标参数化模型，可以看出重建结果准确，且目标参数化模型在各个角度下均具有衣服、头发和鞋子等细节信息，且形状表达完整且清晰，没有不完整或者模糊的部位。

在一个实施例中，目标参数化模型为可驱动的参数化模型。本实施例中，该方法还包括：获取动作参数；将动作参数代入目标参数化模型中，以驱动目标参数化模型执行相应的动作。

其中，可驱动的参数化模型，是指可以输入动作参数以驱动执行动作的参数化模型。

在一个实施例中，可驱动的参数化模型可以至少包括SMPL模型、SMPLH模型和SMPLX模型等。

在一个实施例中，计算机设备可以从动作视频或动作图像中提取动作参数。

在一个实施例中，可以通过动作捕捉设备捕捉动作参数，然后计算机设备可以获取动作捕捉设备所捕捉的动作参数。

在另一个实施例中，计算机设备可以通过动作捕捉算法，从二维图像中提取参数化模型的动作参数，然后将动作参数代入目标参数化模型中，以驱动目标参数化模型执行相应的动作。在一个实施例中，运动目标检测算法可以是VIBE算法(一种动作捕捉算法，通过输入一段视频，获取SMPL模型的动作参数)。

在一个实施例中，若目标参数化模型是基于SMPLX模型变形得到的，则计算机设备可以先通过VIBE算法从二维图像中提取SMPL模型的动作参数，然后将SMPL模型的动作参数转化为SMPLX模型的动作参数。

在一个实施例中，计算机设备可以获取动作参数的序列，将动作参数的序列代入目标参数化模型，得到多帧执行动作的目标参数化模型的图像，组成目标参数化模型执行一连串动作的连续视频。

在一个实施例中，计算机设备可以根据纹理贴图，对执行动作的目标参数化模型的图像进行纹理渲染，得到带有纹理贴图的且执行动作的目标参数化模型的图像。如图9所示，根据图中的动作参数的序列902，驱动带有纹理贴图的目标参数化模型执行动作，得到多帧执行动作的目标参数化模型的图像904。

上述实施例中，所得到的目标参数化模型能够根据输入的动作参数执行相应的动作，实现动作驱动，避免了三维连续表面虽然具有细节信息但是无法实现动作驱动的问题，所得到的目标参数化模型既具有细节信息又能够实现动作驱动，提高了三维重建所得到的目标参数化模型的适用性，拓宽了适用范围。

如图10所示，是本申请各实施例中的目标对象三维重建方法的整体流程示意图。计算机设备可以获取目标对象的单帧二维图像，然后根据单帧二维图像，创建第一参数化模型，并生成三维连续表面，并从三维连续表面划分出三维网格表面，计算机设备可以调整第一参数化模型的模型参数，以将第一参数化模型的网格表面与三维连续表面的三维网格表面进行配准处理，得到目标参数化模型。在配准处理过程中，计算机设备可以根据第一参数化模型的表面顶点语义分割结果，对部分偏移量参数的参数值进行固定。确定第一参数化模型的表面顶点语义分割结果的步骤如下：计算机设备可以获取目标对象的多帧二维图像，分别创建各帧二维图像的第二参数化模型，然后根据各帧二维图像的语义分割结果、以及相应的第二参数化模型，得到第一参数化模型的表面顶点语义分割结果。在得到目标参数化模型之后，计算机设备可以通过动作参数对目标参数化模型进行动作驱动，并根据纹理贴图对目标参数化模型进行纹理渲染。纹理贴图的确定步骤如下：计算机设备可以获取目标对象的多帧二维图像，分别创建各帧二维图像的第二参数化模型，然后根据各帧二维图像以及相应的第二参数化模型，生成各帧二维图像对应的初始纹理贴图和可见性贴图，再将各初始纹理贴图按照融合顺序通过可见性贴图进行加权后迭代地进行融合，得到纹理贴图。

本申请还提供一种应用场景，该应用场景为对目标人体进行三维重建的场景，该应用场景应用上述的目标对象三维重建方法。具体地，该目标对象三维重建方法在该应用场景的应用如下：

通过摄像机拍摄目标人体自转一圈的视频，然后从视频的多帧二维图像中选取正面的二维图像，计算机设备可以根据目标人体的正面的二维图像，创建目标人体的三维的参数化模型，并根据该二维图像生成目标人体的三维连续表面，并将三维连续表面进行网格划分，得到三维网格表面，然后，计算机设备可以调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标人体最终的目标参数化模型，实现了对目标人体的三维重建。

进一步地，计算机设备还可以根据视频的多帧二维图像、以及根据各帧二维图像对应创建的目标人体的参数化模型，得到目标人体的纹理贴图，并根据纹理贴图对目标参数化模型进行纹理渲染，得到带纹理贴图的目标人体的三维重建结果，比如：带有目标人体所穿着的衣服等的图案的目标人体的三维重建结果。

进一步地，计算机设备还可以从用于动作参考的动作视频中提取动作参数，将动作参数代入目标参数化模型中，以驱动目标参数化模型执行相应的动作，并根据纹理贴图对执行动作的目标参数化模型进行纹理渲染，得到待纹理贴图的目标人体的三维重建结果执行动作的图像，或由多帧执行动作的图像所组成的执行动作的一段连续的视频。比如，可以从舞蹈视频中提取动作参数，最终得到目标人体的三维重建结果按照舞蹈视频中的动作进行跳舞的视频。

本申请还另外提供一种应用场景，该应用场景为对目标动物进行三维重建的场景，该应用场景应用上述的目标对象三维重建方法。具体地，该目标对象三维重建方法在该应用场景的应用如下：

通过图像采集设备绕目标动物转一圈采集目标动物的多帧二维图像，然后从多帧二维图像中选取正面的二维图像，计算机设备可以根据目标动物的正面的二维图像，创建目标动物的三维的参数化模型，并根据该二维图像生成目标动物的三维连续表面，并将三维连续表面进行网格划分，得到三维网格表面，然后，计算机设备可以调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标动物最终的目标参数化模型，实现了对目标动物的三维重建。

进一步地，计算机设备还可以根据视频的多帧二维图像、以及根据各帧二维图像对应创建的目标动物的参数化模型，得到目标动物的纹理贴图，并根据纹理贴图对目标参数化模型进行纹理渲染，得到带纹理贴图的目标动物的三维重建结果，比如：带有目标动物的毛色纹路等的图案的目标动物的三维重建结果。

进一步地，计算机设备还可以从用于动作参考的动作视频中提取动作参数，将动作参数代入目标参数化模型中，以驱动目标参数化模型执行相应的动作，并根据纹理贴图对执行动作的目标参数化模型进行纹理渲染，得到待纹理贴图的目标动物的三维重建结果执行动作的图像，或由多帧执行动作的图像所组成的执行动作的一段连续的视频。动作视频可以是动物的动作视频，还可以是人类的动作视频，比如，可以从人类的动作视频中提取动作参数，最终得到目标动物的三维重建结果按照人类的动作视频执行动作的视频，实现动物拟人化效果。

应该理解的是，虽然各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种目标对象三维重建装置1100，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1102、参数化模型创建模块1104、连续表面生成模块1106、网格划分模块1108和模型参数调整模块1110，其中：

图像获取模块1102，用于获取包括目标对象的二维图像。

参数化模型创建模块1104，用于根据二维图像，创建目标对象的三维的参数化模型。

连续表面生成模块1106，用于根据二维图像生成目标对象的三维连续表面；三维连续表面，是对目标对象的表面进行连续表示得到的三维表面。

网格划分模块1108，用于将三维连续表面进行网格划分，得到三维网格表面。

模型参数调整模块1110，用于调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。

在一个实施例中，模型参数调整模块1110还用于在参数化模型中添加偏移量参数，得到可变形的参数化模型，调整可变形的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

在一个实施例中，可变形的参数化模型的模型参数还包括全局特征参数、姿态参数和形状参数。本实施例中，模型参数调整模块1110还用于调整可变形的参数化模型的全局特征参数，以将参数化模型中的网格表面与三维网格表面进行深度配准；对深度配准后的参数化模型的姿态参数和形状参数进行调整，以将参数化模型中的网格表面与三维网格表面进行重合配准；调整重合配准后的参数化模型的表面顶点对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行特征部位配准。

在一个实施例中，模型参数调整模块1110还用于获取参数化模型的表面顶点语义分割结果；根据表面顶点语义分割结果，确定可变形的参数化模型中几何形状变化剧烈的表面顶点；固定所确定的表面顶点对应的偏移量参数，并调整可变形的参数化模型中除所确定的表面顶点之外的表面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

在一个实施例中，二维图像为单帧二维图像，根据单帧二维图像创建的参数化模型为第一参数化模型。本实施例中，目标对象三维重建装置1100还包括：

语义分割模块1112，用于获取包括目标对象的多帧二维图像；获取分别根据多帧二维图像中各帧二维图像对应创建的目标对象的第二参数化模型；对多帧二维图像中的各帧二维图像分别进行语义分割，得到相应的第二参数化模型的部分可见的表面顶点语义分割结果；根据各第二参数化模型的部分可见的表面顶点语义分割结果，确定第一参数化模型的表面顶点语义分割结果。

在一个实施例中，语义分割模块1112还用于确定第一参数化模型中未确定语义分割结果的不可见表面顶点；确定在不可见表面顶点的预设邻域范围内的可见表面顶点；根据所确定的可见表面顶点的语义分割结果，确定不可见表面顶点的语义分割结果。

在一个实施例中，模型参数调整模块1110还用于获取多项约束的目标损失函数；目标损失函数包括网格差异损失函数、表面拓扑结构损失函数和变形损失函数；朝着使目标损失函数最小化的方向，迭代地调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理。

在一个实施例中，二维图像为单帧二维图像，根据单帧二维图像创建的参数化模型为第一参数化模型。本实施例中，目标对象三维重建装置1100还包括：

纹理渲染模块1114，用于获取包括目标对象的多帧二维图像；获取分别根据多帧二维图像中各帧二维图像对应创建的目标对象的第二参数化模型；根据各第二参数化模型的表面顶点所对应的纹理坐标，将相应二维图像中目标对象所对应的点映射到纹理空间，得到各帧二维图像分别对应的目标对象的初始纹理贴图；将各初始纹理贴图进行融合，得到目标对象的纹理贴图；根据纹理贴图对目标参数化模型进行纹理渲染。

在一个实施例中，纹理渲染模块1114还用于根据各第二参数化模型的根节点方向，确定各帧二维图像对应的融合顺序；按照融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到目标对象的纹理贴图。

在一个实施例中，纹理渲染模块1114还用于获取各帧二维图像分别对应的目标对象的可见性贴图；按照融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到目标对象的纹理贴图，包括：按照融合顺序，从首位二维图像起选取当前二维图像，根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图；将当前二维图像对应的纹理贴图与已累计融合的纹理贴图进行融合；在融合后，按照融合顺序将下一位二维图像作为当前二维图像，迭代返回根据当前二维图像对应的初始纹理贴图和可见性贴图，生成当前二维图像对应的纹理贴图的步骤以继续执行，直至迭代停止，得到目标对象的纹理贴图。

在一个实施例中，纹理渲染模块1114还用于按各第二参数化模型表面的法向量，生成相应二维图像对应的法向量贴图；针对各帧二维图像，根据二维图像对应的法向量贴图中的法向量方向与二维图像的拍摄方向之间的接近程度，确定目标对象在法向量贴图中所对应的各点的可见性，得到二维图像对应的可见性贴图。

在一个实施例中，目标参数化模型为可驱动的参数化模型。本实施例中，如图12所示，目标对象三维重建装置1100还包括：

动作驱动模块1116，用于获取动作参数；将动作参数代入目标参数化模型中，以驱动目标参数化模型执行相应的动作。

上述目标对象三维重建装置中，根据目标对象的二维图像，创建目标对象的三维的参数化模型，并根据二维图像生成目标对象的三维连续表面，将三维连续表面进行网格划分，得到三维网格表面，然后调整参数化模型的模型参数，以将参数化模型中的网格表面与三维网格表面进行配准处理，得到目标对象最终的目标参数化模型。因为三维连续表面具有目标对象的细节信息，所以通过将参数化模型中的网格表面与三维网格表面进行配准处理所得到的目标参数化模型，对目标对象的形状表达能力更强，能够具有目标对象的细节信息，比如：目标人体的衣服、头发或鞋子等细节信息，避免了通过参数化模型三维重建所得到的目标对象的参数化模型对目标对象形状表达有限，缺乏细节信息的局限性，提高了对目标对象进行三维重建的准确性。并且，参数化模型在深度上往往存在歧义。例如，身高较矮的目标人物的参数化模型的腿部往往不完整，通过本申请的方法所得到的目标参数化模型还避免了深度上的歧义，提高了三维重建的准确性。

此外，由于三维连续表面建模的目标对象三维模型，无法进行动作驱动，具有局限性，而参数化模型能够实现动作驱动。因此，调整参数化模型的模型参数，将参数化模型中的网格表面与三维连续表面中提取的三维网格表面进行配准处理后得到目标参数化模型，能够具备参数化模型能够进行动作驱动的优势，避免了三维连续表面无法进行驱动的局限性，使得目标参数化模型既具有细节信息，提高了三维重建的准确性，又能够进行动作驱动，因为能够灵活地对模型进行动作驱动，所以提高了三维重建所得到的目标参数化模型的适用性，拓宽了适用范围。

关于目标对象三维重建装置的具体限定可以参见上文中对于目标对象三维重建方法的限定，在此不再赘述。上述目标对象三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标对象三维重建数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标对象三维重建方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标对象三维重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13和14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。