具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

有鉴于现有对象三维重建的技术方案，在实际使用场景中往往存在只有部分区域的情况，此时只能够猜测图像之外的对象部分区域，这会明显降低对象三维重建的精度，针对这一问题，本公开实施例提供了一种对象三维重建的方案，用以提高对象三维重建精度。

下面结合附图以及具体实施例，对本公开提供的对象三维重建的方法、装置、电子设备及存储介质进行详细说明。

本公开实施例提供一种对象三维重建的方法，如图1所示，该方法包括：

步骤101，获取包含目标对象部分区域的图像数据。

在具体实施中，包含目标对象部分区域的图像数据，其尺寸可以是任意大小，当然，为了方便处理，也可以将获取到的图像数据处理为统一大小，例如，将获取到的图像数据统一放大或者缩小为256*256*3，其中，图像数据的尺寸为256*256，通道数为3，实际应用中，也可以是其它尺寸，此处并不用于具体限定。

需要说明的是，目标对象可以是人体，也可以是其它对象，例如，动物，本发明实施例对此不做限定。

步骤102，基于预先确定的对象三维建模参数和图像数据，确定目标对象的三维建模参数和图像数据中目标对象的二维关键点的位置。

具体基于预先确定的对象三维建模参数和图像数据，确定目标对象的三维建模参数和图像数据中目标对象的二维关键点的位置，可以先对图像数据进行多次处理，得到对象特征信息，处理包括多次卷积处理和一次池化处理，进而基于预先确定的对象三维建模参数和对象特征信息，确定目标对象的三维建模参数，然后对多次卷积处理的任一中间卷积结果进行预设处理，得到图像数据中目标对象的二维关键点的位置。

具体实施中，对获取到的大小为256*256*3的包含目标对象部分区域的图像进行多次卷积处理和一次池化处理，以7次卷积处理为例，具体处理过程如下：

将大小为256*256*3的包含目标对象部分区域的图像设为I1，经过第一次卷积处理，得到大小为128*128*n的特征层I2；

大小为128*128*n的特征层I2，经过第二次卷积处理，得到大小为64*64*n*2的特征层I3；

大小为64*64*n*2的特征层I3，经过第三次卷积处理，得到大小为32*32*n*4的特征层I4；

大小为32*32*n*4的特征层I4，经过第四次卷积处理，得到大小为16*16*n*8的特征层I5；

大小为16*16*n*8的特征层I5，经过第五次卷积处理，得到大小为8*8*n*16的特征层I6；

大小为8*8*n*16的特征层I6，经过第六次卷积处理，得到大小为4*4*n*32的特征层I7；

大小为4*4*n*32的特征层I7，经过第七次卷积处理，得到大小为2*2*n*64的特征层I8；

大小为2*2*n*64的特征层I8，经过池化处理，得到大小为1*1*1024的特征层F1，特征层F1即为对象特征信息。

需要注意的是，n表示参数，可以进行调整，在本公开实施例中以n＝16为例。

对多次卷积处理的任一中间卷积结果进行预设处理，得到图像数据中目标对象的二维关键点的位置，包括：

对多次卷积处理的任一中间卷积结果进行预设处理，得到二维关键点热图；

基于二维关键点热图确定图像数据中目标对象的二维关键点的位置。

具体实施中，对多次卷积处理的任一中间卷积结果进行多次卷积处理和多次上采样处理，得到图像数据中目标对象的二维关键点的位置，其中，卷积处理和上采样处理依次交替进行，且最后一次处理为卷积处理。以大小为8*8*n*16的特征层I6作为中间卷积结果，具体处理过程如下：

将大小为8*8*n*16的特征层I6，经过第一次卷积处理，得到大小为8*8*n*8的特征层S1；

大小为8*8*n*8的特征层S1，经过第一次上采样处理，得到大小为16*16*n*8的特征层S2；

大小为16*16*n*8的特征层S2，经过第二次卷积处理，得到大小为16*16*n*4的特征层S3；

大小为16*16*n*4的特征层S3，经过第二次上采样处理，得到大小为32*32*n*4的特征层S4；

大小为32*32*n*4的特征层S4，经过第三次卷积处理，得到大小为32*32*n*2的特征层S5；

大小为32*32*n*2的特征层S5，经过第三次上采样处理，得到大小为64*64*n*2的特征层S6；

大小为64*64*n*2的特征层S6，经过第四次卷积处理，得到大小为64*64*24的特征层H，特征层H用于预估图像数据中目标对象的二维关键点的位置。

通过针对大小为64*64*24的特征层H计算响应最大位置，得到对象关键点位置K(24*3)(X，Y，C)，其中，X，Y为每个二维关键点的像素坐标位置，单位为像素，C为置信度，用于表示每个二维关键点在多个预估位置中每个预估位置的概率，以此确定图像数据中目标对象的二维关键点的位置。

具体基于预先确定的对象三维建模参数和对象特征信息，确定目标对象的三维建模参数，包括：拼接预设确定的对象三维建模参数与对象特征信息得到初始输入特征；利用预先训练的全连接层网络模型，基于初始输入特征，确定目标对象的三维建模参数。

具体实施中，以初始输入特征为首次输入特征，循环执行如下步骤预设次数，以预设次数为3为例，将最终得到的第一参数和第二参数确定为目标对象的三维建模参数：

将前一输出特征输入预先配置的全连接网络中用于提取特征的第一全连接层，得到第一特征；

将前一输出特征输入预先配置的全连接网络中用于提取参数的第二全连接层，得到第一参数；

将前一输出特征输入预先配置的全连接网络中用于提取参数的第三全连接层，得到第二参数；

拼接第一特征、第一参数和第二参数，得到输出特征。

需要注意的是，当用于拼接的特征数据为上述步骤中得到的大小为1*1*1024的特征层F1时，预设确定对象三维建模参数为10D+72D，D表示维度，拼接得到的初始输入特征大小为1024D+10D+72D，将预先配置的全连接网络中的第一全连接层的大小设置为1024*1024，第二全连接层的大小设置为1024*10，第三全连接层的大小设置为1024*72，最终得到的第一特征为1024D，最终得到的第一参数为10D，用来控制对象的姿势，最终得到的第二参数为72D，用来控制对象的大小。

步骤103，将目标对象的三维建模参数输入预先配置的对象参数模型，拟合目标对象三维重建的临时三维对象模型，确定临时三维对象模型中三维关键点的位置。

具体实施中，目标对象的三维建模参数，即第一参数和第二参数输入预先配置的对象参数模型，拟合目标对象三维重建的临时对象模型，以大小为6890*3为例，确定临时对象模型中三维关键点，以大小为24*3为例，临时对象模型中三维关键点的位置以世界坐标系坐标(X，Y，Z)来表示，单位为毫米(mm)。

步骤104，基于三维关键点的位置和二维关键点的位置，对预先确定的初始相机变换参数进行校准，得到满足预设要求的目标相机变换参数。

利用预先确定的初始相机变换参数，将三维关键点的位置转换到相机坐标系中，得到三维关键点在相机坐标系中的对应位置。

具体实施中，使用如下公式其中，X，Y，Z为世界坐标系坐标，单位为mm，f_x，f_y表示缩放系数，c_x，c_y表示平移系数，将三维关键点的位置转换到相机坐标系中，得到三维关键点在相机坐标系中的对应位置。

以图像数据中目标对象的二维关键点的位置为基准，计算三维关键点在相机坐标系中的对应位置与图像数据中目标对象的二维关键点的位置之间的位置误差；

在确定位置误差大于预设误差阈值时，调整相机变换参数，并重新计算位置误差，直至位置误差小于预设误差阈值时，将调整后的相机变换参数确定为目标相机参数。

步骤105，基于目标对象的三维建模参数和目标相机变换参数，构建目标对象的对象三维模型。

具体实施时，基于目标对象的三维建模参数和目标相机变换参数，构建目标对象的完整对象三维模型，可以采用现有技术中的方式，此处不再赘述。

本公开实施例提供的对象三维重建的方法，在获取包含目标对象部分区域的图像数据之后，通过确定图像数据中目标对象的二维关键点的位置，使得对象参数模型的学习能力更强，学到的特征信息更加全面，更加具有鲁棒性，而且结合确定图像数据中目标对象的二维关键点的位置和拟合出的目标对象的临时三维对象模型中三维关键点的位置，对相机变换参数进行校准，从而提高基于目标对象的三维建模参数和相机变换参数构建出的对象三维模型的精度，也即在根据包含目标对象部分区域的图像数据进行三维重建的场景下，提高了对象三维重建精度。

如图2所示，本公开实施例提供的对象三维重建方法应用于人体三维重建中，下面结合附图2以一个具体示例对本公开实施例提供的对象三维重建方法进行详细说明。

步骤201，获取包含目标人体部分区域的图像数据。

步骤202，对图像数据进行多次处理，得到对象特征信息。

步骤203，基于预先确定的对象三维建模参数和图像数据，确定目标对象的三维建模参数。

步骤204，将目标对象的三维建模参数输入预先配置的对象参数模型，拟合目标对象三维重建的临时三维对象模型，确定临时三维对象模型中三维关键点的位置。

步骤205，基于预先确定的对象三维建模参数和图像数据，确定目标对象的三维建模参数和图像数据中目标对象的二维关键点的位置。

步骤206，基于三维关键点的位置和二维关键点的位置，对预先确定的初始相机变换参数进行校准，得到满足预设要求的目标相机变换参数。

步骤207，基于目标对象的三维建模参数和目标相机变换参数，构建目标对象的对象三维模型。

基于相同的发明构思，本公开实施例还提供一种对象三维重建的装置。

如图3所示，本公开实施例所提供的对象三维重建的装置，包括：

获取模块301，被配置为执行获取包含目标对象部分区域的图像数据；

第一确定模块302，被配置为执行基于预先确定的对象三维建模参数和图像数据，确定目标对象的三维建模参数和图像数据中目标对象的二维关键点的位置；

第二确定模块303，被配置为执行将目标对象的三维建模参数输入预先配置的对象参数模型，拟合目标对象三维重建的临时三维对象模型，确定临时三维对象模型中三维关键点的位置；

校准模块304，被配置为执行基于三维关键点的位置和二维关键点的位置，对预先确定的初始相机变换参数进行校准，得到满足预设要求的目标相机变换参数；

构建模块305，被配置为执行基于目标对象的三维建模参数和目标相机变换参数，构建目标对象的全身对象三维模型。

在一种可能的实施方式中，第一确定模块302，具体被配置为执行：

对图像数据进行多次处理，得到对象特征信息，处理包括多次卷积处理和一次池化处理；

基于预先确定的对象三维建模参数和对象特征信息，确定目标对象的三维建模参数；

对多次卷积处理的任一中间卷积结果进行预设处理，得到图像数据中目标对象的二维关键点的位置。

在一种可能的实施方式中，第一确定模块302，具体被配置为执行：

拼接预设确定的对象三维建模参数与对象特征信息得到初始输入特征；

利用预先训练的全连接层网络模型，基于初始输入特征，确定目标对象的三维建模参数。

在一种可能的实施方式中，预先训练的全连接层网络模型包括第一全连接层、第二全连接层和第三全连接层；

第一确定模块302，具体被配置为执行：

以初始输入特征为首次输入特征，循环执行如下步骤预设次数，将最终得到的第一参数和第二参数确定为目标对象的三维建模参数：

将前一输出特征输入预先配置的全连接网络中用于提取特征的第一全连接层，得到第一特征；

将前一输出特征输入预先配置的全连接网络中的用于提取参数第二全连接层，得到第一参数，其中，第一参数用来控制目标对象的姿势；

将前一输出特征输入预先配置的全连接网络中用于提取参数的第三全连接层，得到第二参数，其中，第二参数用来控制目标对象的大小；

拼接第一特征、第一参数和第二参数，得到输出特征。

在一种可能的实施方式中，第一确定模块302，具体被配置为执行：

对多次卷积处理的任一中间卷积结果进行预设处理，得到二维关键点热图；

基于二维关键点热图确定图像数据中目标对象的二维关键点的位置。

在一种可能的实施方式中，预设处理包括：多次卷积处理和多次上采样处理，其中，卷积处理和上采样处理依次交替进行，且最后一次处理为卷积处理。

在一种可能的实施方式中，校准模块304，具体被配置为执行：

利用预先确定的初始相机变换参数，将三维关键点的位置转换到相机坐标系中，得到三维关键点在相机坐标系中的对应位置；

以二维关键点的位置为基准，计算三维关键点在相机坐标系中的对应位置与二维关键点的位置之间的位置误差；

在确定位置误差大于预设误差阈值时，调整相机变换参数，并重新计算位置误差，直至位置误差小于预设误差阈值时，将调整后的相机变换参数确定为目标相机参数。

图4是根据一示例性实施例示出的一种对象三维重建电子设备400的框图。如图4所示，本公开实施例提供的对象三维重建电子设备400，包括：

处理器410；

用于存储所述处理器410可执行指令的存储器420；

其中，所述处理器410被配置为执行所述指令，以实现本公开实施例中的对象三维重建的方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器420，上述指令可由装置400的处理器410执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本公开实施例中，如图5所示，本公开实施例给出一种应用对象三维重建的方法的终端500，包括：射频(Radio Frequency，RF)电路510、电源520、处理器530、存储器540、输入单元550、显示单元560、摄像头570、通信接口580、以及无线保真(Wireless Fidelity，Wi-Fi)模块590等部件。本领域技术人员可以理解，图5中示出的终端的结构并不构成对终端的限定，本申请实施例提供的终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图5对所述终端500的各个构成部件进行具体的介绍：

所述RF电路510可用于通信或通话过程中，数据的接收和发送。特别地，所述RF电路510在接收到基站的下行数据后，发送给所述处理器530处理；另外，将待发送的上行数据发送给基站。通常，所述RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。

此外，RF电路510还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

Wi-Fi技术属于短距离无线传输技术，所述终端500通过Wi-Fi模块590可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述Wi-Fi模块590可用于通信过程中，数据的接收和发送。

所述终端500可以通过所述通信接口580与其他终端实现物理连接。可选的，所述通信接口580与所述其他终端的通信接口通过电缆连接，实现所述终端500和其他终端之间的数据传输。

所述终端500需要具有数据传输功能，即所述终端500内部需要包含通信模块。虽然图5示出了所述RF电路510、所述Wi-Fi模块590、和所述通信接口580等通信模块，但是可以理解的是，所述终端500中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。

例如，当所述终端500为手机时，所述终端500可以包含所述RF电路510，还可以包含所述Wi-Fi模块590；当所述终端500为计算机时，所述终端500可以包含所述通信接口580，还可以包含所述Wi-Fi模块590；当所述终端500为平板电脑时，所述终端500可以包含所述Wi-Fi模块。

所述存储器540可用于存储软件程序以及模块。所述处理器530通过运行存储在所述存储器540的软件程序以及模块，从而执行所述终端500的各种功能应用以及数据处理，并且当处理器530执行存储器540中的程序代码后，可以实现本公开实施例图1中的部分或全部过程。

可选的，所述存储器540可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等；存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。

此外，所述存储器540可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述输入单元550可用于接收用户输入的数字或字符信息，以及产生与所述终端500的用户设置以及功能控制有关的键信号输入。

可选的，输入单元550可包括触控面板551以及其他输入终端552。

其中，所述触控面板551，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板551上或在所述触控面板551附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板551可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器530，并能接收所述处理器530发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板551。

可选的，所述其他输入终端552可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

所述显示单元560可用于显示由用户输入的信息或提供给用户的信息以及所述终端500的各种菜单。所述显示单元560即为所述终端500的显示系统，用于呈现界面，实现人机交互。

所述显示单元560可以包括显示面板561。可选的，所述显示面板561可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置。

进一步的，所述触控面板551可覆盖所述显示面板561，当所述触控面板551检测到在其上或附近的触摸操作后，传送给所述处理器530以确定触摸事件的类型，随后所述处理器530根据触摸事件的类型在所述显示面板561上提供相应的视觉输出。

虽然在图5中，所述触控面板551与所述显示面板561是作为两个独立的部件来实现所述终端500的输入和输入功能，但是在某些实施例中，可以将所述触控面板551与所述显示面板561集成而实现所述终端500的输入和输出功能。

所述处理器530是所述终端500的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器540内的软件程序和/或模块，以及调用存储在所述存储器540内的数据，执行所述终端500的各种功能和处理数据，从而实现基于所述终端的多种业务。

可选的，所述处理器530可包括一个或多个处理单元。可选的，所述处理器530可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器530中。

所述摄像头570，用于实现所述终端500的拍摄功能，拍摄图片或视频。所述摄像头570还可以用于实现终端500的扫描功能，对扫描对象(二维码/条形码)进行扫描。

所述终端500还包括用于给各个部件供电的电源520(比如电池)。可选的，所述电源520可以通过电源管理系统与所述处理器530逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

需要说明的是，本公开实施例处理器530可以执行图4中处理器410的功能，存储器540存储处理器510中的内容。

另外，在示例性实施例中，本公开还提供了一种存储介质，当存储介质中的指令由上述对象三维重建的设备的处理器执行时，使得上述对象三维重建的设备能够实现本公开实施例中的对象三维重建的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。