一种头发重建方法及设备

文档序号:170490 发布日期:2021-10-29 浏览:21次 >En<

阅读说明:本技术 一种头发重建方法及设备 (Hair reconstruction method and equipment ) 是由 陈春朋 刘帅 许瀚誉 吴连朋 于 2021-07-13 设计创作,主要内容包括:本申请涉及三维重建技术领域,提供一种头发重建方法及设备,具体包括获取目标对象的RGB图像和深度图像,从所述RGB图像中提取所述目标对象的头发区域内的第二像素点,并根据所述RGB图像和所述深度图像的映射关系,获得所述各个第一像素点中与所述第二像素点对应的多个候选像素点;根据所述多个候选像素点各自的置信度与相应候选像素点所在区域的预设置信度阈值的比较结果,获得目标像素点集合;对所述目标像素点集合中的目标像素点进行去噪处理,得到处理后的深度图像,并根据处理后的深度图像和所述RGB图像,重建所述目标对象的头发,提高了人体模型头发部分的真实感,且计算复杂较低,重建效率较高,满足实时重建的要求。(The application relates to the technical field of three-dimensional reconstruction, and provides a hair reconstruction method and equipment, which specifically comprise the steps of obtaining an RGB (red, green and blue) image and a depth image of a target object, extracting second pixel points in a hair region of the target object from the RGB image, and obtaining a plurality of candidate pixel points corresponding to the second pixel points in each first pixel point according to the mapping relation between the RGB image and the depth image; obtaining a target pixel point set according to the comparison result of the confidence degrees of the candidate pixel points and the preset confidence degree threshold value of the area where the corresponding candidate pixel point is located; denoising the target pixel points in the target pixel point set to obtain a processed depth image, reconstructing the hair of the target object according to the processed depth image and the RGB image, improving the sense of reality of the hair part of the human body model, and having low computation complexity and high reconstruction efficiency, and meeting the requirement of real-time reconstruction.)

一种头发重建方法及设备

技术领域

本申请涉及三维重建技术领域,尤其涉及一种头发重建方法及设备。

背景技术

人体三维重建过程中,首先从各类传感器获得人体重建的采集数据,然后使用三维重建方法对采集数据进行处理,从而得到人体三维信息,重建出人体模型。其中,人体三维信息涉及形状、姿态和材质数据等。近年来,随着成像技术的不断发展,基于RGBD相机的视觉三维重建技术逐渐成为研究热点。

重建方法可分为实时重建方法和离线重建方法。离线重建方法大都采用鸟笼式多相机协同采集数据的方式,使用多视点立体匹配或者深度信息融合的方式进行人体模型重建,由于使用了几十甚至上百个RGB或RGBD相机,多视点采集的数据可充分融合,互为补充,可以得到高精度的人体及头发的点云数据,但这种方法成本高、速度慢,仅适合对实时性要求不高、成本要求不高的场景。实时重建方法在现有网络带宽的能力下,可以以20~30fps的速度实时重建人体模型,然而,使用RGBD相机采集数据时,由于头发本身材质的影响,无法获取足够真实的头发点云数据,导致头发部分的重建效果极差。

目前,头发的重建方法主要有两种,一是使用深度学习算法对采集的二维图像中的人体进行三维几何估计,由于二维图像中的头发信息丰富,通过二维图像估计的头发几何数据几乎不会存在明显的数据缺失,人体模型的真实感较强,但仅仅通过二维图像完成人体模型的重建,算法复杂度高,执行效率低,一般适合离线重建。二是提前建立发型库,通过对RGB图像中的头发进行类型识别,在已建立的发型库中查找与之最接近的发型,重建效率较高,但需要提前建立发型库,且发型库中的发型无法与采集对象的发型完全匹配,导致人体模型的真实感较差。

发明内容

本申请实施例提供了一种头发重建方法及设备,用于提高人体模型中头发部分的真实感。

第一方面,本申请实施例提供一种头发重建方法,包括:

获取RGB相机采集的目标对象的RGB图像和所述目标对象的深度图像,所述深度图像是由IR相机采集的红外图像得到的,所述深度图像中各个第一像素点的置信度,是根据以多个相位角发射的光波照射到所述目标对象后接收的相应相位角的反射光波的能量积分值得到的;

从所述RGB图像中提取所述目标对象的头发区域内的第二像素点,并根据所述RGB图像和所述深度图像的映射关系,获得所述各个第一像素点中与所述第二像素点对应的多个候选像素点;

根据所述多个候选像素点各自的置信度与相应候选像素点所在区域的预设置信度阈值的比较结果,获得目标像素点集合;

对所述目标像素点集合中的目标像素点进行去噪处理,得到处理后的深度图像,并根据处理后的深度图像和所述RGB图像,重建所述目标对象的头发。

第二方面,本申请实施例提供一种重建设备,包括通信接口、显示器、存储器、处理器;

所述通信接口,与所述处理器连接,被配置为接收RGB相机采集的目标对像的RGB图像,以及接收由IR相机采集的所述目标对象的红外图像得到的深度图像,其中,所述深度图像中各个第一像素点的置信度,是根据以多个相位角发射的光波照射到所述目标对象后接收的相应相位角的反射光波的能量积分值得到的;

所述显示器,与所述处理器连接,被配置为显示重建头发;

所述存储器,与所述处理器连接,被配置为存储计算机程序指令;

所述处理器,被配置为根据所述计算机程序指令,执行以下操作:

从所述RGB图像中提取所述目标对象的头发区域内的第二像素点,并根据所述RGB图像和所述深度图像的映射关系,获得所述各个第一像素点中与所述第二像素点对应的多个候选像素点;

根据所述多个候选像素点各自的置信度与相应候选像素点所在区域的预设置信度阈值的比较结果,获得目标像素点集合;

对所述目标像素点集合中的目标像素点进行去噪处理,得到处理后的深度图像,并根据处理后的深度图像和所述RGB图像,重建所述目标对象的头发。

第三方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于使计算机执行本申请实施例提供的头发重建方法。

本申请的上述实施例中,IR相机利用多个相位角发射的光波照射到目标对象后反射的光波生成红外图像,并根据相应相位的反射光波的能量积分值确定红外图像中每个像素点的置信度,得到深度图像,从获取的RGB图像中提取目标对象的头发区域内的第二像素点,根据RGB图像和深度图像之间的该映射关系,可以得到深度图像中各个第一像素点与第二像素点对应的多个候选像素点,并利从多个候选像素点中筛选出满足置信度要求的目标像素点,得到目标像素点集合,进一步地,对目标像素点集合中目标像素点进行去噪处理,得到处理后的深度图像,基于RGB图像和处理后的深度图像重建目标对象的头发,由于深度图像和RGB图像中的头发数据都是目标对象的真实数据,相对于采用发型库中的发型,提高了人体模型头发部分的真实感,并且在保证人体模型头发部分真实感的情况下,利用目标对象的深度图像和RGB图像便可重建目标对象的头发,计算复杂较低,重建效率较高,满足实时重建的要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的系统架构图;

图2示例性示出了本申请实施例提供的一种测量深度信息的方法示意图;

图3示例性示出了本申请实施例提供的一种头发重建的方法流程图;

图4a示例性示出了本申请实施例提供的目标对象头发的RGB图像;

图4b示例性示出了本申请实施例提供的目标对象头发的深度图像;

图4c示例性示出了本申请实施例提供的目标对象头发的深度图像对应的点云图;

图4d示例性示出了本申请实施例提供的去噪补全后的点云图;

图5示例性示出了本申请实施例提供的分割目标对象的头发区域示意图;

图6示例性示出了本申请实施例提供的头发数据补全过程示意图;

图7示例性示出了本申请实施例提供的完整的头发重建方法流程图;

图8示例性示出了本申请实施例提供的重建设备的功能结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。

基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

为清楚描述本申请的实施例,下面对本申请中的名词给出解释说明。

1)TOF(Time of Flight的缩写,中文为″时间飞行″)相机:由红外光发射器和红外相机(以下简称IR相机)组成,其中,红外光发射器用于向周围场景发射红外光波,IR相机用于捕获由人体返射的红外光波,并根据反射光波计算人体到相机的距离(即深度信息),从而得到深度图像。ToF相机的深度成像误差与采集距离成线性增长关系。

2)RGB相机:捕获周围环境的RGB信息,获得RGB图像。

3)深度(RGBD)相机:在RGB普通摄像头的功能上添加了一个深度测量功能,用于采集人体的RGB图像和深度图像,其中,深度图像上的像素值表征当前可见人体到相机的距离,且RGB图像和深度图像可进行一一映射。由于采集的深度图像中人体的深度信息相对稠密,因而使用深度图像可以更为便捷地重建人体稠密几何模型。根据成像原理,深度相机主要分为三类:双目立体匹配相机、结构光相机以及ToF相机。其中,ToF相机的深度成像精度最高;双目立体匹配相机的分辨率较高,但深度精度较低;结构光相机的深度成像精度介于两者之间,成像精度与深度值成指数增长关系,功耗较低。深度相机的深度成像精度一般随采集距离的增加而降低。

4)飞点噪声:在ToF相机生成深度图像的过程中,人体边缘处往往存在大量错误的深度测量值,生成3D点云图后,视觉上表现为飞在空中的无效数据点,称为飞点噪声。飞点噪声产生的主要原因在于:IR相机中,每个像素点都具有一定的物理尺寸,在测量人体边缘的深度值时,单个像素点会同时接收到前景和背景反射回来的光线,二者产生的能量叠加在一起,使得IR相机内的传感器获取的原始数据中包含多个距离信息。另外,镜头散射及像素间得串扰也会引起飞点噪声。

下面对本申请实施例的设计思想进行说明。

图1示例性示出了本申请实施例提供的应用场景示意图;如图1所示,TOF相机100在成像时,其内部的红外光发光器(图1中未示出)会向周围环境发射850nm或940nm的红外调制光波,被测人体接收到光波后,将光波反射到IR相机的感光芯片中,获得红外图像。IR相机根据发射光波与接收的反射光波的时间差,计算出被测人体到相机的距离(深度信息),即d=时间差t*光速c,获得深度图像。RGB相机200用于采集被测人体的RGB图像,为人体重建提供纹理数据。

由于光波的波速较高,难以直接精确测量光波从发射到接收的时间。图2示例性示出了本申请实施例提供的一种测量深度信息的方法示意图;如图2所示,通过计时器(Timer)计算红外光发光器发射调制光波的时间和IR相机内感光芯片的曝光时间,来间接计算光波的传播时间和人体到相机的距离。

如图1示出的,由IR相机的感光芯片生成的红外图像中,每个像素点都存在深度信息,但由于人体衣服材质、颜色等影响,每个像素点会对光波产生不同程度的振幅衰减,IR相机内部的计算单元根据振幅衰减程度,估计出相应像素点的置信度,根据置信度与置信度阈值的比较,剔除噪声点。

传统的ToF相机,因使用场景不是固定,所以在设计置信度阈值时,大都使用一个全局阈值来对可能的噪声点进行滤除,导致某些特定场景(如头发区域)数据缺失,重建的人体模型缺乏真实感。而在人体三维重建过程中,真实感是决定人体三维重建质量的关键。

在实时三维重建领域,重建模型的头发部分经常出现大面积的数据缺失,主要有两方面原因:一是头发为黑色反光材质,既有深色物体的吸光特性,也有反光物体的反光特性;二是目前的TOF相机,在成像时并未考虑实际人体的语义信息,相机芯片感光时使用全局置信度阈值进行滤波,而头发部分由于吸光和反光的原因,置信度阈值较低,因此会出现大量的数据缺失。而头发的位置靠近脸部,相对于其他部位更能引起用户的注意,如果头发缺失,会严重影响人体重建的美感和真实性。

基于上述分析,本申请实施例提供一种头发重建方法及设备,由于是对人体的三维重建,ToF相机的使用场景是确定的,基于这个先验条件,基于RGB相机采集的目标对象的RGB图像,识别目标对象的头发区域,利用RGB相机和IR相机标定得到的图像间的映射关系,确定RGB图像中头发区域的像素点在深度图像中对应的头发像素点,并在ToF相机中设置不同头区域内像素点的置信度阈值,根据深度图像中头发像素点的置信度与置信度阈值的比较,得到用于重建目标对象头发的目标像素点集合,对目标像素点集合中目标像素点进行去噪,得到去噪后的深度图像,根据RGB图像和去噪后的深度图像,重建目标对象的头发。进一步地,为保证头发的重建质量,对去噪后的深度图像中头发空洞进行数据补全,从而提高头发部分的数据的完整性,进而提高人体模型的真实性。

图3示例性示出了本申请实施例提供的头发重建的方法流程图;如图3所示,该方法由重建设备执行,主要包括以下几步:

S301:获取目标对象的RGB图像和目标对象的深度图像。

该步骤中,重建设备获取RGB相机采集的目标对象的RGB图像,如图4a所示,RGB图像包含丰富的人体语义信息且数据损失很小,可用于得到目标对象的头发区域以及为模型重建提供纹理数据。

在S301中,重建设备还可以获取深度图像,如图4b所示,其中,深度图像是由IR相机采集的目标对象的红外图像得到的,深度图像中各个第一像素点的置信度,是根据以多个相位角发射的光波照射到目标对象后接收的相应相位角的反射光波的能量积分值得到的。其中,利用红外图像得到深度图像的过程可由IR相机执行,也可由重建设备执行,具体可根据实际设备的处理器配置进行设定。

具体实施时,调制TOF相机中红外光发光器的光源,使红外发光器按照多个相位角向目标对象发射频率为f的光波,光波照射到目标对象后,根据光的反射原理,目标对象向IR相机的感光芯片反射相应相位角的反射光波,生成红外图像。并且,IR相机对多个相位角的反射光波分别进行积分,得到相应相位角的反射光波的能量积分值。IR相机根据多个相位角的反射光波的能量积分值,确定发射光波和反射光波的相位差。可选的,多个相位角可分别为0°、90°、180°、270°,这四个相位角的反射光波的能量积分值分别记为r0、r1、r2、r3,则相位差的计算公式如下:

进一步的,IR相机根据相位差以及光波的波速(c=299792458m/s)和频率f,确定红外中每个像素点的深度信息,计算公式如下:

并且,根据IR相机根据四个相位角的反射光波的能量积分值,还可以确定红外图像中每个像素点的置信度,计算公式如下:

其中,目标对象的反射率越低,A值越小,即置信度越低,表明数据缺失的程度越严重。

基于红外图像中每个像素点的深度信息和置信度,生成深度图像。具体的,若像素点的置信度大于等于预设阈值的,表明该像素点的深度信息有效,该像素点深度图像中的有效像素点,该像素点的像素值为深度值;若像素点的置信度小于预设阈值的,表明该像素点的深度信息无效,该像素点深度图像中的无效像素点,从而生成红外图像对应的深度图像。其中,无效像素点在深度图像的视觉表现上为数据空洞。

本申请的实施例中,为了提高深度数据的有效性,设置红外光发射器为多频红外发射器,多频红外发光器按照0°、90°、180°、270°四个相位角,将多个调制频率的正弦光波交替发射到目标对象,针对每一个相位角发射的多个调制频率的正弦光波,IR相机的将目标对象反射的多个调制频率的反射光波按照预设频率权重进行加权,得到相应相位角多个调制频率的反射光波加权后的能量积分值。根据加权后的四个能量积分值,计算每个像素点的深度信息和置信度。可选的,本申请实施例中正弦光波的调制频率可设置为20MHZ、60MHZ、80MHZ、100MHZ。

S302:从RGB图像中提取目标对象的头发区域内的第二像素点,并根据RGB图像和深度图像的映射关系,获得各个第一像素点中与第二像素点对应的多个候选像素点。

该步骤中,对获取的RGB图像进行实时的人体语义分割,识别处目标对象的头发区域,并提取头发区域内的第二像素点。

本申请实施例中,对基于RGB图像实时分割头发区域的算法不做限制性要求,包括但不限于HLNet算法和头发分割(hair-segment)算法。其中,hair-segment算法中,认为人在视频流中的运动具有时空一致性,即上一帧与当前帧中头发位置不会发生剧烈变动。

在S302中,根据hair-segment算法的先验知识,重建设备将上一RGB图像中头发分割的掩膜结果融合到当前获取的RGB图像的三颜色通道中,组成四通道数据,基于融合后的四通道数据,采用深度神经网络算法分割出目标对象的头发区域,分割过程如图5所示。

在S302中,基于获取RGB图像分割头发区域时,除了包含当前RGB图像中的RGB三通道颜色信息外,还包含上一RGB图像中头发的掩膜信息,因此,可基于上一RGB图像中头发的掩膜信息,快速对当前RGB图像中头发的掩膜位置进行预测,完成实时分割。基于实验数据得到,重建设备使用该方法可实现30-100fps的头发分割,实时性较高。

由于IR相机和RGB相机的分辨率不同、视角范围不同,RGB图像中的第二像素点无法与深度图像中的第一像素点相对应。因此,本申请的实施例中,预先对RGB相机和IR相机进行了联合标定,得到了IR相机的内参数、RGB相机的内参数、IR相机坐标系与RGB相机坐标系的外参数转换矩阵,通过以上三个参数,确定RGB图像中第二像素点与深度图像中的第二像素点之间的映射关系。基于该映射关系,重建设备获得各个第一像素点中与第二像素点对应的多个候选像素点。

S303:根据多个候选像素点各自的置信度与相应候选像素点所在区域的预设置信度阈值的比较结果,获得目标像素点集合。

本申请的实施例中,根据RGB图像中头发区域的第二像素点与深度图像中第一像素点的映射关系,设置了深度图像中不同头发区域内像素点的置信度阈值。对于头发中间区域和靠近脸部的头发区域,设置第一置信度阈值,以保留丰富的头发数据;对于头发边缘区域,设置第二置信度阈值,滤除可能的飞点噪声。其中,第一置信度阈值和第二置信度阈值的大小可根据实际需求进行设置,第一置信度阈值小于第二置信度阈值。

在S303中,针对多个候选像素点中的任一一个候选像素点i,重建设备根据候选像素点i的坐标,确定候选像素点i所在的头发区域,将候选像素点i的置信度A与候选像素点i所在的头发区域的置信度阈值dA进行比较,若A大于dA,则表明候选像素点为有效的头发数据,将候选像素点i确定为目标像素点,直至遍历全部候选像素点后,得到目标像素点集合。

筛选出目标像素点集合后的深度图像对应的点云图如图4c所示,如图4c示出的,深度图像中存在由无效的头发数据产生的飞点噪声,需进行去噪处理。

S304:对目标像素点集合中的目标像素点进行去噪处理,得到处理后的深度图像,并根据处理后的深度图像和RGB图像,重建目标对象的头发。

该步骤中,由于头发区域设置的置信度阈值较低,除保留足够的有效头发数据外,也会因为置信度阈值较低,在头发区域出现较多的噪声。为保证深度图像的质量,对目标像素点集合中的目标像素点进行去噪处理,从而抑制头发区域的噪声。

头发区域出现噪声主要因为是IR相机接收的反射光波能量不足,因此,头发区域的噪声基本都是飞点噪声,去除飞点噪声的方法包括但不限于统计滤波、高斯滤波、双边滤波等。统计滤波的算法思路是:对每个点的邻域进行一个统计分析,并去除一些不符合一定标准的点。下面以统计滤波为例描述飞点噪声的去除过程。

在S304中,假设目标像素点与邻域内的像素点的平均距离服从高斯分布,其形状是由均值和标准差决定。针对目标像素点集合中的每一目标像素点j,确定目标像素点j与第一预设邻域内的像素点的平均距离,判断目标像素点j对应的平均距离是否在第一预设距离区间内,若不在,表明目标像素点j很可能为飞点噪声,则从目标像素集合中剔除目标像素点j。直至遍历目标像素点集合后,得到去噪处理后的深度图像。

得到去噪后的深度图像后,在S304中,基于深度图像提取头发表面几何、头发表面方向等重建数据,并从RGB图像中提取头发的纹理数据,包括头发区域内像素点的颜色值,基于提取的重建数据和纹理数据,重建目标对象的头发模型。

考虑到头发本身的材质和颜色问题,会影响三维重建人体模型的真实性,本申请的上述实施例中充分利用RGB图像中的人体语义信息,对人体进行头发分割,基于分割结果,提取头发区域内的多个第二像素点,并基于RGB图像与深度图像之间的映射关系,得到深度图像中与第二像素点对应的多个候选像素点,通过设置的头发区域的置信度阈值,从多个候选像素点中筛选出目标像素点,并剔除目标像素点中的飞点噪声,从而提高了深度图像的质量,进而提高头发重建的真实性。本申请实施例使用的均为轻量级的图像分割及滤波算法,计算量较小,单帧算法耗时在10ms以内,可保证重建设备以30fps的速度完成对头发的重建,实时性强。

在一些实施例中,剔除目标像素点集合中的飞点噪声后,深度图像在视觉表现上会出现较多的数据空洞,这是因为头发数据缺失导致的,从而使得重建头发的真实度较低。本申请主要是针对头发的重建,主要关心头发部分的数据看起来是不是真实、光顺,对于缺失的头发数据,可根据已有的头发数据,对存在空洞区域的数据进行推理,补全头发数据。图4d示例性示出了本申请实施例对去噪后的深度图像中的头发数据进行补全后的点云图,相对于图4c所示的点云图,图4d示出的头发数据较为完整。进一步地,对补全后的头发数据进行平滑处理,使得重建的头发完整、光顺、真实。

具体实施时,从目标像素点集合中剔除平均距离不在第一预设距离区间内的目标像素点后,根据第二像素点和目标像素集合中的目标像素点,确定目标像素点集合中缺失的头发区域内的像素点。

例如,第二目标像素点为{z1,z2,z3,z4,...,z100}共100个,而目标像素点集合中的目标像素点为{z1’,z3’,z6’,z7’,...,z99’}共60个,因此,可以得到缺失的像素点为{z2’,z4’,z5’,...}共40个。

进一步地,根据缺失的像素点的第二预设邻域内的像素点,补全目标像素点集合。具体的,针对每一缺失的像素点,统计该像素点的第二预设邻域内存在深度信息的像素点的个数,若统计的个数大于预设阈值,则按照设置的像素权重,对有深度信息的像素点进行加权计算,得到缺失的像素点的深度信息,并将该像素点存入目标像素点集合。其中,缺失的像素点的深度信息为:

其中,d表示缺失像素点的深度信息,n为第二预设邻域内存在深度信息的像素点个数,wi为第i个像素点对应的像素权重,di为第i个像素点的深度信息。

例如,假设第二预设邻域为与缺失的像素点k距离最近的8个像素点组成的邻域,第二预设邻域内的8个像素点分别记为k1-k8,若这8个像素点中,超过2个像素点(k1、k3、k6)存在深度信息,表明缺失的像素点k可基于k1、k3、k6者三个像素点进行补全,则补全后缺失的像素点k的深度信息为dk=wk1dk1+wk3dk3+wk6dk6

本申请的上述实施例中,通过RGB图像和深度图像之间的映射关系,利用RGB图像中的头发区域的第二像素点,确定深度图中哪些第一像素点是有效的头发像素点,哪些是头发区域缺失的像素点(空洞),以此作为先验知识,补全头发区域内的缺失的像素点,得到完整的头发数据,从而提高重建头发的完整性、真实性。

需要说明的是,当缺失的像素点k的第二预设邻域内存在深度信息的像素点的个数小于预设阈值,则将缺失的像素点k存入待补全队列,待其第二预设邻域内存在深度信息的像素点个数满足阈值要求时,对其深度信息进行补全。

如图6所示,空心圆圈表示缺失的像素点,实心圆圈表示存在深度信息的像素点(即有效的头发数据),缺失的像素点B的第二预设领域内(用粗实线表示)仅有两个有效的像素点,不满足补全条件,因此将其存入待补全队列,而缺失的像素点A的第二预设领域内(用细实线表示)有三个有效的像素点,满足补全条件,因此可根据三个有效的像素点对其进行补全,补全后的像素点A可作为像素点B的第二预设邻域内的有效像素点,此时,缺失的像素点B满足补全条件,因此,可对缺失的像素点B进行补全。

本申请的实施例中,像素权重的设置方式主要包括以下两种:

方式一

根据第二预设邻域内有深度信息的像素点,与缺失的像素点的第一距离,确定有深度信息的像素点对应的像素权重,像素权重与第一距离呈正相关。

仍以图6为例,在补全缺失的像素点A时,第二预设邻域内的像素点C距离其最近,像素点E距离其最远,则设置像素点C、D、E对应的像素权重为wc>wD>wE

方式二

根据第二预设邻域内有深度信息的像素点,为目标像素点集合中的原始目标像素点还是补全后的目标像素点,设置相应的像素权重,原始目标像素点的像素权重大于补全后的目标像素点的像素权重。

仍以图6为例,在补全缺失的像素点B时,第二预设邻域内的像素点F、G为原始的有效数据(即原始的目标像素点)像素点A为补全后的目标像素点,则设置像素点A的像素权重小于像素点F、G的像素权重。

在一些实施例中,补全所有的缺失像素点得到补全后的目标像素点集合后,由于缺失的像素点的深度信息是由其临近的像素点的深度信息加权得到的,会引起部分补全后的目标像素点的深度信息不平滑,可采用高斯平滑算法对补全后的目标像素点进行平滑,以使重建后的头发更加顺滑,真实。

在另一些实施例中,由于S304中虑除飞点噪声时,根据点与周围临近点的欧式距离作为剔除依据,是一种全局的噪声虑除方法,可能存在遗留噪声。为了更好的去除噪声,得到干净的深度图像,可增加人体先验信息:头发离人脸的距离不会太远。

具体实施时,从RGB图像中提取头发区域内的第二像素点时,还可以从RGB图像中提取人脸像素点,并根据RGB图像和深度图像的映射关系,确定人脸像素点在深度图像中对应的人脸像素点,进一步地,针对每个第二像素点对应的第一像素点,确定该第一像素点与最近的人脸像素点之间的第二距离,若确定的第二距离不在第二预设距离区间内,则表明第一像素点为噪声,并从目标像素点集合中剔除该第一像素点,从而进一步抑制头发部分的噪声。

基于噪声剔除后的目标像素点集合,得到干净的深度图像,基于干净的深度图像,提取头发表面几何、头发表面方向等重建数据,结合从RGB图像中提取头发的纹理数据,重建目标对象的头发模型,从而提高头发的真实性。

图7实施例示出了本申请实施例提供的完整的头发重建的方法流程图,如图7所示,主要包括以下几步:

S701:RGB相机采集目标对象的RGB图像。

该步骤中,RGB图像包含丰富的人体语义信息,基于RGB图像,可以分割得到目标对象的头发区域,并且RGB图像还包含头发的纹理数据。

S702:红外光发射器按照四个相位角,向目标对象交替发射多个调制频率的正弦光波。

该步骤中,四个相位角的大小和调制频率的大小参见前述实施例,在此不再重复。

S703:IR相机接收目标对象反射的四个相位角对应的多个调制频率的反射光波,得到红外图像。

S704:IR相机按照预设频率权重,对多个调制频率的反射光波进行加权,分别得到四个相位各自的反射光波的能量积分值。

该步骤的详细描述参见S301,在此不再重复。

S705:IR相机基于四个相位各自的反射光波的能量积分值,确定红外图像中每一个像素点的深度信息和置信度,得到深度图像。

该步骤中,每个像素点的深度信息和置信度的计算方式参见S301,在此不再重复。

S706:重建设备获取RGB图像和深度图像。

S707:重建设备从RGB图像中提取目标对象的头发区域内的第二像素点,以及人脸区域内的人脸像素点。

该步骤中,人脸区域的分割与头发区域的分割方法类似,参见S302,在此不再重复。

S708:重建设备根据RGB图像和深度图像的映射关系,获得深度图像中各个第一像素点中与第二像素点对应的初始候选像素点集合,以及获得深度图像中各个第一像素点中与RGB图像中的人脸像素点对应的参考像素点集合。

该步骤的详细描述参见S302,在此不在重复。

S709:重建设备确定初始候选像素点集合中的初始候选像素点,与参考像素点集合中距离初始候选像素点最近的参考像素点之间的第二距离。

该步骤中,根据人体先验信息:头发离人脸的距离不会太远,可确定初始候选像素点与参考像素点之间的第二距离,基于第二距离,剔除无效的初始候选像素点,即剔除无效的头发数据。

S710:重建设备确定第二距离是否在第二预设距离区间,若在,则执行S711,否则剔除初始候选像素点。

该步骤中,根据第二距离是否在第二预设距离区间,确定初始候选像素点是否为噪声,若在,表明初始候选像素点为有效的头发数据,应保留,若不在,表明初始候选像素点为无效的头发数据,应剔除。

S711:重建设备保留初始候选像素点,得到目标候选像素点集合。

S712:重建设备确定目标候选像素点集合中的目标候选像素点各自的置信度,是否大于相应目标候选像素点所在区域的预设置信度阈值,若大于,执行S713,否则剔除目标候选像素点。

该步骤中,根据RGB图像中头发区域的第二像素点与深度图像中第一像素点的映射关系,设置了深度图像中不同头发区域内像素点的置信度阈值,具体设置方式参见S303,在此不再重复。

S713:重建设备保留目标候选像素点,得到目标像素点集合。

S714:重建设备对目标像素点集合中的目标像素点进行去噪处理,得到去噪后的深度图像。

该步骤的详细描述参见S304,在此不再重复。

S715:重建设备根据目标像素点集合以及提取的第二像素点,补全深度图像中头发部分缺失的像素点,得到补全后的深度图像。

该步骤的详细描述参见前述实施例,在此不再重复。

S716:重建设备从补全后的深度图像中提取头发的重建数据,并从RGB图像中提取头发的纹理数据,根据提取的重建数据和纹理数据,重建目标对象的头发。

该步骤的详细描述参见S304,在此不再重复。

需要说明的是,本申请实施例中的重建设备,包括但不限于智能电视、VR/AR设备、智能手机、笔记本电脑等具有人机交互功能的终端。

基于相同的技术构思,本申请实施例提供一种重建设备,该设备能实现前述实施例中的头发重建方法,且能达到相同的技术效果。

参见图8,该重建设备包括通信接口801、显示器802、存储器803、处理器804,通信接口801、显示器802、存储器803分别和处理器804通过总线连接(在图8中用双向箭头表示),通信接口801被配置为接收RGB相机采集的目标对像的RGB图像,以及接收由IR相机采集的所述目标对象的红外图像得到的深度图像,其中,所述深度图像中各个第一像素点的置信度,是根据以多个相位角发射的光波照射到所述目标对象后接收的相应相位角的反射光波的能量积分值得到的;显示器802被配置为显示重建头发;存储器803被配置为存储计算机程序指令;处理器804被配置为根据计算机程序指令,执行以下操作:

从RGB图像中提取目标对象的头发区域内的第二像素点,并根据RGB图像和深度图像的映射关系,获得各个第一像素点中与第二像素点对应的多个候选像素点;

根据多个候选像素点各自的置信度与相应候选像素点所在区域的预设置信度阈值的比较结果,获得目标像素点集合;

对目标像素点集合中的目标像素点进行去噪处理,得到处理后的深度图像,并根据处理后的深度图像和RGB图像,重建目标对象的头发。

可选的,所述光波为多个调制频率的光波交替发射的正弦光波时,所述相应相位角的反射光波的能量积分值,是多个调制频率的正弦光波交替发射到所述目标对象后,将所述目标对象反射的多个调制频率的反射光波按照预设频率权重加权后得到的能量积分值。

可选的,处理器804具体被配置为:

针对所述目标像素点集合中的每一目标像素点,确定所述目标像素点与第一预设邻域内的像素点的平均距离;

若所述目标像素点对应的平均距离不在第一预设距离区间内,则从所述目标像素集合中剔除所述目标像素点。

可选的,处理器804还被配置为:

根据所述第二像素点和所述目标像素集合中的目标像素点,确定所述目标像素点集合中缺失的所述头发区域内的像素点;

根据缺失的像素点的第二预设邻域内的像素点,补全所述目标像素点集合。

可选的,处理器804具体被配置为:

若所述第二预设邻域内的像素点中有深度信息的像素点的个数大于预设阈值,则按照设置的像素权重,对有深度信息的像素点进行加权计算,得到缺失的像素点的深度信息,并存入所述目标像素点集合。

可选的,处理器804通过以下方式设置像素权重:

根据有深度信息的像素点与缺失的像素点的第一距离,确定有深度信息的像素点对应的像素权重,所述像素权重与所述第一距离呈正相关;或者

根据有深度信息的像素点为所述目标像素点集合中的原始目标像素点还是补全后的目标像素点,设置相应的像素权重,原始目标像素点的像素权重大于补全后的目标像素点的像素权重。

可选的,处理器804还被配置为:

从所述RGB图像中提取人脸像素点,并根据所述RGB图像和所述深度图像的映射关系,确定所述人脸像素点在所述深度图像中对应的人脸像素点;

确定所述第二像素点对应的第一像素点与最近的人脸像素点之间的第二距离,并剔除所述第二距离不在第二预设距离区间内的第一像素点。

本申请实施例还提供一种计算机可读存储介质,用于存储一些指令,这些指令被执行时,可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品,用于存储计算机程序,该计算机程序用于执行前述实施例的方法。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

21页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:3D照片的生成方法与装置、终端及可读存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!