一种级次线配对的无相位展开三维人脸重建方法及系统
阅读说明：本技术 一种级次线配对的无相位展开三维人脸重建方法及系统 (Phase-unfolding-free three-dimensional face reconstruction method and system for level line pairing ) 是由 郭燕琼 游志胜 吕坤 朱江平 刘波 于 2021-09-07 设计创作，主要内容包括：本发明涉及光学三维成像领域,特别涉及一种级次线配对的无相位展开三维人脸重建方法及系统。本发明通过调整特征点,并以特征点为基础,采用在人脸上画线的方式来辅助截断相位级次线进行配对；可迅速、准确的实现各人脸图像上的截断相位级次线匹配对；同时在截断相位级次线的配对时无需借助其它辅助信号(如散斑、三角波等),降低了对投影光场的要求；本发明使用视差匹配矩阵指导截断相位图的匹配过程,直接得到稠密视差图,并根据稠密视差图,重建三维人脸；大大提高了三维重建的精度、准确度。(The invention relates to the field of optical three-dimensional imaging, in particular to a phase-unwrapped three-dimensional face reconstruction method and system based on rank line pairing. The invention adjusts the characteristic points and adopts a mode of drawing lines on the face to assist in truncating the phase level lines for matching on the basis of the characteristic points; the matching pair of the truncated phase level lines on each face image can be rapidly and accurately realized; meanwhile, other auxiliary signals (such as speckles, triangular waves and the like) are not needed when pairing of the phase-cut secondary lines is cut off, and the requirement on a projection light field is lowered; the method uses the parallax matching matrix to guide the matching process of the truncated phase diagram, directly obtains a dense parallax diagram, and reconstructs a three-dimensional face according to the dense parallax diagram; the precision and accuracy of three-dimensional reconstruction are greatly improved.)
技术领域
本发明涉及光学三维成像领域，特别涉及一种级次线配对的无相位展开三维人脸重建方法及系统。
背景技术
三维人脸识别技术快速走向应用的前提是大规模三维人脸数据的建库，基于三角测量原理的光学三维测量技术具有全场非接触、精度高、速度快等显著优点，被认为是获取高速高精度三维人脸数据重要推崇的技术之一。通过投影结构光光场至待测人脸表面获取三维面形数据，通常采用单目或双目相机来拍摄受到待测人脸表面调制的变形图像序列，并提取相位信息来重建三维模型。而结构光编码的目的在于丰富或增加被测弱纹理人脸表面的特征，从而提高三维重建结果的准确性、可靠性以及建模的完整性。目前，结构光编码主要有散斑结构光和条纹结构光，其中，基于条纹结构光编码的双目立体匹配系统因其高精度显著优点被应用广泛。而条纹结构光系统中，相移轮廓术(PSP)，以其更高的精度，更大的分辨率，更低的复杂度以及对环境光的不敏感性而闻名。
PSP的应用前提是被测量对象是相对静止的。然而，与测量静态对象不同的是，面部或多或少地处于运动中，例如呼吸，眨眼，抽搐或具有其他动态表情。而在动态三维人脸识别过程中，除了精度要求外，我们还希望能获取实时的三维人脸模型。因此，对于高精度的正弦条纹结构光三维人脸重建系统，还面临以下两个挑战：
(1)应尽可能的减少图像采集数量，节省采集时间。传统方法中投影条纹数量较多，如多频法、格雷码法等，相位解算过程中往往需要投影多帧低频信号去解算高频信号才能得到高精度的绝对相位，不仅大大增加了采集时间，而且会因人脸运动造成的伪像而降低建模精度。
(2)尽可能优化重建算法，节省计算时间。当前最流行的相位展开算法主要有两种：空间相位展开算法和时间相位展开算法。空间相位展开算法首先确定截断相位图上的2π不连续位置，然后通过添加或减去2π的整数倍来来删除其不连续性，但其存在因展开路径误差积累造成的鲁棒性较差的问题。而时间相位展开虽然能很好的克服空间相位展开的难题，且这些年来已经开发了许多方法，如多频法和格雷码法等，但其条纹投影数量依然是目前待解决问题。
如公开号为CN109903377A的中国发明专利，其提出了一种无需相位展开的三维人脸建模方法及系统，该方法利用人脸特征点并生成人脸几何信息约束条件，并利用人脸的几何信息约束条件对双目立体匹配的过程进行约束；可以直接使用截断相位进行三维人脸重建；但是其单纯的通过人脸几何信息约束条件进行立体匹配，存在匹配精度不高，且三维重建效果差的缺陷。
发明内容
本发明的目的之一至少在于，针对如何克服上述现有的无相位展开的三维人脸重建精度不高的问题，提供一种基于级次线配对的无相位展开三维人脸重建方法及系统。
本申请的第一方面提供一种级次线配对的无相位展开三维人脸重建方法，该方法可以由控制设备执行，或者也可以由配置于控制设备中的芯片执行，本申请对此不作限定。该方法包括如下步骤：
S1.以不相同的M个拍摄角度分别采集N帧被测人脸在结构光场中的人脸图像；对采集到的结构光场图像进行极线校正；其中，N是大于等于3的整数，M是大于等于2的整数；
S2.分别解析极线校正后结构光场图像中的截断相位，得到截断相位图；并通过截断相位得到截断相位级次线；解析极线校正后结构光场图像中的纹理图像，并提取特征点；选取特征点并进行对齐，得到基准点组；
S3.通过基准点组，对截断相位级次线进行匹配，得到截断相位级次线组；使用搜素算法，将同一截断相位级次线组中的所有像素点进行匹配并标记级次序号；
S4.通过所述截断相位级次线组匹配得到视差匹配矩阵；
S5.使用所述视差匹配矩阵对所述截断相位图进行匹配得到稠密视差图，并根据稠密视差图，重建三维人脸。
进一步的是，步骤S2包括：
S21.从不同纹理图像提取到的特征点中对应选取T个基准点，T≥2；
S22.将选取的基准点对应移动到级次线上并进行配对计算，得到基准点组。
进一步的是，所述基准点包括：人脸特征点和\或人脸特征点衍生点；
人脸特征点包括：眼睛、眉毛、鼻尖、嘴角或脸颊轮廓特征点；所述人脸特征点衍生点为两个所述人脸特征点的中点或多个所述人脸特征点的中心。
进一步的是，所述步骤S3具体包括：
S31.以基准点组为基准，按照预设路径在人脸图像上画线，将画线与级次线的交点进行标记和排序，并以此编排级次线的序号；将同一序号的级次线置入一个截断相位级次线组；
S32.通过搜索算法，标记出同一截断相位级次线组中每条级次线上每个像素点对应的级次序号。
进一步的是，所述步骤S4具体包括：
以任意一幅图像中级次线上的像素点为基准，在该像素点所处的截断相位级次线组的其他级次线上搜索同一行上与之级次序号相同的像素点，提取其纵坐标，并置入视差匹配矩阵；如在同一行上未搜索到相同级次序号的点，则将0置入视差匹配矩阵。
需要说明的是，所述截断相位级次线为截断相位信息中跳变像素点构成的曲线；其中所述跳变像素点为截断相位图中相位值从π跳变到-π或从-π跳变到π的像素点。
在本申请的一种可能的实施方式中，所述结构光场包括正弦条纹结构光场。
本发明的第二方面提供了一种级次线配对的无相位展开三维人脸重建系统，包括：一台光场投影装置、M个相机及一个控制模块；
其中，所述控制模块被配置为向光场投影装置发出控制信号，以使所述光场投影装置投射图像数量可调的正弦条纹结构光场序列至人脸表面，并基于相机传送的人脸图像，执行本申请第一方面提供的一种级次线配对的无相位展开三维人脸重建方法中任意一种可能的实施方式；
所述光场投影装置用于投射图像数量可调的正弦条纹结构光场序列至人脸表面，当接收到控制模块发出的控制信号时进行N帧条纹结构光投影并发送N个同步控制信号至M个相机；
所述M个相机用于在同步控制信号控制下拍摄被条纹结构光场照明下的人脸表面的多角度图像，并将拍摄到的人脸图像传送至所述控制模块；
其中,N是大于等于3的整数，M是大于等于2的整数。
本发明的第二方面提供了一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现本申请第一方面提供的一种级次线配对的无相位展开三维人脸重建方法中任意一种可能的实施方式。
综上，与现有技术相比，本发明的有益效果：
1.本发明通过最少只需投影N≥3帧相移正弦条纹结构光，无需投影附加结构光场的信息或嵌入其它辅助信号(如散斑、三角波等)，即可完成三维重建，节省了图像采集时间，降低了动态测量敏感性；同时本发明无需进行相位展开就可以实现三维重建，在不提升计算力的情况下减少了三维重建所需时间；同时本发明所提出的方法与现有无相位展开方法相比，具有高鲁棒性、高精度、高速的特点；
2.本发明通过调整特征点，并以特征点为基础，采用在人脸上画线的方式来辅助截断相位级次线进行配对；可迅速、准确的实现各人脸图像上的截断相位级次线匹配对；同时在截断相位级次线的配对时无需借助其它辅助信号(如散斑、三角波等)，降低了对投影光场的要求；
3.本发明使用视差匹配矩阵指导截断相位图的匹配过程，直接得到稠密视差图，并根据稠密视差图，重建三维人脸；大大提高了三维重建的精度、准确度。
附图说明
：图1为本发明示例性实施例提出的一种级次线配对的无相位展开三维人脸重建系统原理图；
图2为本发明示例性实施例提出的种级次线配对的无相位展开三维人脸重建方法流程图；
图3为发明示例性实施例中左右相移图像解析得到的截断相位和截断相位级次标记线示意图；
图4为本发明示例性实施例中左右相移图像解析得到的纹理图、人脸特征点提取图及选取的特征点示意图；
图5为本发明示例性实施例中选取的特征点对齐前后对比示意图；
图6为本发明示例性实施例中人脸上画线图及由画线与级次线交点确定的截断相位级次线组示意图；
图7为本发明示例性实施例中截断相位级次标记线对及匹配的视差匹配矩阵示意图；
图8为本发明实施例得到的高密度视差图及三维人脸重建结果图。
图中标记：201-左相机、202-右相机、100-光场投影装置、400-控制模块。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种级次线配对的无相位展开三维人脸重建系统，包括：一台光场投影装置、M个相机及一个控制模块；
其中，所述控制模块被配置为向光场投影装置发出控制信号，以使所述光场投影装置投射图像数量可调的正弦条纹结构光场序列至人脸表面，并基于相机传送的人脸图像通过本发明提出的一种级次线配对的无相位展开三维人脸重建方法完成三维人脸建模；并且所述控制模块还可以用于根据系统工作状态对频闪条纹结构光投影装置投射正弦条纹结构光场序列的工作帧频以及相机采集图像的工作帧频进行调整；
所述光场投影装置用于投射图像数量可调的正弦条纹结构光场序列至人脸表面，当接收到控制模块发出的控制信号时进行N帧条纹结构光投影并发送N个同步控制信号至M个相机；
所述M个相机用于在同步控制信号控制下拍摄被条纹结构光场照明下的人脸表面的多角度图像，并将拍摄到的人脸图像传送至所述控制模块；
其中,N是大于等于3的整数，M是大于等于2的整数。
本实施例提供的一种级次线配对的无相位展开三维人脸重建方法，包括如下步骤：
S1.以不相同的M个拍摄角度分别采集N帧被测人脸在结构光场中的人脸图像；对采集到的结构光场图像进行极线校正；其中，N是大于等于3的整数，M是大于等于2的整数；
S2.分别解析极线校正后结构光场图像中的截断相位，得到截断相位图；并通过截断相位得到截断相位级次线；解析极线校正后结构光场图像中的纹理图像，并提取特征点；选取特征点并进行对齐，得到基准点组；
具体的，步骤S2包括：S21.从不同纹理图像提取到的特征点中对应选取T个基准点，T≥2；
S22.将选取的基准点对应移动到级次线上并进行配对计算，得到基准点组。
所述基准点包括：人脸特征点和\或人脸特征点衍生点；人脸特征点包括：眼睛、眉毛、鼻尖、嘴角或脸颊轮廓特征点；所述人脸特征点衍生点为两个所述人脸特征点的中点或多个所述人脸特征点的中心。
在实际使用中，可以选取如：左瞳孔特征点-右瞳孔特征点，鼻尖特征点-多个眉毛特征点中心，多个左瞳孔特征点中心-多个右瞳孔特征点中心-多个脸颊轮廓特征点中心，等多种组合，将上述组合移动到级次线上并进行配对计算，得到基准点组。
进一步的是，考虑到不同图片中相同特征点的提取可能存在微小的像素误差，因此需要将特征点进行对齐，以使得对齐后不同图片中的特征点绝对匹配。在实际使用中，可以先将一幅图片中的特征点移动至距离它最近的级次线上，再通过立体匹配算法，将其他图片上的同一特征点移动至其所在图片中对应的级次线上。
需要说明的是，立体匹配算法可以通过零均值交叉相关(ZNCC)算法、像素点灰度差的绝对值和(SAD)算法等实现，并且特征点的提取可以通过如Dlib、seetaface等算法实现。
S3.通过基准点组，对截断相位级次线进行匹配，得到截断相位级次线组；使用搜素算法，将同一截断相位级次线组中的所有像素点进行匹配并标记级次序号；
具体的，步骤S3包括：S31.以基准点组为基准，按照预设路径在人脸图像上画线，将画线与级次线的交点进行标记和排序，并以此编排级次线的序号；将同一序号的级次线置入一个截断相位级次线组；
S32.通过搜索算法，标记出同一截断相位级次线组中每条级次线上每个像素点对应的级次序号。
其中，预设路径需要经过基准点组中的点，并且需要穿过人脸图像中的所有级次线。
S4.通过所述截断相位级次线组匹配得到视差匹配矩阵；
具体的，在步骤S4中，以任意一幅图像中级次线上的像素点为基准，在该像素点所处的截断相位级次线组的其他级次线上搜索同一行上与之级次序号相同的像素点，提取其纵坐标，并置入视差匹配矩阵；如在同一行上未搜索到相同级次序号的点，则将0置入视差匹配矩阵。
需要说明的是，视差匹配矩阵中的元素，分别由来自一幅图片中像素点的横坐标，和来自其他图片中像素点的纵坐标(或0)构成；因此使用视差匹配矩阵，便可以很精准的获取不同图片中多个绝对匹配的点，并基于这些点得到稠密视差图，并进行三维重建。现有的无相位展开的三维重建方法中，因为他们获取的绝对匹配的点数量比较少，或者其获取到的点并不保证绝对匹配；因此其往往会得到稀疏视差图，或者获得的视差图上存在若干洞，需要补洞算法对洞进行填充；这不仅增加了整体三维重建的时间，也降低了三维重建的准确率。
S5.使用所述视差匹配矩阵对所述截断相位图进行匹配得到稠密视差图，并根据稠密视差图，重建三维人脸。
需要说明的是，截断相位级次线为截断相位信息中跳变像素点构成的曲线；其中所述跳变像素点为截断相位图中相位值从从π跳变到-π或从-π跳变到π的像素点。
实施例2
图1示出了本实施例提出的一种级次线配对的无相位展开三维人脸重建系统原理图，该系统主要由光场投影装置100、左相机201、右相机202和控制模块400组成。
其中，所述控制模块被配置为向光场投影装置发出控制信号，以使所述光场投影装置投射图像数量可调的正弦条纹结构光场序列至人脸表面，并基于相机传送的人脸图像完成三维人脸建模；并且所述控制模块还用于根据系统工作状态对频闪条纹结构光投影装置投射正弦条纹结构光场序列的工作帧频以及相机采集图像的工作帧频进行调整；
所述光场投影装置用于投射图像数量可调的正弦条纹结构光场序列至人脸表面，当接收到控制模块发出的控制信号时进行3帧条纹结构光投影并发送3个同步控制信号至左右相机；
所述左相机和右相机均用于在同步控制信号控制下拍摄被条纹结构光场照明下的人脸表面的多角度图像，并将拍摄到的图像传送至所述控制模块。
图2示出了一种级次线配对的无相位展开三维人脸重建方法，包括：
步骤501，使用本实施例提出的系统拍摄条纹结构光场照明下的人脸图像，左右相机各得到3张，根据系统标定信息进行极线校正，并解析出左右相机截断相位及截断相位级次标记线(级次线)。当正弦条纹投影于三维物体表面上时，拍摄到的3帧变形条纹为：
其中，Ibias(x,y)为条纹图像像素点(x,y)的背景强度，Imod(x,y)为调制强度，φ(x,y)为所求截断相位，α是相移步长2π/3。通过公式(1)～(3)，截断相位可通过以下公式计算：
根据截断相位-π到π的跳变边缘，可解析出截断相位的级次标记线，截断相位及级次线提取结果如图3所示。
步骤502，分别解析极线校正后的条纹图所蕴含的纹理信息，形成纹理图像对，进行人脸特征点检测，并选取左右相机基准点对。纹理图可通过以下公式计算：
本实例中采用Dlib在纹理图像对上分别进行人脸特征点检测，共检测68个特征点；为了增加设定基准的可靠性，本实施例中左右人脸图像上分别选取4个点作为基准点，分别为：左眼特征点34～40的中点，右眼特征点43～46的中点，左眉毛特征点18～22的中点，右眼眉毛特征点23～27的中点。得到的纹理图、人脸特征点图及选取的基准点图如图4所示。
步骤503，对选取的基准点进行左右对齐，首先让所有基准点移动到附近级次线上，然后通过零均值归一化交叉相关(ZNCC)立体匹配算法计算并标记出左右匹配点对，形成左右对齐的基准点对，基准点对齐前后对比图如图5所示。
其中，ZNCC算法是一种相似度立体匹配算法，以匹配值S最大处的点对作为匹配点对，具体计算公式为：
式中，L(i+x,j+y)表示左图匹配窗口矩阵中的像素灰度，mi表示对应左图窗口像素的灰度平均值；R(i+x,j+y)表示右图匹配窗口矩阵中的像素灰度，mt表示对应右图窗口像素的灰度平均值，SZNCC(x,y)表示匹配结果，其结果在0到1的范围内，数值越大，相似度越高。
S504，根据预设路径在左右人脸上分别画线，将画线路径上所有与级次线相交的点进行标记并排序，然后根据定位基准(4对基准点对)和这些交点完成左右级次线上局部点的配对，得到的人脸上画线图及左右级次线上局部点配对示意图如图6所示，本实施例中，考虑到级次线可能会出现断裂因此在人脸上画了2条线，则每条级次线上都会得到2个已知级次序号的像素点。
具体步骤如下：
a：在人脸左半脸和右半脸上分别设置预定画线路径Path1和Path2，本实施例中左右半脸的画线路径及方向分别设为Path1＝{1,2,3,4,5,6,7},Path2＝{1,8,9,10,11,12,7}。
具体的，路径中Path1＝{2,3}和Path2＝{8,9}是属于步骤504中得出的已对齐且位于级次线上的基准点；其余点则是人脸特征点基础上扩增的点，其中，Path1＝{4,5,6}是分别取特征点3与32、5与49、7与60之间连线的中点，Path2＝{10,11,12}是分别取特征点15与36、13与55、11与56之间连线的中点，Path1＝{7}与Path2＝{7}为下颌处特征点第9点，而Path1＝{1}与Path2＝{1}则是通过特征点第28点往头顶方向垂直向上搜索得到的最后一个值为～NaN的人脸像素点(NaN表示无数据，～NaN则表示有数据)。
b：沿设置好的路径Path1和Path2，从头顶向下的方向进行画线，并沿路记录下画线上所有经过像素点对应的截断相位值line_wrap(1*M矩阵，M表示画线上经过的所有像素点个数)，然后根据截断相位-π到π的跳变关系，分别求出两条画线上的展开相位line_unwrap，并记录下这两条画线上与所有级次线相交点的坐标(xm,ym)及级次线序号，m为人脸上级次线的条数。具体的，级次线序号根据K＝line_unwrap/2π即可求得。
c：以4对基准点对为定位次序，先分别调节左右人脸上每一条级次线上2个已知级次序号点之间的次序标记一致性，再以此为基准，将左相机和右相机对应人脸上已知点标记序号一致的级次线定义为一对级次线。
步骤505，通过相关搜索算法标记出每条级次线上每个像素点对应的级次序号，得到左右级次线的全像素点匹配对，即截断相位级次标记线对，如图7所示，已配对的级次线在左右级次线中每个像素点都具有相同的级次序号。
具体的，所述线搜索算法，以一条级次线上的已知级次序号A1、A2为例，则从A1、A2点分别往上、往下沿线搜索窗口Win1＝A1±wndSize1,Win1＝A2±wndSize1进行搜索。本实例中投影在人脸上的每根条纹约占23个像素点，典型的，本实例中wndSize1可以取8。
步骤506，根据得到截断相位级次标记线对，拟合视差匹配矩阵K，用于视差图的匹配，如图7所示。
具体的，K是以左相机截断相位级次线为基准，以同一行上(xL＝xR)级次线序号为搜索信号，K矩阵中对应左级次线像素坐标(xL,yL)的位置上，存放右相机截断相位级次线与之匹配的点的列坐标yR，即K(xL,yL)＝yR；如右相机截断相位级次线中不存在与其横坐标匹配的点，则存放0；
步骤507，根据拟合的匹配矩阵M，在截断相位基础上直接进行立体匹配，得到人脸的亚像素的高精度稠密视差图，如图8所示。
具体的，在匹配矩阵上以行进行搜索：由M(xL,yL)＝yR可知，左相机截断相位区间[φL(xL,yL),φR(xL+1,yL+1)]与左相机截断相位区间[φR(xR,M(xL,yL)),φR(xR+1,M(xL+1,yL+1)]为正确视差匹配区间，以此类推。
步骤508，依据匹配得到的视差图和上述系统标定信息计算待测人脸的三维模型。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：静态图像获取方法、系统和电子设备