具体实施方式

现结合附图对本发明作进一步的描述。

如图1所示，本发明提供了一种基于单视角的人脸三维轮廓特征重建装置，该装置包括：参数获取模块、人脸特征数据库、人脸轮廓特征点提取模块和人脸轮廓重建模块；

所述参数获取模块，用于根据实时获取的待人脸三维重建所需要的深度图像数据和平面图像数据，得到汇集后的平面图像和深度数据；

具体地，如图3所示，所述参数获取模块进一步包括：深度图像摄像头、平面图像摄像头、处理器和存储器；

深度图像摄像头通信连接至处理器，平面图像摄像头通信连接至处理器，储存器通信连接至处理器；

所述深度图像摄像头，用于实时获取待人脸三维重建所需要的深度图像数据；

所述平面图像摄像头，用于实时获取待人脸三维重建所需要的平面图像数据；

所述处理器，用于将接收到的深度图像数据和平面图像数据按预定格式汇集后，得到汇集后的平面图像和深度数据，并将其发送到存储器；

所述存储器，用于存储汇集后的平面图像和深度数据。

所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；

所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；

所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；

所述人脸轮廓重建模块，用于将该待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。

其中，将该人脸三维轮廓关键特征点与数据筛选模块输出的待核函数矩阵基础上，基于费曼路径积分原理，通过步骤1)所示的路径积分方法，与曲线采样，求得和关键特征点关联的n条离散曲线；通过步骤2)的计算方法将n条离散曲线生成一个离散函数；在离散函数的基础上，通过步骤3)给出的计算方法，可获得两个特征点间的离散特征曲线；通过步骤4)所示的遍历计算每两个特征点之间的离散特征曲线，整合得到特征矩阵A，特征矩阵A即为高精度的人脸轮廓三维重建数据。再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。

步骤1)从待核函数矩阵中获取基函数f(a,b)和采样频率k,定义函数曲线g(a,b)为基函数f(a,b)的路径积分；

其中，a为任意两个人脸轮廓关键特征点的起始点的二维坐标；b为任意两个人脸三维轮廓关键特征点的终止点的二维坐标，每个a,b之间定义了n条基函数；

g(a，b)＝∫f(a，b)dx₁dx₂dx₃…dx_p

其中,dx_p为积分符号，p为输入数据的维度，其中，输入数据为人脸三维轮廓关键特征点；在本实施例中为(x,y,d)三维坐标，p＝3；其中，x和y分别为平面图像数据的横坐标和纵坐标，d为深度数据。

遍历计算n条基函数，求得基于起始点a，终止点b的n条函数曲线g(a,b)，通过对每条函数曲线进行k次采样，获得和关键特征点关联的n条离散曲线g_i(a,b)。

步骤2)基于每条和关键特征点关联的离散曲线g_i(a,b)，生成一个和关键特征点关联的离散函数K(a,b)：

其中，C_i是0和1之间已知参数。

步骤3)定义深度方程D(x,y)＝d,该深度方程的输入为(x,y)平面图像数据和深度数据d中的二维坐标，用来标记平面图像数据和深度数据的像素点相对于图像的位置，输出为深度数据d；

基于和关键特征点关联的离散函数K(a,b)，带入起始点a和终止点b的坐标值，计算一条离散特征曲线来表示起始点a到终止点b之间的轮廓，然后将K(a,b)带入D方程中，得到D(K(a,b))＝d；

根据上述方程，获取该条离散特征曲线路径上的离散深度数据；

起始点a和终止点b之间的路径数据加上离散深度数据构成两个特征点之间的特征曲线。

针对每一组起始点和终止点(a,b)，存在一条特征曲线来描述其中的关系；

步骤4)重复步骤1)到步骤3)，得到n'条特征曲线，整合n’条特征曲线可得特征矩阵A,特征矩阵A，即为高精度的人脸轮廓三维重建数据，再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。

其中，所述人脸特征数据库的建立过程为：

定义基函数f(a,b)，(基函数可如Hamilton算子或者共轭算子)基函数为起始点a和终止点b的函数；如起始点a坐标为(a1,a2)，终止点b坐标为(b1,b2)；则f为：f(a,b)＝e×(a1,a2)+j×(b1,b2)；

其中，e为基函数中一个算子；j为基函数中另一算子；(e,j)可以代表起始点和终止点的某一相对函数关系；

定义m为特征点个数(本实施例中为24)，定义n是一对特征点之间的基函数个数,a,b是一对特征点中起始点和终止点的二维坐标,可通过调用深度神经网络提取的人脸轮廓关键特征点，得到a,b的二维(x,y)坐标。

定义核函数矩阵中包含了每对特征点之间的n个基函数f(a,b)和每条基函数的采样频率k。

定义标准矩阵S为代表一种人脸类型的轮廓曲线矩阵。

定义特定类型特征为与图像数据和年龄，肤色等数据相关的一种自定义特征向量φ，如：30岁男性、黄色皮肤、国字脸、高鼻梁等特征向量。

此特定类型特征与核函数矩阵成一一对应关系，同时也和标准矩阵S成一一对应关系。

定义人脸特征数据库包含特定类型特征向量φ数据，核函数矩阵和对应类型标准矩阵S；将上述数据存储在存储器中，即完成人脸特征数据库的建立。

其中，所述核函数矩阵和标准矩阵S的筛选方法为：

输入汇集后的平面图像和深度数据，通过主成分分析方法，提取出输入图像特征向量λ，计算出输入图像特征向量λ与特定类型特征向量φ的皮尔斯相关系数Q，将平面图像数据输入预训练的神经网络，得到与特定类型特征向量φ相对应的置信度系数G。将输入图像与特定类型特征的相似度定义为：

P＝u×Q+v×G+beta

其中，u为皮尔斯相关系数权重参数；v为置信度权重参数；beta默认为-1。

计算出输入图像与数据库中每个特定类型特征的相似度P，将P从高到低排序，选取拥有最高相似度Pmax的特定类型特征，选择与此特定类型特征拥有一一对应关系的核函数矩阵和标准矩阵S。

所述预训练的神经网络为Darknet-53神经网络。其训练步骤为：

步骤1)：建立训练集；所述训练集包含若干组训练数据，每组训练数据包含人脸平面图像和对应的所属特定类型特征向量φ。

步骤2)：将一组训练数据中的人脸平面图像输入本Darknet-53网络，通过Darknet-53网络可提取出输入人脸平面图像对应的特定类型特征类别特征向量φ(Y_shape).

训练过程采用的是均方差损失函数Loss_MSE来进行监督学习。具体方程为：均方差损失函数Loss_MSE的置信度输出值Loss_shape满足下式：

Loss_shape＝Loss_MSE(Y_pre-Y_shape)

其中，Y_pre为训练集中的特定类型特征，Y_shape为训练后输出的特定类型；

步骤3)：通过多次迭代训练，得到最小Loss_shape的对应参数，输出训练好的Darknet-53模型。

步骤4)：完成训练后，将平面图像数据输入Darknet-53模型，可以得到预测的特定类型特征向量，及其置信度G。

其中，所述数据库的建立还包括对标准矩阵S的更新，其具体过程为：

求实值矩阵K和标准矩阵S的加权值，可得到新的标准矩阵S′；

S′＝S+β*K

其中，β为权重函数，阈值为(0,1)；

β由数据库的大小、样本的有效性和对系统输入的控制影响来决定，如果希望数据库能够更加适应新的输入，就增加β的数值，如果希望数据库更加稳定，就降低β的数值。

所述装置还包括：加密模块，用于采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据，确保其中涉及的敏感数据信息不会泄露。

其中，由于输出的实际人脸轮廓数据只包含实值矩阵K，但是如果没有标准矩阵信息，则无法反向推出待人脸重建的真实轮廓曲线，从而达成脱密效果，来进行实值矩阵K的加密传输。

如图2所示，2-1:观测者视角右侧眼(测试者左眼)内眼角；

2-2:观测者视角右侧眼(测试者左眼)上眼皮顶点；

2-3:观测者视角右侧眼(测试者左眼)外眼角；

2-4:观测者视角右侧眼(测试者左眼)下眼皮顶点；

2-5:观测者视角右侧眼(测试者左眼)瞳孔；

2-6:观测者视角右侧眼(测试者左眼)太阳穴位置；

2-7:观测者视角右侧眼(测试者左眼)耳根与脸部连接点；

2-8:鼻头的最高点(鼻头位置)；

2-9:观测者视角右侧(测试者左侧)鼻翼；

2-10:观测者视角右左侧(测试者右侧)鼻翼；

2-11:鼻骨的顶点；

2-12:观测者视角右侧(测试者左侧)鼻骨和脸部的连接点；

2-13:观测者视角左侧(测试者右侧)鼻骨和脸部的连接点；

2-14:观测者视角右侧(测试者左侧)瞳孔等高线与鼻子的连接点；

2-15:观测者视角左侧(测试者右侧)瞳孔等高线与鼻子的连接点；

2-16:观测者视角右侧(测试者左侧)眉毛等高线与鼻子的连接点；

2-17:观测者视角左侧(测试者右侧)眉毛等高线与鼻子的连接点；

2-18:观测者视角左侧眼(测试者右眼)内眼角；

2-19:观测者视角左侧眼(测试者右眼)上眼皮顶点；

2-20:观测者视角左侧眼(测试者右眼)外眼角；

2-21:观测者视角左侧眼(测试者右眼)下眼皮顶点；

2-22:观测者视角左侧眼(测试者右眼)瞳孔；

2-23:观测者视角左侧眼(测试者右眼)太阳穴位置；

2-24:观测者视角左侧眼(测试者右眼)耳根与脸部连接点；

图2所示的24个关键特征点选取方法是本技术方案中最佳的人脸轮廓特征选取方法，得到了24个人脸三维轮廓关键特征点，可以满足人脸轮廓重建的精度和计算量之间的平衡。

如图1所示，本发明还提供了一种基于单视角的人脸三维轮廓特征重建方法，该方法包括：

参数获取模块根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；

数据筛选模块根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；

同时，人脸轮廓特征点提取模块将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；

人脸轮廓重建模块将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。

所述方法还包括：加密模块采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据，确保其中涉及的敏感数据信息不会泄露。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行所述的方法。

本发明的方法将人脸按刚体进行图像智能处理，在不需要依赖图像采集设备的精度和算力的情况下，能对人脸三维轮廓特征进行高效提取及物理轮廓的高精度重建，并能够在手机移动设备上实现单视角的较高的三维重构精度，精确提取人脸轮廓信息。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。