具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

下面对本实施方式的深度图中人脸区域定位方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。

目前对人脸深度图进行眼睛、鼻子和嘴巴等五官区域的定位主要包括两种方式：一种是通过获取与人脸深度图对应的人脸彩色图，对人脸彩色图进行人脸检测获取关键点，将关键点对应到人脸深度图上完成人脸五官区域的定位。另一种是将人脸深度图输入到已经训练好的神经网络模型中，利用深度学习的方法完成人脸五官区域的定位。而第一种方法中人脸彩色图易受环境影响，人脸彩色图的质量不能保证，另一方面，将人脸彩色图上的关键点对应到人脸深度图的过程中很容易出现偏差，造成人脸深度图中五官区域的定位不准确。而第二种方法，虽然对深度图直接进行处理，其准确性较高，但前期神经网络的搭建和训练复杂度较高、时间较长，且训练过程中也要求准备大量的样本深度图，费时费力。

本发明的实施方式涉及一种深度图中人脸区域定位方法，如图1所示，包括。

步骤101，获取目标人脸深度图中深度值最小的像素点，将深度值最小的像素点作为鼻尖点，在以鼻尖点为中心的预设的检测框中进行边缘检测，确定鼻子轮廓，并根据鼻子轮廓确定出鼻子区域。

本实施方式中，深度图是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状，那么本领域技术人员可以理解的是，人脸深度图中某一区域像素点的像素值大小和像素值分布状况可以反映人脸的不同区域。而鼻尖作为人脸中最突出的特征，其在整个人脸深度图中就体现为深度值最小的像素点。

另外，在以鼻尖点（即目标人脸深度图中深度值最小的像素点）为中心的预设的检测框中进行边缘检测确定鼻子区域时，所述检测框为正n边形，n为大于3的整数。检测框的形状可以为三角形、矩形等任意形状。检测框的大小可以预先在不同大小的人脸、不同脸型的人脸上进行测试，选取能覆盖整个鼻子的、大小合适的检测框。进一步地，确定出的鼻子区域包含鼻子的轮廓和鼻子的高度，鼻子的高度可以通过鼻尖点的深度值大小进行确定，这可以为后续的人脸识别提供精确且全方位的数值结果。

需要说明的是，由于人脸中的鼻子区域是整个人脸中特征最为突出，且和其他五官区域之间的界限较为明显的一个五官区域，因此通过边缘检测算法可以快速、精确地确定鼻子的轮廓，进而确定出鼻子区域。而眼睛区域、嘴唇区域等由于与临近的皮肤区域边缘界限不是很明显，采用边缘检测算法来确定这些区域的效果就会很差。

此外，具体地边缘检测算法可以采用Laplacian算子、Roberts算子、Sobel算子、Laplacian-Gauss算子等任意一种算子，此处不对边缘检测算法的具体检测算子作限定。另外，除了通过边缘检测算法外还可以采用基于最小二乘法的鼻子轮廓提取方法、阈值分割的图像处理方法等获取鼻子的轮廓。

步骤102，在鼻子区域内根据所述鼻尖点确定鼻子关键点，根据鼻子关键点确定内眦点，并根据内眦点确定眼睛宽度，通过眼睛宽度确定眼睛区域。

在一些实施例中，鼻子关键点至少包括鼻根点和鼻翼两侧边缘点。在鼻子区域内确定鼻子关键点，包括：经过鼻尖点纵向作直线，并在鼻子区域内计算直线两侧的像素点的距离；将距离的最大值对应的两个像素点作为鼻翼两侧边缘点；经过鼻尖点并朝着头顶方向纵向作射线，检测射线上深度值最大的像素点，将射线上深度值最大的像素点作为鼻根点；将鼻翼两侧边缘点和所述鼻根点作为鼻子关键点。

需要说明的是，确定好鼻根点和鼻翼边缘点后，鼻子区域的特征就包括：鼻子轮廓、鼻子高度、鼻翼宽度和鼻子长度。鼻子高度通过鼻尖点的深度值大小确定，鼻翼宽度通过鼻翼两侧边缘点的距离确定，鼻子长度可以根据鼻根点和鼻子两侧边缘点确定。

在一些实施例中，根据鼻子关键点确定内眦点，包括：在以鼻根点为中心的预设的检测框内确定深度值较大的两个像素点，并将深度值较大的两个像素点作为两个内眦点；或者，经过鼻翼两侧边缘点并朝着头顶方向的方向分别作射线，在鼻翼两侧边缘点上方的两条射线之间的区域内检测深度值较大的两个像素点，深度值较大的两个像素点作为两个内眦点，其中，两条射线之间的区域在鼻翼朝向头顶的方向上逐渐变大。

具体地说，经过鼻尖点纵向向上做射线，本领域技术人员可以理解的是，该射线必然经过鼻跟点，而鼻根点为该射线上深度值最大的像素点，以鼻根点为中心的预设的检测框中搜索确定深度值最大的像素点，而深度值最大的像素点即为内眦点。需要说明的是，预设的检测框可以为矩形、三角形、圆形等任意形状，在此不对检测框的形状做具体限定。检测框的大小可以预先根据多个不同脸型的人脸试验确定。

具体地说，比如：以左鼻翼边缘点为起始点，向左倾斜3度并朝着头顶方向作射线，以右鼻翼边缘点为起始点，向右倾斜3度并朝着头顶方向作射线，在两个鼻翼边缘点的上方射线区域内，检测深度值最大的像素点，可以理解的是在该射线区域内深度值最大的像素点为内眦点。需要说明的是，倾斜角度可以为任意数值。

在本实施例中，本领域技术人员可以理解的是，两眼内眦点的距离即为眼睛的宽度，因此，一旦两个内眦点确定即可根据两个内眦点的距离确定眼睛的宽度，进而确定眼睛区域。一般认为左眼和右眼关于鼻子部分是对称分布的。

步骤103，经过鼻尖点并朝下颌方向纵向作射线，在鼻尖点下方的射线上检测深度值较小的两个像素点，将深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点，并根据上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度。

本领域技术人员可以理解的是，在鼻尖点下方的射线上，上嘴唇中心点和下嘴唇中心点为该射线上最为突出的两点，即深度值最小的两点。根据上嘴唇中心点和下嘴唇中心点即可确定嘴唇宽度和嘴唇的位置。需要说明的是，根据人脸形态学可以确定的是一个眼睛的宽度（左眼外眼角到左眼内眼角或右眼内眼角到右眼外眼角）基本与鼻翼的宽度、嘴唇的长度相等，即内眦点、鼻翼边缘点、嘴角边缘点基本在一条直线上。

步骤104，根据鼻子关键点确定嘴唇长度，通过嘴唇宽度和嘴唇长度确定嘴唇区域，完成目标人脸深度图的人脸区域定位。

在一实施例中，根据鼻子关键点确定嘴唇长度，包括：在鼻子区域内经过鼻翼两侧边缘点作线段，经过线段上的每一个像素点并朝下颌方向纵向作射线；检测每一条射线上深度值较小的两个像素点，并根据每一条射线上深度值较小的两个像素点确定嘴唇轮廓，根据嘴唇轮廓确定嘴唇长度。本领域技术人员可以理解的是，嘴唇轮廓上的每个点都是鼻子下方区域内最为突出的点，即深度值最小的像素点。而确定出嘴唇轮廓后根据轮廓的弧度即可确定嘴唇的长度。

本实施例中，通过确定眼睛区域、鼻子区域、嘴唇区域完成整个人脸的定位，而眼睛区域、鼻子区域、嘴唇区域这些区域的特征最为明显，对于后续人脸识别或活体检测来说，通过这些区域即可实现。

本发明实施方式提供的深度图中人脸区域定位方法，对目标人脸深度图直接进行处理，通过检测整个人脸深度图中深度值最小的像素点确定鼻尖点，通过鼻尖点和边缘检测确定鼻子区域，后续在鼻子区域内根据鼻尖点确定鼻子关键点，再根据鼻子关键点确定眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸中眼睛区域、鼻子区域和嘴唇区域的定位，快速简单，既不需要对人脸彩色图进行处理，也无需建立、训练复杂的模型。

本发明的实施方式涉及一种深度图中人脸区域定位方法，如图2所示，包括。

步骤201，获取目标人脸深度图中深度值最小的像素点，将深度值最小的像素点作为鼻尖点，在以鼻尖点为中心的预设的检测框中进行边缘检测，确定鼻子轮廓，并根据鼻子轮廓确定出鼻子区域。

步骤202，在鼻子区域内根据所述鼻尖点确定鼻子关键点，根据鼻子关键点确定内眦点，并根据内眦点确定眼睛宽度，通过眼睛宽度确定眼睛区域。

步骤203，经过鼻尖点并朝下颌方向纵向作射线，在鼻尖点下方的射线上检测深度值较小的两个像素点，将深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点，并根据上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度。

步骤204，根据鼻子关键点确定嘴唇长度，通过嘴唇宽度和嘴唇长度确定嘴唇区域，完成目标人脸深度图的人脸区域定位。

本实施例中，步骤201-步骤204的具体实施细节与步骤101-步骤104基本相同，在此不做赘述。

步骤205，检测人脸区域中的每一个像素点与鼻尖点的深度差值和距离，其中，人脸区是指眼睛区域或嘴唇区域。

本实施例中，在完成人脸眼睛区域、鼻子区域和嘴唇区域的定位后，需要对定位结果进行检测以确定其准确性。对于嘴唇区域，检测嘴唇区域中每一个像素点与鼻尖点之间的深度差值和距离。对于眼睛区域，其包括左眼区域和右眼区域，一般认为左眼区域和右眼区域关于鼻子对称分布，因此，可以只对其中一个眼睛区域进行检测以此来判断两个眼睛区域是否满足预设条件。其中，深度差值即为两个像素点深度值的差。

在一些实施例中，可以从人脸区域的边缘开始向内检测每一个像素点与第一关键点的深度差值和距离。本领域技术人员可以理解的是，从人脸区域（眼睛区域或嘴唇区域）的边缘开始向内检测可以快速地检测出区域内不满足预设条件的像素点，因为一旦边缘区域不满足条件，那么中心区域也很有可能不满足预设条件。

步骤206，判断人脸区域中每一个像素点的深度差值和距离是否均满足所述人脸区域对应的预设条件。

需要说明的是，预设条件可以包括第一预设条件和第二预设条件，不同五官区域预设条件不同。对于眼睛区域，判断眼睛区域中的每一个像素点与鼻尖点之间的深度差值和距离是否均满足第一预设条件。对于嘴唇区域，判断嘴唇区域中每一个像素点与鼻尖点之间的深度差值和距离是否均满足第二预设条件。另外，第一预设条件和第二预设条件可以根据以下步骤确定：预先获取多个样本人脸深度图，其中，多个样本人脸深度图中的人脸脸型不同；对每个样本人脸深度图进行人脸检测，确定每个样本人脸深度图中的多个关键点；根据每个样本人脸深度图中的多个关键点确定眼睛区域和嘴唇区域，其中，眼睛区域和嘴唇区域均包括多个关键点；确定多个样本人脸深度图中深度值最小的像素点，将深度值最小的像素点作为鼻尖点，并计算每个样本人脸深度图的眼睛区域中每一个像素点与鼻尖点的深度差值和距离，根据该深度差值和距离确定第一预设条件。同样地，嘴唇区域以类似的方法确定第二预设条件。比如：确定出嘴唇区域中每一个像素点与鼻尖点的深度差值都在（x1，x2）范围内，距离都在（m1，m2）范围内，则将这两个阈值范围确定为第二预设条件。当然，此处仅为举例说明，实际应用时预设条件可以是任何形式。

步骤207，当人脸区域中不满足预设条件的像素点的数量大于预设的阈值时，重新确定不满足预设条件的像素点所在的人脸区域。

需要说明的是，预设的阈值包括预设的第一阈值和预设的第二阈值，眼睛区域根据第一阈值判断，嘴唇区域根据第二阈值判断，两个阈值可以相同也可以不同。比如，假设眼睛区域的总像素点数量为200个，嘴唇区域的总像素点数量为300个，规定眼睛区域和嘴唇区域不满足预设条件的像素点的数量不能超过总像素点数量的百分之五，则眼睛区域的第一阈值为10，嘴唇区域的第二阈值为15。又比如，规定眼睛区域中不满足预设条件的像素点数量不能超过总像素点数量的百分之六，嘴唇区域不能超过百分之四，则眼睛区域的第一阈值和嘴唇区域的第二阈值均为12。当然，具体阈值的设定可以为任何数值，可以根据对人脸定位的速度和精度的要求进行调整。

在一些实施例中，当人脸区域中不满足预设条件的像素点的数量大于预设的阈值时，重新确定不满足预设条件的像素点所在的人脸区域，包括：当不满足预设条件的像素点的数量大于预设阈值时，获取不满足预设条件的像素点相对于满足预设条件的像素点的方位；将每一个满足预设条件的像素点作为所述预设的检测框的中心，按照方位的相反方位检测检测框内每一个像素点与鼻尖点的深度差值和距离；获取深度差值和所述距离均满足预设条件的像素点；根据所有满足预设条件的像素点的位置重新确定所述人脸区域。

需要说明的是，当眼睛区域中不满足预设条件的像素点数量大于对应的预设阈值时，重新确定眼睛区域，当嘴唇区域中不满足预设条件的像素点数量大于对应的预设阈值时，重新确定嘴唇区域。两者重新确定人脸区域的方法相同。另外，在获取不满足预设条件的像素点相对于满足预设条件的像素点的方位时，是根据不满足预设条件的像素点的整体位置相对于满足预设条件的像素点的整体位置的方位关系。

另外，在按照方位的相反方位检测检测框内每一个像素点与鼻尖点的深度差值和距离时，可以先获取人脸区域内不满足预设条件的像素点中处于人脸区边缘的像素点，将处于人脸区域边缘的像素点作为预设的检测框的中心，按照方位的相反方位检测检测框内每一个像素点与鼻尖点的深度差值和距离。如此，可以更加快速地确定出满足条件的像素点，进而确定人脸区域。

本发明实施方式提供的深度图中人脸区域定位方法，对目标人脸深度图直接进行处理，通过检测整个人脸深度图中深度值最小的像素点确定鼻尖点，通过鼻尖点和边缘检测确定鼻子区域，后续在鼻子区域内根据鼻尖点确定鼻子关键点，再根据鼻子关键点确定眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸中眼睛区域、鼻子区域和嘴唇区域的定位，快速简单，既不需要对人脸彩色图进行处理，也无需建立、训练复杂的模型。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的实施方式涉及一种电子设备，如图3所示，包括。

至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行如上述实施方式提及的深度图中人脸区域定位方法。

该电子设备包括：一个或多个处理器301以及存储器302，图3中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述深度图中人脸区域定位方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器302中，当被一个或者多个处理器301执行时，执行上述任意方法实施方式中的深度图中人脸区域定位方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。