具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为一个实施例中嘴角下垂的检测方法的流程示意图，本实施例中嘴角下垂的检测方法提供的步骤包括：

步骤102，获取待检测的人脸图像，截取人脸图像中的嘴角区域图像。

其中，嘴角区域图像即人脸图像中仅覆盖嘴角区域的图像，因为人脸背景及其他区域，例如眼部区域、鼻子区域的特征跟嘴角下垂的相关性不大，为避免干扰，因此单独将嘴角区域截取出来。

具体的，参见图2，使用Dlib库的人脸127点Landmark模型提取人脸图像中的68个关键点，这些关键点用来描述人体的五官位置。然后确定这些关键点中的部分为目标关键点，并获取目标关键点的坐标值。示例性的，获取编号90的坐标x值和坐标y值、编号18的坐标y值、编号23的坐标x值。再基于这些坐标值在人脸图像进行截取，便能得到如图3所示的嘴角区域图像。当然，以上是对右半边的嘴角区域图像进行截取，同样可以扩展预设的编号对左半边的嘴角区域图像进行截取，例如获取编号84的坐标x值和坐标y值、编号14的坐标y值、编号9的坐标x值进行截取。

步骤104，对嘴角区域图像进行局部阈值分割，得到阈值分割图像。

其中局部阈值分割是对每一个像素或局部区域单独设一个阈值，基于该单独设置的阈值对像素或局部区域进行分割的方案。阈值分割图像包括嘴角区域图像中灰度变化较明显的若干个闭合区域，闭合区域中的像素与闭合区域外的像素之间的像素差异大于预设程度，经过局部阈值分割后可去除背景及脸颊等非纹路部分的干扰。

进一步，为避免图片在获取与传输过程中产生的噪声和皮肤噪声对嘴角下垂的检测造成干扰，在进行局部阈值分割前还应进行去噪处理。在一个具体实施例中，首先基于python的opencv库或matlab对嘴角区域图像进行噪声检测，根据噪声的特点选择对应的去噪方式进行去噪，依据噪声的特点的不同，选择不同的去噪方式进行去噪，能够实现更精确地去噪处理，从而有助于实现对嘴角下垂更精准地检测。例如当检测到嘴角区域图像内的噪声的概率密度函数服从高斯分布，确定噪声为高斯噪声，此时进行均值滤波，即对当前待处理的当前像素点(x，y)，选择一个近邻区域，该近邻区域由其近邻的若干像素组成(一般为3*3)，求近邻区域中所有像素的均值，再把该均值赋予当前像素点(x，y)，作为处理后图像在该点上的灰度值。对所有像素点都进行这样的处理后得到均值滤波后的嘴角区域图像。经过均值滤波后能降低因图像传感器在拍摄时不够明亮、亮度不够均匀，以及电路各元器件相互影响等原因对图像质量造成的影响。

又比如当检测到嘴角区域图像内有随机出现的白点或者黑点，确定噪声为椒盐噪声，此时进行中值滤波，即对当前待处理的当前像素点(x，y)，选择一个近邻区域，该近邻区域由其近邻的N个若干像素组成(一般为3*3)，将近邻区域内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列，取其中的中值作为赋予当前像素点(x，y)，作为处理后图像在该点上的灰度值。对所有像素点都进行这样的处理后得到中值滤波后的嘴角区域图像。经过中值滤波后能消除图像中由图像传感器，传输信道，解码处理等环节产生的黑白相间的亮暗点噪声。

在一种可行的实施方式中，可以通过如下方式对嘴角区域图像进行局部阈值分割：在嘴角区域图像内，计算每一像素点在以该像素点为中心的预设邻域内的灰度均值与灰度值的标准方差，如下式：

其中，m(x，y)为当前像素点在预设邻域内的灰度均值，(x，y)为坐标，该预设邻域的大小为r*r，g(i，j)表示邻域内(i，j)处的灰度值，s(x，y)为标准方差。

再根据灰度均值及标准方差计算在每一像素点处的灰度阈值，如下式：

其中，R是标准方差的动态范围，若当前输入的图像是8位灰度图像，则R＝128；k是自定义的修正参数，0＜k＜1。

最后将每个像素点都与各自的灰度阈值T(x，y)进行大小比较，将灰度值大于灰度阈值T(x，y)的像素点处的像素值设为第一像素值，将灰度值小于灰度阈值的像素点处的像素值设为第二像素值，例如第一像素值为0，第二像素值为1；又或者第一像素值为1，第二像素值为0。最终得到如图4所示的阈值分割图像(编号表示1-8的闭合区域)。上述局部阈值的分割得到的灰度阈值不是固定不变的，而是由其周围邻域像素的灰度均值与灰度值的标准方差来决定的。计算后在亮度较高的图像区域的灰度阈值通常会较高，而在亮度较低的图像区域的灰度阈值则会相适应地变小，这样就能消除亮度对阈值分割造成的影响。此外，本方案中还设置有系数k来进行部分区域的细节修正。

此外，在另一种实施方式中，还可以采用的局部阈值分割方案为：先人为设定两个预设的值S＝15，TT＝128。再计算图像中任意像素P为中心的大小为k×k窗口内的所有像素的最大值M与最小值N，并计算M与N的均值为T。如果M-N大于S，表示该窗口所在区域的灰度级差别较大，则设定当前像素P的灰度阈值为T；如果M-N小于S，则表示该窗口所在区域的灰度级差别较小，那么窗口在闭合区域或在背景区域，此时再判断T与TT的关系，若T>TT则像素P的灰度值为第一像素值，否则当前点灰度值为第二像素值。

步骤106，去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，得到下垂纹路图像。

其中，设定的预设面积条件用于去除黑痣、皱纹等干扰区域，设定的预设夹角条件用于脸颊轮廓及脖子轮廓等干扰区域。这样，得到下垂纹路图像内就能仅包括嘴角下垂纹路的目标闭合区域。

在一个具体实施例中，遍历阈值分割图像中每一个闭合区域，首先通过计算闭合区域内像素点的数量来确定闭合区域的面积S₁，然后将面积小于第一预设面积S₂的闭合区域作为干扰区域，这样就能去掉图4中面积过小的闭合区域，如编号3、4、6、7的闭合区域。此外作每个闭合区域的最小外接矩形，如图5所示，计算该最小外接矩形的长边同水平线X轴正方向的第一夹角α₁，该水平线X轴为衡量人脸图像中的人脸宽度的轴向，将第一夹角α₁小于第一预设角度α₂的作为干扰区域，示例性的，将α₂设定为90°。这样就能去掉图4中跟真实嘴角下垂纹路方向不一致的区域，如编号为5、8的闭合区域。当然，若步骤102中截取的为左半边的嘴角区域图像，此处的预设夹角条件可以相应设定为将第一夹角α₁大于第一预设角度α₂的作为干扰区域。该具体实施例中直接基于闭合区域的面积来进行筛选，能精确筛选掉面积过小的闭合区域。且基于最小外接矩形确定闭合区域与X轴正方向的夹角，能整体反应闭合区域该夹角，较为快速的完成预设夹角条件的筛选。

在另一个具体实施例中，遍历图中每一个闭合区域，先作每个闭合区域的最小外接矩形，通过计算该最小外接矩形内像素点的数量来确定最小外接矩形的矩形面积S₃，将矩形面积S₃小于第二预设面积S₄的作为干扰区域。此外，作每个闭合区域的最小外接椭圆，如图6所示，计算该最小外接椭圆的长轴同水平线X轴正方向的第二夹角α₃，将其中第二夹角α₃小于第二预设角度α₄的作为干扰区域。同理，若步骤102中截取的为左半边的嘴角区域图像，此处的预设夹角条件可以相应设定为将第二夹角α₃大于第二预设角度α₄的作为干扰区域。该具体实施例中基于最小外接矩形的面积来进行筛选，由于最小外接矩形为规则图形，因此能快速筛选掉面积过小的闭合区域。且基于最小外接椭圆确定闭合区域与X轴正方向的夹角，同样能整体反应闭合区域该夹角，较为快速的完成预设夹角条件的筛选。

最终，去除干扰区域3、4、5、6、7、8后得到如图7所示的下垂纹路图像。

步骤108，根据目标闭合区域的最小外接矩形的长边长度和短边长度确定嘴角下垂程度。

在一个具体实施例中，该嘴角下垂程度的计算过程为：首先计算所有目标闭合区域的最小外接矩形的长边长度之和m₁，再计算所有目标闭合区域的最小外接矩形的短边长度平均值m₂。最后将m₁和m₂代入下式进行计算：

L＝a*m₁+b*m₂

其中a、b可根据具体情况灵活赋值，L即表征嘴角下垂程度，与人脸衰老程度挂钩。该计算方式计算过程简单，且可以基于赋值a、b针对不同用户进行灵活的调整。L越大，嘴角下垂程度越大，反应人脸衰老程度越严重。

又或者，由于长边长度之和m₁大致反应嘴角纹路的下垂长度，长度平均值m₂大致反应嘴角纹路的宽度。通常来说，m₁越长，衰老的更加明显。因此m₁与嘴角下垂程度挂钩更为紧密，也可将m₁和m₂代入下式进行计算：

L＝m₁+ln(m₂)

上式中m₁对L的影响相对更大，而m₂对L的影响相对更小。

进一步的，还可以结合右半边的嘴角区域和左半边的嘴角区域来对嘴角下垂程度进行检测，例如结合上述实施例后先得到左半边的嘴角下垂程度L₁和右半边的嘴角下垂程度L₂，再基于L₁和L₂可计算反映人脸整体的嘴角下垂程度L₀：

或，

L₀＝K₁L₁+K₂L₂

该K₁及K₂用户可自行设置。计算后得到的L₀相较于L₁或L₂也更具有代表性。

上述嘴角下垂的检测方法，对截取的嘴角区域图像首先进行粗略的局部阈值分割，得到阈值分割图像，该阈值分割图像内包含若干个闭合区域，局部阈值分割后能得到图像中灰度变化较明显的区域，可去除背景及脸颊等非纹路部分的干扰。然后基于预设面积条件和预设夹角条件去除干扰区域以得到仅包括嘴角下垂纹路的目标闭合区域，这样就能去除脸颊轮廓及脖子轮廓等干扰。最后根据最小外接矩形的长边长度和短边长度来确定嘴角下垂程度。可见，本方案可避免受背景、非纹路部分、脸颊轮廓及脖子轮廓等无关干扰的影响，可准确确定嘴角下垂程度。

在一个实施例中，如图8所示，提出了一种嘴角下垂检测装置，该装置包括：

嘴角区域图像获取模块802，用于获取待检测的人脸图像，截取人脸图像中的嘴角区域图像；

阈值分割图像获取模块804，用于对嘴角区域图像进行局部阈值分割，得到阈值分割图像，阈值分割图像内包括若干个闭合区域，闭合区域中的像素与闭合区域外的像素之间的像素差异大于预设程度；

下垂纹路图像获取模块806，用于去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，得到下垂纹路图像；

嘴角下垂程度确定模块808，用于根据目标闭合区域的最小外接矩形的长边长度和短边长度确定嘴角下垂程度，目标闭合区域为下垂纹路图像中的闭合区域。

上述嘴角下垂检测装置，对截取的嘴角区域图像首先进行粗略的局部阈值分割，得到阈值分割图像，该阈值分割图像内包含若干个闭合区域，局部阈值分割后能得到图像中灰度变化较明显的区域，可去除背景及脸颊等非纹路部分的干扰。然后基于预设面积条件和预设夹角条件去除干扰区域以得到仅包括嘴角下垂纹路的目标闭合区域，这样就能去除脸颊轮廓及脖子轮廓等干扰。最后根据最小外接矩形的长边长度和短边长度来确定嘴角下垂程度。可见，本方案可避免受背景、非纹路部分、脸颊轮廓及脖子轮廓等无关干扰的影响，可准确确定嘴角下垂程度。

在一个实施例中，阈值分割图像获取模块804，具体用于：在嘴角区域图像内，计算每一像素点在预设邻域内的灰度均值与灰度值的标准方差，根据灰度均值及标准方差计算在每一像素点处的灰度阈值；将灰度值大于灰度阈值的像素点处的像素值设为第一像素值，将灰度值小于灰度阈值的像素点处的像素值设为第二像素值，得到阈值分割图像。

在一个实施例中，下垂纹路图像获取模块806，具体用于：计算每个闭合区域的最小外接矩形的长边同水平线X轴正方向的第一夹角，水平线X轴为衡量人脸图像中的人脸宽度的轴向；将若干个闭合区域中面积小于第一预设面积的闭合区域，和/或，第一夹角小于第一预设角度的闭合区域均作为干扰区域，去除若干个闭合区域的中的干扰区域。

在一个实施例中，下垂纹路图像获取模块806，具体用于：计算每个闭合区域的最小外接矩形的矩形面积；计算每个闭合区域的最小外接椭圆的长轴同水平线X轴正方向的第二夹角，水平线X轴为衡量人脸图像中的人脸宽度的轴向；将若干个闭合区域中矩形面积小于第二预设面积的闭合区域，和/或，第二夹角小于第二预设角度的闭合区域作为干扰区域，去除若干个闭合区域的中的干扰区域。

在一个实施例中，嘴角下垂程度确定模块808，具体用于：计算所有目标闭合区域的最小外接矩形的长边长度之和，及计算所有目标闭合区域的最小外接矩形的短边长度平均值；获取预设公式，将长边长度之和与短边长度平均值代入到预设公式中，得到结果值，结果值即表征嘴角下垂程度。

在一个实施例中，嘴角下垂检测装置还包括：滤波模块，用于对嘴角区域图像进行噪声检测，当检测到嘴角区域图像内存在高斯噪声时，对嘴角区域图像进行均值滤波，得到滤波后的嘴角区域图像。

在一个实施例中，滤波模块，还用于对嘴角区域图像进行噪声检测，当检测到嘴角区域图像内存在椒盐噪声时，对嘴角区域图像进行中值滤波，得到滤波后的嘴角区域图像。

图9示出了一个实施例中嘴角下垂检测设备的内部结构图。如图9所示，该嘴角下垂检测设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该嘴角下垂检测设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现嘴角下垂的检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行嘴角下垂的检测方法。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的嘴角下垂检测设备的限定，具体的嘴角下垂检测设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

一种嘴角下垂检测设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：获取待检测的人脸图像，截取人脸图像中的嘴角区域图像；对嘴角区域图像进行局部阈值分割，得到阈值分割图像，阈值分割图像内包括若干个闭合区域，闭合区域中的像素与闭合区域外的像素之间的像素差异大于预设程度；去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，得到下垂纹路图像；根据目标闭合区域的最小外接矩形的长边长度和短边长度确定嘴角下垂程度，目标闭合区域为下垂纹路图像中的闭合区域。

在一个实施例中，对嘴角区域图像进行局部阈值分割，得到阈值分割图像，包括：在嘴角区域图像内，计算每一像素点在预设邻域内的灰度均值与灰度值的标准方差，根据灰度均值及标准方差计算在每一像素点处的灰度阈值；将灰度值大于灰度阈值的像素点处的像素值设为第一像素值，将灰度值小于灰度阈值的像素点处的像素值设为第二像素值，得到阈值分割图像。

在一个实施例中，去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，包括：计算每个闭合区域的最小外接矩形的长边同水平线X轴正方向的第一夹角，水平线X轴为衡量人脸图像中的人脸宽度的轴向；将若干个闭合区域中面积小于第一预设面积的闭合区域，和/或，第一夹角小于第一预设角度的闭合区域均作为干扰区域，去除若干个闭合区域的中的干扰区域。

在一个实施例中，去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，包括：计算每个闭合区域的最小外接矩形的矩形面积；计算每个闭合区域的最小外接椭圆的长轴同水平线X轴正方向的第二夹角，水平线X轴为衡量人脸图像中的人脸宽度的轴向；将若干个闭合区域中矩形面积小于第二预设面积的闭合区域，和/或，第二夹角小于第二预设角度的闭合区域作为干扰区域，去除若干个闭合区域的中的干扰区域。

在一个实施例中，根据目标闭合区域的最小外接矩形的长边长度和短边长度确定嘴角下垂程度，包括：计算所有目标闭合区域的最小外接矩形的长边长度之和，及计算所有目标闭合区域的最小外接矩形的短边长度平均值；获取预设公式，将长边长度之和与短边长度平均值代入到预设公式中，得到结果值，结果值即表征嘴角下垂程度。

在一个实施例中，在对嘴角区域图像进行局部阈值分割之前，还包括：对嘴角区域图像进行噪声检测，当检测到嘴角区域图像内存在高斯噪声时，对嘴角区域图像进行均值滤波，得到滤波后的嘴角区域图像。

在一个实施例中，在对嘴角区域图像进行局部阈值分割之前，还包括：对嘴角区域图像进行噪声检测，当检测到嘴角区域图像内存在椒盐噪声时，对嘴角区域图像进行中值滤波，得到滤波后的嘴角区域图像。

一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：

获取待检测的人脸图像，截取人脸图像中的嘴角区域图像；对嘴角区域图像进行局部阈值分割，得到阈值分割图像，阈值分割图像内包括若干个闭合区域，闭合区域中的像素与闭合区域外的像素之间的像素差异大于预设程度；去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，得到下垂纹路图像；根据目标闭合区域的最小外接矩形的长边长度和短边长度确定嘴角下垂程度，目标闭合区域为下垂纹路图像中的闭合区域。

在一个实施例中，对嘴角区域图像进行局部阈值分割，得到阈值分割图像，包括：在嘴角区域图像内，计算每一像素点在预设邻域内的灰度均值与灰度值的标准方差，根据灰度均值及标准方差计算在每一像素点处的灰度阈值；将灰度值大于灰度阈值的像素点处的像素值设为第一像素值，将灰度值小于灰度阈值的像素点处的像素值设为第二像素值，得到阈值分割图像。

在一个实施例中，去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，包括：计算每个闭合区域的最小外接矩形的长边同水平线X轴正方向的第一夹角，水平线X轴为衡量人脸图像中的人脸宽度的轴向；将若干个闭合区域中面积小于第一预设面积的闭合区域，和/或，第一夹角小于第一预设角度的闭合区域均作为干扰区域，去除若干个闭合区域的中的干扰区域。

在一个实施例中，去除若干个闭合区域中不满足预设面积条件和/或预设夹角条件的干扰区域，包括：计算每个闭合区域的最小外接矩形的矩形面积；计算每个闭合区域的最小外接椭圆的长轴同水平线X轴正方向的第二夹角，水平线X轴为衡量人脸图像中的人脸宽度的轴向；将若干个闭合区域中矩形面积小于第二预设面积的闭合区域，和/或，第二夹角小于第二预设角度的闭合区域作为干扰区域，去除若干个闭合区域的中的干扰区域。

在一个实施例中，根据目标闭合区域的最小外接矩形的长边长度和短边长度确定嘴角下垂程度，包括：计算所有目标闭合区域的最小外接矩形的长边长度之和，及计算所有目标闭合区域的最小外接矩形的短边长度平均值；获取预设公式，将长边长度之和与短边长度平均值代入到预设公式中，得到结果值，结果值即表征嘴角下垂程度。

在一个实施例中，在对嘴角区域图像进行局部阈值分割之前，还包括：对嘴角区域图像进行噪声检测，当检测到嘴角区域图像内存在高斯噪声时，对嘴角区域图像进行均值滤波，得到滤波后的嘴角区域图像。

在一个实施例中，在对嘴角区域图像进行局部阈值分割之前，还包括：对嘴角区域图像进行噪声检测，当检测到嘴角区域图像内存在椒盐噪声时，对嘴角区域图像进行中值滤波，得到滤波后的嘴角区域图像。

需要说明的是，上述嘴角下垂的检测方法、装置、设备及计算机可读存储介质属于一个总的发明构思，嘴角下垂的检测方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。