具体实施方式

在以下描述中给出某些特定细节，以便提供对各种公开实施例的透彻理解。但是相关领域技术人员应当理解，这些实施例可以在没有这些特定细节的一个或多个的情况下实现，也可以通过其他方法、组件、材料等实现。在其它实例中，未详细示出或描述与便携式电子设备和头戴式设备相关联的公知结构，以避免不必要地混淆实施例的描述。为了连续和简洁起见，可将相同或相似的附图标记用于多个附图中相同或相似的对象。为了简明起见，可将术语“对应于”用于描述不同附图的特征之间的对应。当第一附图中的特征被描述为对应于第二附图中的特征时，将第一附图中的特征视为具有第二附图中特征的特性，反之亦然，除非另有说明。

在本公开中，除非上下文另有要求，否则在后面的整个说明书和权利要求中，“包括”一词及其变体，诸如“包括”的一般时和现在时应当以开放、包容的意义来解释，即“包括但不限于”。

在本公开中，提及“一个实施方式”或“一实施方式”或者“一个实施例”或“一实施例”意味着可以在一个或多个实施方式或者一个或多个实施例中通过任何适当方式来组合特定的特征、结构或特性。

在本公开中，单数形式“a”、“an”和“the”包括复数指代，除非内容另有明确规定。此外应当注意，术语“或”通常在其最广泛的意义上使用，也就是作为“和/或”的含义，除非内容另有明确规定。

本文给出本公开的标题和摘要仅为方便起见，并不解释实施例的范围或含义。

图1示出便携式电子设备(PED)100，其可配置为根据本文所述方法自动检测对象头部的瞳孔位置。术语“瞳孔位置”指的是眼睛瞳孔的中心位置。对于拥有双眼的典型用户，存在两只瞳孔位置，由此可以计算IPD，或者如果注视点已知，则可以确定准确的LPD和RPD。虽然将电子设备100描述为便携式，但是应当理解，可以在不认为是便携式的电子设备中实现所述方法。出于说明的目的，在图1中将PED 100示出为智能手机，但是检测瞳孔位置的方法可以用其他类型的便携式电子设备(例如平板计算机或笔记本计算机)来实现。此外，图1中所示为PED 100的智能手机过于简单，并且不指示智能手机可能具有的所有特征。一般而言，被配置为检测瞳孔位置的PED(或一般电子设备)是包括相机和光源的系统，在系统使用过程中，相机和光源的位置和几何结构是固定且已知的。在一个示例中，除了其他电子组件外，PED100还包括前向(FF)相机104(或“自拍”相机)、充当光源的显示屏108、用于执行计算机可读指令的至少一个处理器112以及用于存储数据和计算机可读指令的存储器116。术语“前向相机”或“FF相机”主要指示当用户操作PED 100时相机正对着用户。存储器116包括一种或多种类型的数据存储，诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态驱动器等。PED 100可具有一个电子前向(FF)闪光灯，其在通过FF相机104捕获图像时可以被选择性地激活(或打开)。在智能手机上，FF闪光灯通常通过在显示屏上显示具有最大亮度的白色屏幕来激活。

在一种实施方式中，为了允许PED 100用于检测对象用户头部的瞳孔位置，眼镜尺寸调整应用程序被存储在电子设备100的存储器116中。例如，应对象用户的请求，处理器112可从应用商店获得眼镜尺寸调整应用程序，并将其存储在存储器116中。用户可以使用用于在电子设备上启动应用程序的任何合适方法(例如，通过选择显示屏108上呈现的菜单中的图标或通过语音命令)来激活眼镜尺寸调整应用程序。在本文的实施方式中，眼镜尺寸调整应用程序通常包括计算机可读指令，用于捕获FF相机104前方场景的图像，并从捕获的图像中提取瞳孔位置信息。FF相机104位于对象用户头部前方，因此由FF相机捕获的场景包括头部的正面部分。头部的正面部分是包括面部的头部部分。可以使用将FF相机104定位在用户头部前方的任何合适方法，例如用户将PED 100保持在自拍位置，或者通过将PED 100支撑在位于用户前方的三脚架或自拍杆等上。

FF相机，诸如智能手机附带的相机，通常不会捕获高分辨率图像。因此，直接从FF相机图像中提取瞳孔数据非常困难，有时甚至不可能。在本文中，使用不依赖于从FF相机图像提取瞳孔数据的方法来检测瞳孔位置。已经发现，如果FF相机在闪光灯打开的情况下捕获头部正面部分的图像，则在眼睛的每只瞳孔中都会有显示屏的反射。这些屏幕反射可以被检测并用作瞳孔中心的准确估计，特别是在对象用户的注视方向已知的情况下。为了确保能够准确检测屏幕反射，该方法包括对捕获FF相机图像时的照明条件进行评估。如果照明条件可能导致在检测屏幕反射时产生歧义，则提示用户在FF相机的环境中进行改变，以便捕获更好的FF相机图像。

图2是示出检测对象用户头部上瞳孔位置的方法的流程图。图2所示的和下面描述的方法可以作为存储在电子设备(例如，图1中的PED 100)的存储器中并且可通过电子设备的至少一个处理器执行的一组指令(或眼镜尺寸调整应用程序)来提供。在步骤200处，电子设备的处理器(例如，图1中的处理器112)使得眼镜尺寸调整应用程序(以下称为app UI)的用户界面(UI)呈现在电子设备的显示屏(例如，图1中的显示屏108)上。app UI可响应于用户访问电子设备上的眼镜尺寸调整应用程序而呈现，例如，通过选择表示眼镜尺寸调整应用程序的图标或通过语音命令。图3A示出了PED 100的显示屏108上的app UI 300的示例主屏幕。主屏幕的细节是设计元素，并且可以不同于图3A中所示的内容。为了说明的目的，appUI 300的主屏幕可以包括与眼镜尺寸调整应用程序的使用相关的一组指令或信息304以及按钮308。在一个实施方式中，将按钮308设置为具有启动眼镜尺寸调整操作(或WHUD尺寸调整操作)的动作。在读取指令304后，用户可选择按钮308以开始眼镜尺寸调整操作。

返回图2，在204处，处理器接收开始眼镜尺寸调整操作的请求。响应于开始眼镜尺寸调整操作的请求，在208处，处理器在显示屏上呈现app UI的瞳孔检测屏幕。处理器可以进一步打开FF相机(例如，图1中的相机104)。为了说明的目的，图3B示出了显示屏幕108上的app UI 300的示例性瞳孔检测屏幕。瞳孔检测屏幕的细节是设计元素，并且可以不同于图3B中所示的内容。为了说明的目的，瞳孔检测屏幕包括捕获窗口312、捕获窗口312上方的顶部栏314和捕获窗口312下方的底部栏316。因为处理器已经打开FF相机104，所以在捕获窗口312内显示FF相机104前方的场景(在这种情况下，用户操作PED 100)。底部栏316包括按钮320。在一个实施方式中，按钮320被设置为开始瞳孔检测处理的动作。用户可以选择按钮320以开始瞳孔检测处理。当瞳孔检测处理运行时，关于该处理的反馈可以显示在底部栏316和/或顶部栏314中。

返回图2，在212处，处理器接收开始瞳孔检测处理的请求。响应于接收到开始瞳孔检测处理的请求，处理器可以进行一些初步检查。例如，上眼睑通常会遮挡眼睛的一部分。一般来说，眼睛注视的位置越低，被上眼睑遮挡的部分就越大。因此，优选的是当为了瞳孔检测目的而捕获用户的面部图像时，眼睛向下看的程度不能使得上眼睑基本上覆盖瞳孔。图3C示出相对于垂直方向(重力方向)处于倾斜位置的PED100(以及因此包括在PED100中的相机104)的示例。PED100与垂直方向之间的角度由β表示，并且在下文中可称为倾斜角。倾斜角可以预先确定，超出倾斜角阈值时，眼睛的注视可能过低。作为非限制性示例，倾斜角度阈值可以是20度。回到图2，在一个实施方式中，在216处，处理器确定电子设备(例如，PED100)相对于垂直方向的倾斜角。处理器可以从电子设备中的传感器单元(诸如惯性运动单元(IMU))获得确定电子设备的倾斜角所需的测量值。处理器确定电子设备的倾斜角(即，电子设备与垂直方向之间的角度)是否超过倾斜角阈值。如果倾斜角超过倾斜角阈值，处理器可能会提示用户将设备举得更高(例如，通过在app UI上显示适当的消息)，从而使得倾斜角减小。处理器可以重复确定电子设备相对于垂直方向的倾斜角，并检查倾斜角是否超出可接受范围，直到用户对设备的朝向进行了适当调整为止。

在220处，处理器可在app UI的瞳孔检测屏幕上呈现注视焦点。当FF相机捕捉到用户头部正面部分的图像时，期望用户聚焦在注视焦点上。注视焦点可以是任何UI元素，例如文本元素或图形元素。此外，UI元素可以是动画或具有吸引用户注意的特征。在某些情况下，在app UI的捕获窗口中显示的用户图像可以充当注视焦点。为了说明的目的，图3D在顶部栏314中示出示例注视焦点332。注视焦点332被示出为计时器。然而，如先前所述，可以提供焦点的任何适当UI元素都可以用作注视焦点(例如，诸如“看这里”之类的简单文本或吸引用户注意的动画)。在底部栏316中可显示暗示(诸如暗示334)，以将用户的注视引导到注视焦点332。

回到图2，在224处，处理器通过打开的FF闪光灯，使得FF相机捕获一个或多个图像帧(或者，简称图像)–这些FF相机图像帧可以被称为闪光(FON)图像。打开闪光灯相当于照亮由FF相机捕获的用户头部正面部分。动作224可以在用户注视着注视焦点的情况下进行。在224处捕获(多个)FON图像后，处理器可以关闭FF相机(并且关闭FF闪光灯)并且呈现appUI的处理屏幕，如在228处所示。图3E示出了关闭FF相机104后app UI 300的处理屏幕的示例。在这种情况下，注视焦点被移除，因为不再需要它。捕获窗口312为空，因为FF相机104已经被关闭。可以在底部边框316中显示消息336以指示应用程序正在处理捕获的图像。

回到图2，在232处，处理器选择至少一个FON图像并且检测所选FON图像中每只眼睛区域上的屏幕反射(不必从同一FON图像检测左眼和右眼区域上的屏幕反射，虽然这样做可能很方便)。参考图4，在一个实施方式中，检测屏幕反射可以包括例如使用面部识别库(诸如DLIB)从所选FON图像检测面部区域400。使用面部识别库从面部区域400检测包括左眼的感兴趣区域(ROI)404和包括右眼的ROI408。然后，检测ROI404中的左屏幕反射412和ROI 408中的右屏幕反射416。在一个实施方式中，使用基于卷积的方法来检测屏幕反射412、416。

在基于卷积的方法的一个示例中，构造用于检测屏幕反射(在下文中称为屏幕反射核)的卷积核(或滤波器)。在一个实施方式中，屏幕反射核是一个矩阵，该矩阵支持具有屏幕反射形状并且被暗像素包围的明亮区。屏幕反射形状由反射到眼睛上的显示屏(或已知光源)的形状决定。在一个非限制性示例中，屏幕反射形状为矩形。图5A示出屏幕反射核420的示例。然而，该示例并不打算限制，因为矩阵中可以使用不同于图5A所示的权重，并且矩阵的大小可以不同于图5A所示的大小。矩阵的内部区域，即用多个1表示的区域，通常其大小略小于要检测的屏幕反射的大小。图5B示出屏幕反射核420的图像表示，其中1被替换为白色，-1被替换为黑色。屏幕反射核(例如，图5A中的核420)与ROI 404(图4中)进行卷积以检测具有屏幕反射形状(例如，矩形形状)的明亮区，其对应于左屏幕反射412的至少一部分。类似地，屏幕反射核(例如，图5A中的核420)与ROI 408(图4中)进行卷积以检测具有屏幕反射形状(例如，矩形形状)的明亮区，其对应于右屏幕反射416的至少一部分。卷积操作的每个窗口都可以通过窗口内的像素被归一化——这将确保在明亮的内部区与黑暗的外部区之间存在较大差异的窗口在卷积后由于更高的响应而终结。可以搜索与通过卷积处理找到的与屏幕反射相对应的明亮区的邻域，以确定所检测到的屏幕反射的边界。

在另一种卷积方法中，构造两个屏幕反射核–第一核用于查找与屏幕反射相对应的明亮区，并且第二核用于查找屏幕反射周围的黑暗边。第一核类似于上文所述的屏幕反射核(例如，图5A中的核420)，其支持具有屏幕反射形状并且被暗像素包围的明亮区，但第一核的外部区域将是多个0，而不是上文所述的多个-1，使得卷积响应不考虑暗的外部区域。图6A了示出示例第一核424的矩阵表示。图6B示出了第一核424的图像表示，其中1被替换为白色并且0被替换为黑色。第二核支持包围具有屏幕反射形状的明亮区的暗像素。图6C示出了示例第二核428的矩阵表示。图6B示出了第二核428的图像表示，其中1被替换为白色并且0被替换为黑色。图6A-图6D所示的示例核检测具有矩形形状的屏幕反射。但是，检测具有其他形状的屏幕反射的核可以通过类似方式来构造。为了检测左屏幕反射，第一核和第二核(例如，图6A中的核424和图6B中的核428)中的每一个与左ROI 404(图4中的)进行卷积。使用第二核的卷积结果除以使用第一核的卷积结果，以获得包括所检测到的左屏幕反射的最终输出图像。类似地，为了检测右屏幕反射，第一核和第二核中的每一个与右ROI408(图4中的)进行卷积，并且使用第二核的卷积结果除以使用第一核的卷积结果，以获得包括所检测到的右屏幕反射的最终输出图像。该方法避免了先前卷积方法中的归一化过程并且加快了屏幕反射的检测。

如果在任何眼睛ROI(例如，图4中的404或408)上存在来自额外光源(即，除了PED中包括的已知光源之外的光源)的多次反射，则通过卷积处理所检测的屏幕反射不一定是与瞳孔内部的屏幕反射相对应的反射。因此，检查眼睛ROI上是否存在可能干扰瞳孔位置检测的多次反射是有用的。返回图2，在236处，处理器确定当捕获所选FON图像时，用户头部的正面部分的照明条件是否指示明亮环境——如果在捕获FON图像期间，用户正对着除了已知光源之外的一个或多个已知光源(例如，窗口或人造光或用户前方的墙壁或表面的明亮反射)，则指示明亮环境。为了进行该确定，检测眼睛ROI 404(图4中的)和眼睛ROI 408(图4中的)中的每一个ROI内部的所有反射。在一个实施方式中，使用基于屏幕反射平均强度Ir(这可以是通过上述卷积处理找到的屏幕反射的平均强度)计算的自适应阈值T来检测每只眼睛ROI内的所有反射R。如果dist(r_i,(c_x,c_y))<D并且area(r_i)<A，则反射r_i∈R被视为明亮环境的指示，其中dist是欧几里德距离，area是面积函数，并且(c_x,c_y)是所检测的屏幕反射。如果一个或多个反射满足上述条件，则当捕获所选FON图像时，用户头部的正面部分的照明条件指示明亮环境。

如果处理器断定所选FON图像是在明亮环境中被捕获的，则在240处，处理器丢弃在224处捕获的FON图像。处理器可以通知用户瞳孔检测失败，因为用户正对着未知光源，并且可以提示用户背向任何额外光源。处理器可以停止眼镜尺寸调整操作并返回步骤200。一旦用户背向额外光源(即，PED中包括的除了已知光源之外的光源)，用户可以尝试再次运行眼镜尺寸调整操作。

如果处理器断定所选FON图像并非在明亮环境中被捕获，则在244处，处理器根据在232处检测到的屏幕反射来估计瞳孔位置。取决于误差的容差，检测到的左屏幕反射上的任何点都可以作为左瞳孔位置(或左瞳孔中心)，并且检测到的右屏幕反射上的任何点都可以作为右瞳孔位置(或右瞳孔中心)。如果需要更精确的瞳孔位置，则左瞳孔位置可以由左屏幕反射与显示屏之间的比例关系确定，并且右瞳孔位置可以由右屏幕反射与显示屏之间的比例关系确定。例如，图7A示出了具有高度Sy和宽度Sx的显示屏432。注视焦点G在显示屏432(这将是当捕获用户的FON图像时用户聚焦的地方)上示出。注视焦点G从显示屏432的上边缘垂直位移Sdy，并且从显示屏的左边缘水平位移Sdx。图7B示出了具有高度Ry和宽度Rx的屏幕反射436(可以是左屏幕反射或右屏幕反射)。待确定的瞳孔中心(或瞳孔位置)P从屏幕反射的上边缘垂直位移Rdy，并且从屏幕反射的左边缘水平位移Rdx。因为Rx、Ry、Sx、Sy、Sdx和Sdy已知，所以可通过以下等式(1)和(2)来确定Rdx和Rdy：

可以调整通过上述表达式获得的左瞳孔位置和右瞳孔位置，以补偿眼睛的光轴与视轴之间的偏移。在一个示例中，这包括对左瞳孔位置施加右偏移(右水平移位)和对右瞳孔位置施加左偏移(左水平移位)。在一个非限制性示例中，大约等于基线左瞳孔位置从左屏幕反射的右边缘的水平位移的右偏移为左眼的光轴与视轴之间的偏移提供了合适的补偿。类似地，在一个非限制性示例中，大约等于基线右瞳孔位置从右屏幕反射的左边缘的水平位移的左偏移为右眼的光轴与视轴之间的偏移提供了合适的补偿。可以根据等式(1)和(2)确定基线左瞳孔位置和右瞳孔位置。为了说明的目的，图8A示出了在左屏幕反射412上的基线左瞳孔位置PL。基线瞳孔位置PL从屏幕反射412的右边缘的水平位移由Δxl表示。根据一个示例，如果基线瞳孔位置PL的坐标为(x1，y1)，则补偿眼睛的光轴与视轴之间的偏移的左瞳孔位置PL′可以是(x1+Δxl,y)。但是，可以对PL施加与图8B所示不同的右移位(例如，小于Δxl或大于Δxl的一个右移位)。图8B示出了在右屏幕反射416上的基线右瞳孔位置PR向PR′左移位一个偏移Δxr。如果基线瞳孔位置PR的坐标为(x2，y2)，则补偿眼睛的光轴与视轴之间的偏移的右瞳孔位置PR′可以是(x2–Δxr,y2)。如上所述，对于左瞳孔位置，可以对PR施加与图8B所示不同的左移位(例如，小于Δxr或大于Δxr的一个移位)。

回到图2，在248处，处理器可以确定屏幕反射检测的置信度和由此产生的估计瞳孔位置。在一个示例中，确定屏幕反射检测的置信度包括从所选FON图像(或所选多个FON图像)检测左虹膜和右虹膜。可以通过使用具有近似虹膜形状的一般圆形形状的虹膜核的卷积处理来找到左虹膜和右虹膜。虹膜被巩膜包围。因此，卷积处理可以检测由白色像素包围的非白色区。接下来，确定每只虹膜的中心。对于每只眼睛，将置信度计算为检测到的瞳孔位置距眼睛虹膜中心的高斯加权距离。当眼睛的虹膜中心和瞳孔位置对齐时，最高置信值1出现。图9A示出所检测的瞳孔位置450与虹膜454的中心对齐的情况。在这种情况下，置信水平为1。图9B示出了所检测的瞳孔位置450'与虹膜454的中心不对齐的情况。瞳孔位置离虹膜中心越远，屏幕反射检测的置信度越低。在图9A和图9B中，沿水平方向(沿x轴)来计算高斯加权距离。但是，可以同时在水平方向(沿x轴)和垂直方向(沿y轴)来计算高斯加权距离，以获得更精确的测量值。在某些情况下，水平和垂直计算的高斯加权距离可以彼此相乘以获得最终置信值。在244处为每只眼睛确定的瞳孔位置将具有相关联的置信度测量值(或一组相关联的置信度测量值，如果在水平方向和垂直方向上计算高斯加权距离，并且水平和垂直高斯加权距离未组合)。如先前所述，与置信度测量值计算中的虹膜中心相比，所检测到的瞳孔位置可以是基线瞳孔位置或者经过调整以补偿眼睛的光轴与视轴之间偏移的瞳孔位置。

回到图2，处理器可以从确定的瞳孔位置来计算IPD。IPD仅仅是左瞳孔位置与右瞳孔位置之间的距离。处理器还可以计算LPD和RPD——假设用户的注视点已知，可以旋转模拟瞳孔以估计朝向无穷远的注视，之后，可以使用鼻梁中心和两只瞳孔测量值分别计算LPD和RPD。可以将瞳孔检测数据(例如，瞳孔位置、屏幕反射检测的置信水平以及任何计算的IPD、LPD和RPD)存储在电子设备的存储器中(例如，图1中的存储器116)和/或传输到远程位置/服务器，用于眼镜或WHUD尺寸调整或者需要关于对象的头部上瞳孔位置信息的其他操作。

上述对所示实施例和实施方式的描述，包括在本发明摘要中所描述的内容，并非要详尽无遗或将实施例和实施方式限制为所公开的精确形式。虽然本文为了说明的目的描述了具体实施例和实施方式以及示例，但是本领域技术人员应当理解，在不脱离本发明的精神和范围的情况下，可以进行各种等效修改。