具体实施方式

参考图1至图4D，图1例示了方法100，包括：接收指示对象和相机206(成像传感器)的相对布置的信息(110)；根据该信息确定与对象和相机206的相对布置相关联的条件(120)是否被满足；如果条件被满足，则使得显示对象的至少一个检测到的特征的指示406(130)。可选地，如果条件不被满足，则显示由相机206所捕获的图像数据402，而没有指示406(框140)。

在以下公开的示例中，但不必然在所有示例中，对象是相机206的用户的人类头部。在其他示例中，对象可以是相机206的用户以外的人类的头部，或者动物头部。

在以下公开的示例中，但不必然在所有示例中，相机206被配置为摄像机。当方法100被执行时，摄像机206捕获移动图像。附加地或备选地，相机206可以被配置为捕获静止图像。相机206可以是可见光相机，或者可以被配置为对电磁波谱中的其他波长成像。

以下描述了方法100的示例实现，具体参考图1至图4D。

更详细地描述框110。框110包括接收指示头部216和相机206的相对布置的信息。

当相机206被设置为捕获用户的头部216的图像时，相机206和头部216的相对布置可以暂时地改变。有时，他们的头部216可能被定位在相机的视野222之外(小于360度)。有时，他们的头部216可能离相机206太近或太远。有时，他们的头部216可能以次优角度成像，使得用户的面部可能不清晰。有时，用户可能会因为举起相机206(例如手持式相机)而变得疲倦，并且他们的手臂可能下垂，使得用户的头部216不平行于相机206的光轴224并且被成像在次优角度。在进一步的示例中，用户可能希望以需要他们退出相机206的视野222的方式来进行多任务。

上述维护期望的相对布置的困难会妨碍相机206捕获微小情感，例如由面部表情传达的情感。情感可以显著地递送比言语更多的内容，这代表了摄像机通信相对于基于文本的通信的潜在优势。

图1的方法100有利地提供了用户的改进图像，并且可以更可靠地提供关于用户头部的特性(诸如面部表情)的背景信息。

因此，在框110处接收指示头部216和相机206的相对布置的信息，以监测相对布置。可以自动地执行该监测。

在一些但不必然是全部示例中，指示相对布置的信息来自至少一个第一传感器，该第一传感器被配置为检测相对布置的改变。

至少一个第一传感器是从第一组一个或多个传感器所选择的传感器。第一组传感器可以包括惯性测量单元。惯性测量单元可以包括加速度计和/或陀螺仪。一个惯性测量单元对应于一个感测模式和一个测量轴。第一组传感器可以包括多个惯性测量单元，定义多个感测模式和/或多个感测轴。惯性测量单元可以包括三轴加速度计和/或三轴陀螺仪。第一组传感器可包括诸如上述相机206(或另一相机)的成像传感器。成像传感器可以是3D成像传感器，诸如立体相机或全光相机，或者可以是2D成像传感器。

第一组传感器可以包括在与相机206相同的设备上的传感器212，参见例如图2，其示出了包括相机206和第一传感器212的设备202。附加地或备选地，第一组传感器可以包括在用户的头部216和/或身体上的传感器，被定位成使得能够监测相对布置。

接收到的信息可以被处理以确定相对布置，定义为相对位置和/或定向。在一些但不必然是所有示例中，处理可以执行推算定位(dead reckoning)。如果接收到的信息包括图像数据，则可以应用头部姿势识别算法。

为了能够准确地确定定向，第一传感器相对于主机相机设备和/或用户的定向可以是恒定的，例如，使得惯性测量信号是一致的。如果接收到的信息包括图像数据，则可以使用眼睛注视跟踪和/或头部姿势估计来检测用户头部216的方向。与眼睛注视跟踪相比，头部姿势估计是次优头部方向的更准确的指示符。

一旦在框110处接收到信息，方法100就进行到如下所述的框120。

框120包括根据信息确定是否满足与头部216和相机206的相对布置相关联的条件。该条件可以与可接受的相对布置的偏差有关。在一些但不必然是全部示例中，确定相对布置与可接受的相对布置的偏差是否可接受可以取决于与参考相对布置的偏差是否超过阈值。参考相对布置可以包括参考可接受相对定位，诸如头部在相机的视野222中居中。附加地或备选地，参考相对布置可以包括参考可接受相对定向，诸如头部方向平行于光学轴224。阈值可以被配置为在条件不被满足的情况下，允许相对布置与参考相对布置的一些偏差。在其他示例中，可接受性的确定可以取决于是否某些面部特征是否由来自相机206的图像数据的图像分析标识。以下描述基于阈值和特征跟踪方式的示例。

图3A到图3C代表三个不同的相对布置，其中两个满足条件以及一个不满足条件。图4A和图4B代表两种不同的相对布置，其中一种满足条件以及其中一种不满足条件。

在图3A和图4A中，头部216和相机206的相对布置导致第一相对位置P1和第一相对定向O1。第一相对位置在相机206的视野222内。第一相对定向基本上平行于相机206的光轴224，并且头部216看向相机206(即正面定向)。

条件的满足可以取决于头部216的至少一部分是否被确定为定位在视野222之外。图3A中的第一相对位置不满足条件，因为头部216在视野222内，并且正面地朝向相机206以提供面部特征的清晰视角。

为了使相对定位满足条件，相对定位可能需要改变，使得作为移动相机206和/或头部216的结果，头部216的至少一部分被定位在视野222之外。例如，在图3C中，头部216相对于相机206在第二位置P2，使得头部216的至少一部分在视野222之外，使得条件被满足。

在一些示例中，条件的满足可能需要整个头部216退出视野222。在其他示例中，条件的满足可能需要头部216的至少一部分退出视野222，诸如多于头部216的50％退出视野222。在一些示例中，移动头部216更靠近相机206，这样头部216在视野222的边缘裁剪，不影响条件是否被满足。因此条件的满足可以根据头部216在视野222中的居中来确定。例如，条件的满足可以取决于头部216的跟踪参考位置(例如中心)是否退出视野222或进入视野222边缘的阈值距离内，或者头部216的能够表达情感的已识别面部特征(例如嘴、眉毛)是否退出视野222。如果头部216移动偏离中心，满足条件的可能性可以增加。

在图3B和图4B中，头部216和相机206在第二相对定向O2。图3B中的第二相对定向满足该条件，因为尽管头部216仍在相机206的视野222内，但头部216指向远离相机206(非正面地定向)。非正面的相对定向会隐藏情感语境。

在一些示例中，条件的满足取决于相对取向是否超过阈值。阈值可以从距光轴224大于0度至距光轴224大约90度的范围中选择。在一些示例中，该范围可以从大约20度至大约60度。这将减少在用户仅扫视四周的情况下对条件的误报满足，并且确保当面部特征不再清晰时条件被满足。

在一些示例中，阈值可以取决于相对定向的改变发生在哪个轴。例如，如果用户向上看使得定向是“从下方”，则阈值可以低于视角为“从侧面”的视角的阈值。这是因为在“从下面”的视角中可能比在侧面视角中更难推断出情感语境。此外，“从下面”的视角被认为是一种不好看的视角。在一些示例中，条件的满足取决于头部216的方向是否相对于光轴224至少向上倾斜(定向)。如果头部216不向上倾斜，例如向下，则条件可能不被满足。

条件的满足可以根据瞬时的相对布置来确定，并且可选地根据过去的相对布置来确定。例如，如果头部216从一开始就未在视野222中，则条件可能无法被满足。

为了减少由诸如相机抖动之类的小移动引起的误报，条件的满足可能需要在高于阈值的持续时间内和/或以高于阈值的频率发生不可接受的相对布置。

在以上示例中，条件可以单独通过相对位置的改变来满足，并且可以单独基于相对定向的改变来满足。在其他示例中，条件的满足取决于相对位置或相对定向中的一项而不是另一项。在进一步的示例中，该条件只可以通过相对布置和相对定向的组合来满足，而不是单独地通过相对布置或相对定向来满足。

条件的满足是必要的，并且可选地是充分的，以进行到如下所述的框130。

图1的框130包括如果条件被满足则使得显示头部216的至少一个检测到的特性的指示406。检测到的特性可以取决于面部表情。面部表情提供情感语境。面部表情对用户来说是个人的，以及因此代表了他们的各自特性。因此，尽管头部216和相机206的相对布置次优，但情感语境可以被有利地传送。显示检测到的指示用户实际表情的特性比例如显示未检测到的表示一般微笑(例如头像或者表情符号)的特性更清晰地传达情感语境。稍后提供对指示406如何被确定以及特性如何被检测的详细讨论。

检测到的当前特性的指示在图4D中示出。微笑和扬起的眉毛的指示406已经被检测到，并且在表示404中由微笑和扬起的眉毛指示。

显示图4D的指示406的显示器可以是相机206本地的，诸如图2的设备202的显示器208。附加地或备选地，其上显示指示406的显示器可以是远离相机206，诸如用于接收图像数据作为视频通信会话的一部分的远程设备的显示器。这有助于远程第三方用户在他们不能看到用户时推断用户的情感。

在一些但不必然是所有示例中，图4D的表示404是整个头部216或头部216的至少一部分的渲染重建，其中重建的至少一部分被配置为指示头部216的至少一个检测到的特征中的至少一个特征。术语“重建”将被理解为代表至少部分地由计算机生成的模型，该模型基于指示特定用户的实际头部216的信息被自动地构建并且被配置为在显示器208上渲染。重建可以基于特定用户的实际头部216的2D或3D计算机模型。与以更简单的方式指示检测到的特征相比，使用重建的效果是用户的面部表情和情感以更准确和熟悉的方式被传达。

在不需要重构的更简单的示例中，指示406可以代替包括诸如文本、符号或预捕获的相机图像(例如，与检测到的特性相关联的预捕获的照片或头像)的内容项。可以使用情感分类算法来选择内容项，用于将至少一个检测到的特性与多个可选择的内容项中与不同的检测到的特性相关联的特定内容项相关联。

图4D示出了可以作为框130的结果显示的用户头部216的表示404。在该示例中，用户的头部216具有如图4B和图3B所示的相对定向，这引起条件的满足。如果相对定位是满足条件的原因，而不是相对定向，则图4D可以看起来相同或相似。

表示404可以包括不指示检测到的当前面部表情特性的头部216的特征，诸如头发和皮肤纹理。那些特征可以从用户的头部216的预捕获的图像中显示，或者可以从头像或占位符图像中显示。

如果框120的条件不被满足，则代替框130，可以执行框140。

框140包括如果条件不被满足，则使得输出不同的数据，而不使得显示指示406。在示例中，输出是显示输出并且不同的数据包括由相机206捕获的图像数据402。头部216很可能在图像数据402中清晰可见，因为头部216充分地在相机206的视野224内部并且面对相机206，即条件不被满足。图4C示出了用于框140的由相机206捕获的图像数据402的示例。图4C示出了由相机206实时捕获的图3A的用户头部216。因此用户的当前面部表情在图4C中表示。

作为框140的上述实现的备选，不同的输出可以包括音频或触觉反馈，例如用于提示用户将他们的头部216和/或相机206移动到不同的相对布置以使得条件不再被满足。或者，如果不同的输出是显示输出，则不同的输出可以包括通知或者任何其他报警。备选地，框140可以被完全省略并且条件的不满足可以导致方法100终止或循环到框110。

用户头部后面的图4D的背景可以是静态或移动图像，并且甚至可以由相机206实时捕获，取决于实现。例如，当条件被满足时，指示(框130，图4D)可以替换所显示的图像数据的(多个)部分或者全部(框140，图4C)。在一个示例中，替换可以包括形成合成图像，其中指示(和/或表示404)是前景对象并且前景对象周围的背景中的相机图像数据保持可见(部分替换)。如果用户正在谈论相机206的图像数据中的可见事物或对来自相机206的图像数据中的可见事物作出反应，这将是有用的。在另一个示例中，显示器可以在显示指示而没有图像数据与显示图像数据而没有指示之间自动地切换，而不管何时条件的满足状态改变(整体替换)。背景可以是预先确定的，或者自动和/或手动可配置的。

当表示404被显示时，它可以如图4D所示被居中，或者可以偏移到例如图像的角落。指示的比例可以放大以更好地传达情感，或缩小以不引人注目，或根据检测到的用户与相机206的距离而变化。如果用户的头部216仍在视野224中，则指示可以与用户的头部216对齐。指示的大小和/或对齐可以是预先确定的，或者是自动和/或手动可配置的。

方法100可以被周期性地重复。方法100的周期性重复可以导致所显示的信息的实时馈送。该方法可以被重复以自动地更新所显示的指示406的实时馈送和/或自动地更新图像数据402的实时馈送。方法100的每次重复之间的平均时间间隔可以小于一秒。

所显示的特性的指示406(框130，图4D)与框140的图像数据402(图4C)之间的区别在于，图像数据402指示由相机206当前感测到的内容，而指示406不指示由相机206当前感测到的内容，因为该特性在来自相机206的图像数据中不是清晰可见的。这是由于面部特征相对于相机206斜置。图4D的指示406可以代替指示由其他传感器当前感测到的内容，这将在下面描述。

图5例示了如何检测特性并创建适合于显示的指示该特性的表示404的方法500的示例。图5的方法500只有在框120被满足时才可以被执行，或者无论条件是否被满足都可以“始终开启”，使得用户可以选择显示表示404而不是图像数据402。

在框510，方法500包括从至少一个第二传感器218接收指示头部特性的信息。传感器的使用意味着对于用户而言没有必要手动地输入指示他们的情感状态的信息。图5的方法500可以被自动地执行，并且按照图1的方法100被周期性地重复。

特性可以例如通过每次从至少一个第二传感器218接收信息而被检测到，该信息确保所显示的特性的指示指明用户的当前特性。例如，如果所显示的指示示出了在显示时不超过用户特性后一分钟的特性，则该特性可以是当前特性。在一些示例中，延迟可以不超过一秒。

现在将限定至少一个第二传感器218。至少一个第二传感器218是从第二组一个或多个传感器中选择的传感器。第二组传感器包括与第一组传感器不同并且不是相机206的至少一个传感器。当面部在镜头外时，相机206将是限制使用的。

至少一些第二传感器218可以被配置为检测肌肉运动对被测量对象(measurand)的影响。具体地，至少一些第二传感器218可以被配置为检测面部肌肉运动的影响。面部肌肉运动可以包括肌肉张力。至少一些第二传感器218可以被定位成与用户的头部216接触或靠近。第二传感器218可以包括一个或多个可穿戴传感器。第二传感器218可以在图1和图5的方法被执行时被穿戴。

至少一些第二传感器218相对于特定面部肌肉的特定定位使得能够检测特定情感对特定面部肌肉群的运动的相关影响。图6示出了人类头部216的主要面部肌肉。下表1指示哪些肌肉涉及哪些情感：

表1：七种主要人类情感中涉及的肌肉

第二组传感器可以包括力传感器和/或弯曲传感器708和/或邻近传感器808和/或电容传感器706和/或惯性测量单元704和/或肌电图传感器。惯性测量单元704也可以被用作第一传感器之一。

可以通过将第二传感器218附接或嵌入在可穿戴配件中，使第二传感器218是可穿戴的。如本文所述的配件意味着至少提供美学和/或非医疗功能的可穿戴设备。可穿戴配件的示例包括耳机(或可听式设备)700(图7)、眼镜800(图8)和/或任何其他类型的可穿戴配件(例如衣服、珠宝和头发配件)。耳机是一种可穿戴在耳朵内或耳朵上的可穿戴配件。可听式设备在本文中被定义为具有音频扬声器的耳机。

可穿戴配件确保将第二传感器218穿戴在用户头部的所需位置。出于本公开的目的，所需位置是人类头部上的任何位置，该位置以第二传感器218可检测的方式根据面部肌肉的收缩和/或松弛来移动。这样的位置包括头部上的位置并且也可以包括颈部的上部区域中的位置，该颈部的上部区域中的位置在解剖学上被归类为颈部的一部分。

在一些但非必然是全部示例中，多于一个的第二传感器218在一个或多个可穿戴配件上被穿戴。穿戴多个第二传感器218可以包括穿戴提供不同感测模式的第二传感器218。

穿戴多个第二传感器218可以包括在用户头部的不同位置处穿戴用于相同或不同模式的第二传感器218。在一些示例中，所需位置可以位于头部的左侧和右侧。这些位置可以在头部的对称相反侧上。这提供了对称和非对称面部表情(例如微笑与半笑)之间更好的区别。在其他示例中，位置的分布可以以不同的面部肌肉为目标并且可以涉及或不涉及对称定位。

包括第二传感器218的可穿戴配件可以被配置为以可重复使用的方式穿戴。可重复使用的方式意味着可穿戴配件可以被移除并且在以后重新穿戴而不会在移除时对可穿戴配件造成不可挽回的损坏。可穿戴配件可穿戴在用户身体的外部，这样不需要植入。

包括第二传感器218的可穿戴配件可以被配置为不是一次性使用的。例如，可穿戴配件可以被配置为摩擦和/或偏置安装。这排除了对一次性粘合剂等的需要。然而，在备选实现中，可穿戴附件被配置用于一次性操作，例如可穿戴配件可以是粘合剂贴片的一部分。

可穿戴配件可以包括用于使得第二传感器218起作用的电路系统，诸如电源和电路系统。本文描述的方法可以由可穿戴配件的电路系统执行，或者可以由外部装置执行。可穿戴附件可以包括接口，该接口可以包括导线或天线，用于将信息传送到外部装置。

可穿戴配件可以提供一种或多种可穿戴配件功能。可穿戴配件的其他功能的示例包括但不限于提供人机接口(输入和/或输出)、噪声消除、定位附加传感器用于其他用途等。一些可穿戴配件甚至可以包括附加的医疗/非配件功能(例如矫正/有色眼镜镜片、定位健康监测传感器)。图7的耳机700可以包括音频扬声器。图8的眼镜800可以包括有色镜片和/或矫正镜片。

将更详细地限定图7的耳机700。与例如穿戴特定的衣服或不必要的眼镜相比，耳机201的优点是方便。另一优点是耳机201被定位成靠近与常见面部表情强烈相关的几个面部肌肉。

图7示出了限定可穿戴配件的两个耳机700，分别用于左耳和右耳。在其他示例中，仅提供一个耳机700以仅与一只耳朵一起使用。

图7的耳机700是用于嵌入耳廓的入耳式耳机700。入耳式耳机700可以被配置用于嵌入邻近耳道。入耳式耳机700可以被配置为嵌入在外耳或外耳甲中。一个优点是在形成常见面部表情的面部肌肉的运动与耳朵和耳机700接触的部分的变形或运动之间存在相对强的相关性。通过将第二传感器218定位在耳机700内，可以利用该相关运动，以便第二传感器的输出取决于耳朵的运动或变形。因此，与其他可穿戴配件相比，耳机201尤其是入耳式耳机201显著减少了将有意义的信号与信号噪声隔离所需的数据处理量。其他可穿戴配件在被定位在本文指定的各种头部位置处时可以工作，并且形成本公开的一部分。

图7的耳机700可以包括惯性测量单元(未示出)和/或肌电图传感器(未示出)。惯性测量单元可以被配置为检测头部216的动作，诸如点头和/或摇头216，和/或面部肌肉运动对耳朵的影响。来自惯性测量单元的信息可以指示头部216的点头或摇头的强度和/或频率。惯性测量单元也可以可选地属于第一组传感器，因为它还实现相对布置的确定。

图7的耳机700可以包括力传感器702。力传感器702的最小灵敏度可以是0.05N。力传感器702可以通过耳朵的变形从力传感器702上的压力来检测力。耳朵的变形可以是由于耳上肌和颧大肌的紧张引起的，涉及恐惧、愤怒和惊讶的情感。

图7的耳机700可以包括弯曲传感器708。弯曲传感器708可以被配置为检测耳机700的导线710的弯曲，如果耳机是有线的(例如从耳朵垂下的耳机线)。当咬肌、颧肌和颊肌肌肉处于紧张(快乐)时，面部凸起，这会推动线710并且引起一些弯曲。用于检测导线的小弯曲的紧凑弯曲传感器的示例是纳米传感器，纳米传感器包括扭转光学机械谐振器和诸如光缆的用于检测扭转(弯曲)的波导。

图7的耳机700可包括电容传感器706。电容传感器706可以被设置在导线710中。当头部216运动或表情改变时，面部可以接触导线710，引起沿着导线710的位置处的导线的电容的改变。可以使用电容传感器706检测快乐(微笑)。

耳机700可以被配置为维持第二传感器218相对于用户的预定定向，以确保获得有效数据。在图7的示例中，图7的耳机700包括被配置用于与用户耳朵的耳屏间切迹接合的元件。该元件可包括用于导线710的套管，该套管被配置为增加导线710的有效刚度并且减少弯曲疲劳。如果耳机700是无线的，则该元件可以包括用于无线通信的内部天线，或者除了与耳屏间切迹接合以将耳机700定位在预定定向之外不用于其他目的。

耳机700的上述第二传感器218中的一个或多个传感器可以附加地或备选地是另一可穿戴设备诸如图8的眼镜800的一部分。

将更详细地限定图8的眼镜800。

图8的眼镜800可以包括一个或多个邻近传感器808和/或肌电图传感器(未示出)。邻近传感器808可以被配置为检测眼镜和面部上的相应局部位置之间的距离。当眼睛和鼻子周围的肌肉(例如眼轮匝肌、额肌、上唇提肌、鼻肌)紧张(例如轻蔑、厌恶、悲伤)时，眼睛和鼻子周围的面部会凸起，并且从而改变面部上的局部位置与对应的邻近传感器808之间的距离。特定类型的情感与紧张程度相关，并且因此与距离的改变量相关。

图8中示出了四个邻近传感器808并且邻近传感器808被设置在眼睛导线(eyewire)802、804上：两个在左眼导线804上，以及两个在右眼导线802上。邻近传感器808包括上部的一对邻近传感器808和下部的一对邻近传感器808。下部的一对邻近传感器808的间距大于上部的一对邻近传感器808的间距。下部的一对可以位于相应眼睛导线802、804的远端下角中，并且上部的一对可以位于相应眼睛导线802，804的近端上角周围，靠近桥806。然而，不同数量的邻近传感器808可以在其他示例中并且以不同的布局来设置。

第二组传感器可以可选地还包括附着到身体的动作传感器(例如惯性测量单元)，以检测伴随面部表情改变的身体姿势，从而提高情感检测的准确性。

一旦从第二传感器接收到信息，方法500继续以检测头部216的特性，并且确定要被显示的指示406。来自多个第二传感器218的信息可以被首先合成，以提高准确性。框520至550示出了导致用户头部216和面部表情的真实渲染的技术的使用。然而，在其他示例中，要被显示的指示406可以更简单并且不需要比重新创建他们检测到的面部表情特性更详细地表示实际用户。

在框520中，方法500包括确定与信息相关联的至少一个第一特征点或者多个第一特征点的所需移动。第一特征点的所需移动与对应第二传感器218的输出强相关并且因此是从对应第二传感器218的输出可测量的，这样如本文所述的指示“检测到的特征”可以对应于第一特征点的所需移动。

图9A示出了包括多个预定特征点的头部216，其中一些特征点是第一特征点并且一些特征点是附加特征点。每个特征点涉及面部的不同特征，并且对应于不同的面部位置。对应于面部的空间域周围的特征点的空间密度可以相等，或者可变以增加面部表情部分的特征点的空间密度。27个特征点在图9A中示出并且在本文中被称为d1-d27。特征点d1-d10是第一特征点，以及d11-d27是附加特征点。在其他示例中可以提供不同数量的第一特征点。

27个所例示的特征点根据面部肌肉运动以相关方式移动。例如，眼轮匝肌的运动与d1、d2、d3、d4、d12、d13、d15、d16、d17和d19的移动相关联。口轮匝肌的运动与d21、d22、d23和d24的移动相关联。额肌的运动与d11和d14的移动相关联。颧骨的运动与d5、d6、d18和d20的移动相关联。降口角肌的运动与d25、d26和d27的移动相关联。

框520确定第一特征点的所需移动量，该所需移动量与感测到的信息的值成比例。比例可以作为实验的结果预确定，和/或可以使用机器学习(稍后描述)来细化。第一特征点d1-d10与第二传感器218之间至少存在以下高度相关的关联：

-眼镜800上的邻近传感器808与特征点d1、d2、d3和d4相关联；

-耳机700上的力传感器702与特征点d5和d6相关联；

-耳机700上的弯曲传感器708与特征点d7和d8相关联；以及

-耳机700的电容传感器706与特征点d9和d10相关联。

方法500随后进行到可选框530。框530包括根据在框520中所确定的特征点(例如d1-d10)确定附加特征点(例如d11-d27)的所需移动量。在该示例中，计算机模型包括附加的17个特征点d11-d27，该附加的17个特征点d11-d27不直接地与第二传感器218的输出相关联，而是与第一特征点d1-d10的移动相关联。该关联可以如下所述经由估计或者经由机器学习来确定。例如，微笑改变颊肌和咬肌肌肉，这意味着当d9改变时d21、d22、d24和d25也可以改变。

数学模型可以被用于近似框520中所确定的特征点与附加特征点之间的移动关系。

在框520和/或框530中，预定的3D三角形模型可以被用以确定附加特征点的所需移动。3D三角形模型的示例在图9B中例示。多个3D三角形模型可以被提供用于表示全部27个特征点。

对于特定的面部，特征点d1-d27可以被划分成两组：

第1组(G1)：d1、d2、d11-d16、d3、d4、d17、d19；以及

第2组(G2)：d5-d10、d18-27。

G1包括来自框520的第一特征点(例如d1、d2、d3和d4)，以及通过机器学习确定与第一特征点相关联的一些附加特征点(d11-d16、d17和d19)。数学模型将每个第一特征点与一个或多个附加特征点相关联。

下面描述针对G1的示例模型，将d1与d11相关联。如果观测到的传感器距离改变是d，d1与d11的原始距离是a，并且所确定的肌肉伸展率是w，那么针对给定传感器观测的d1与d11的距离的改变a’是：

附加特征点d12和d13可以分别地与d1相关联。附加特征点d14-d16可以分别地与d2相关联。

对于G2，三角形模型可以被用以描述特征点之间的关系。图9B例示了表示颞肌肌肉的示例三角形模型。当颞肌紧张时，皮肤将移动并将驱动顶点V1(特征点)到图9B中的右侧。当边缘E2向右移动时，该动作将增加耳机力传感器702上的压力。因此，压力与顶点之间有关系。对于图9B，数学关系可以被推导，假设测量到的压力是f，肌肉伸展率是w，检测到的f与面部改变之间的关系遵循函数g，并且测量到的在特征点V1与影响点(附加特征点)E2之间的原始距离是d：

f～g(wd)

方法500可以包括用于训练机器学习算法的部件，其中机器学习算法被配置为根据来自第二传感器的信息和/或它们被操纵的程度来控制操纵哪些特征点。例如，对于给定用户(使用中训练)或者针对任何用户(离线训练)，机器学习可以被使用以获得肌肉伸展率w与d和f的测量到的数据之间的准确关系。

针对给定用户的训练可以包括使得显示器208或者用户设备的其他输出设备示出或者描述用户尝试和匹配的所需面部表情。用户可以在相机206上拍摄他们自己以针对给定面部表情提供他们的特征点的移动的测量的训练数据集。在示例中，可以使用图像分析来确定特征点的精确位置。训练数据集可以训练神经网络，诸如卷积神经网络，或者任何其他适当的机器学习算法。随后可以通过观测来细化特征点之间的预测关系，例如以最小化损失函数。

以下限定了示例损失函数。对于每个学习时期T，输入将是测量点信息fi∈F以及测量到的27点协作关系<X_T，Y_T>，其中F是框520的第一特征点(例如d1-d10)的集合。输出将是点的新协作关系<X′_T+1，Y′_T+1>。学习过程中所使用的损失函数可以包括所预测的<X′_T+1，Y′_T+1>与实际<X_T+1，Y_T+1>相比的距离函数，例如以均方误差或者其他合适格式的形式：

机器学习不仅可以用于改进框530的G2参数的模型，还可以改进G1参数关系的模型，并且改进框520的特征点所需移动的确定。更一般地，只要当框130所显示的指示406旨在不仅仅指示由第二传感器直接地检测到的用户特性时，就可以使用机器学习。

一旦针对给定的传感器信息确定了全部检测到的特性(特征点)的所需移动，方法500就进行至框540。

在框540，方法500包括基于检测到的特性来操纵面部的重建(其可以是整个头部216或仅面部的重建)的特征点。重建可以是3D重建，或者备选地2D重建。重建可以基于头部216的预捕获的图像，例如在本公开的方法可能发生的视频通信会话之前捕获的图像。因此，在如下所述操纵重建之前，重建可以不指示检测到的头部的当前特性。预捕获的图像可以是具有中性、无情感表情的面部，以提供基础数据。重建可以包括网格，诸如三角形网格，或者可以包括体素(voxel)或任何其他适当的数据结构。网格可以表示重建面部的切线空间(表面)。

图10A例示了重建10的示例，示出了要操纵的一个特征点。特征点与重建10的特定顶点11相关联。特征点的移动对应于顶点11的移动。图10B例示了图10A的重建10的示例，但是在特征点已经被操纵之后。脸颊顶点11相对于图10A中的同一顶点11可见地凸起，因此指示如本文所述的至少一个检测到的特征。

在一些示例中，如果特征点/顶点11的所需移动量低于阈值β，则顶点11不改变。阈值β的值可以取决于网格和/或凹凸图(如果提供)的配置分辨率。

对于点头和摇头运动，操纵可以包括整个重建头部的平移或旋转。对于涉及特定面部肌肉的面部表情的改变，操纵可以包括经由特征点扭曲切线空间，以指示重建头部的面部表情的改变。

在框550处，方法500包括添加人类头部的进一步细节，例如纹理(例如皮肤纹理、头发)、颜色和凹凸(皱纹)。这比通用头像的使用更好地传达情感状态。然而，在一些示例中，用户可以选择定制他们的重建10和/或其纹理/凹凸/颜色。

可以从头部216的预捕获图像获得纹理、颜色和凹凸。已知类型的数学运算被执行以将纹理/凹凸图映射到面部的操纵重建10上。已知的照明效果可以被应用于更好地例示用户情感的细节，并且可选地照明效果可以被配置为在由相机206所检测到的用户实际位置中重新创建检测到的照明参数。

一旦框550完成，如果条件被满足，则该方法可以进行至框130。在该示例中，框130可以包括以整个具有任何纹理和效果的面部的操纵重建的形式使得显示表示404。

上述全部方法和特征可以由装置204执行，诸如图11A中所示的装置。装置204可以与相机206一起被提供在公共设备202中，如图2所示，或者可以提供在与包括相机206的设备202分离的设备中。

因此，在一个示例中，提供了包括装置204和相机206的设备202，并且在另一示例中，提供了包括装置204和分离的相机206的系统200。系统200可以可选地包括一个或多个第一传感器212和/或第二传感器218。

图2例示了包括装置204和相机206的设备202的潜在实现。设备202可以可选地还包括以下附加组件中的一个或多个组件：

显示器208(例如，使用发光二极管、液晶或其他已知的底层技术)；

用户接口210(例如触摸屏、按钮、滑块或其他已知的底层技术)；

装置204；

至少一个第一传感器212；以及

输入/输出设备214，被配置为使用有线或者无线连接、在设备202和外部设备(例如，可穿戴或其他设备)的输入/输出设备220之间传输和/或接收数据。

图2的设备202可以可选地包括多个相机，例如一个或多个前置相机和/或一个或多个后置相机。

图2的设备202可以是手持便携式电子设备202。手持便携式电子设备202可以是智能电话、平板电脑或膝上型计算机。手持便携式电子设备202可以将图2的全部组件集成到一个外壳中。设备202的重量可以小于500克，以使得设备202能够轻松地保持在手臂长度以捕获“自拍”风格的图像和视频。

本文所描述的方法的潜在用例包括在视频通信会话期间执行这些方法，其中图像数据(例如来自相机206)在设备之间通信。设备可以跨广域网和/或局域网被分离。视频通信会话可以由被配置用于以下一项或多项的软件应用来管理：视频会议；视频聊天；视频共享；或者视频流。通信可以是单向或双向。如上所述所显示的指示/图像数据可以是实时馈送并且方法100、500可以如上所述频繁地重复。其他潜在用例包括监测使用，例如，即使当他们在相机206的镜头外，也可以监测工作人员或健康患者的情感状态或疲劳。

在一些实现中，用于阻止显示指示406的隐私选项可以是经由用户接口210可访问的。例如，这对于如下用户将是有帮助的：当用户在相机206的镜头外时不希望被知道他们的情感状态。

在经由视频会议的正式访谈中，一些参与者可能希望在镜头外进行私下交谈。简单的单按关闭/开启控制与本文所描述的其他捕获图像同时在显示器208上显示将是有效的，以避免在隐私选项之间切换的延迟。然而，隐私选项控制可以采用任何其他形式，这取决于实现要求。

图11A例示了控制器1100的示例。控制器1100的实现可以被作为控制器电路系统。控制器1100可以单独以硬件实现，在包括单独固件软件的中具有某些方面，或者可以是硬件和软件(包括固件)的组合。

如图11A所例示，控制器1100可以使用实现硬件功能的指令来实现，例如，通过使用通用或专用处理器1102中的计算机程序1106的可执行指令，该可执行指令可以被存储在计算机可读存储介质(磁盘、存储器等)上以由这样的处理器1102执行。

处理器1102被配置为对存储器1104进行读取和写入。处理器1102还可以包括输出接口和输入接口，处理器1102经由输出接口输出数据和/或命令，数据和/或命令经由输入接口被输入到处理器1102。

存储器1104存储包括计算机程序指令(计算机程序代码)的计算机程序1106，该计算机程序指令当被加载到处理器1102时控制装置204的操作。计算机程序1106的计算机程序指令提供逻辑和例程，使得装置能够执行图1和图5所例示的方法。处理器1102通过读取存储器1104能够加载和执行计算机程序1106。

因此装置204包括：

至少一个处理器1102；以及

包括计算机程序代码的至少一个存储器1104，

至少一个存储器1104和计算机程序代码被配置为与至少一个处理器1102一起使得装置204至少执行：

接收指示对象和相机206的相对布置的信息；根据该信息确定与对象和相机206的相对布置相关联的条件是否被满足；以及如果条件被满足，则使得显示对象的至少一个检测到的特性的指示406。

如图11B所例示，计算机程序1106可以经由任何适当的递送机制1106到达装置204。递送机制1106可以是例如机器可读介质、计算机可读介质、非瞬态计算机可读存储介质、计算机程序产品、存储设备、记录介质诸如光盘只读存储器(CD-ROM)或者数字通用光盘(DVD)或者固态存储器、包括或者有形地实施计算机程序1106的制品。递送机制可以是被配置为可靠地传送计算机程序1106的信号。装置204可以作为计算机数据信号传播或者传输计算机程序1106。

计算机程序指令用于使得装置至少执行以下过程或者用于至少执行以下过程：使得接收指示对象和相机206的相对布置的信息；使得根据该信息确定与对象和相机206的相对布置相关联的条件是否被满足；以及如果条件被满足，则使得显示对象的至少一个检测到的特性的指示406。

计算机程序指令可以被包含在计算机程序、非瞬态计算机可读介质、计算机程序产品、机器可读介质中。在一些但不必然是全部示例中，计算机程序指令可以分布在多于一个的计算机程序上。

尽管存储器1104被例示为单个组件/电路系统，但是它可以被实现为一个或多个分离的组件/电路系统，其中一些或全部组件/电路系统可以集成/可移除和/或可以提供永久/半永久/动态/高速缓存存储。

尽管处理器1102被例示为单个组件/电路系统，但是它可以实现为一个或多个分离的组件/电路系统，其中一些或全部组件/电路系统可以是集成的/可移除的。处理器1102可以是单核或者多核处理器。

对“计算机可读存储介质”、“计算机程序产品”、“有形实现的计算机程序”等或“控制器”、“计算机”、“处理器”等的引用应当被理解为不仅涵盖具有不同的架构(诸如单/多处理器架构和顺序(冯诺依曼)/并行架构)的计算机，而且涵盖专用电路，诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路系统。对计算机程序、指令、代码等的引用应当被理解为涵盖针对可编程处理器或者固件的软件，诸如例如硬件设备的可编程内容，无论是针对处理器的指令，还是针对固定功能设备、门阵列或者可编程逻辑器件等的配置设置。

如本申请中所使用的，术语“电路系统”可以指代以下一项或者多项或者全部：

(a)仅硬件电路系统实现(诸如在仅模拟和/或数字电路系统中的实现)以及

(b)硬件电路和软件的组合，诸如(如适用)：

(i)模拟和/或数字硬件电路与软件/固件的组合，以及

(ii)具有软件的硬件处理器(包括数字信号处理器)、软件和存储器的任何部分，它们一起工作使得诸如移动电话或者服务器之类的装置执行各种功能，以及(c)硬件电路和/或处理器，诸如微处理器或者微处理器的一部分，需要软件(例如固件)进行操作，但是在不需要软件操作时可以不存在软件。

电路系统的该定义应用于该术语在本申请中的全部使用，包括在任何权利要求中。作为进一步的示例，如在本申请中使用的，术语电路系统还涵盖纯硬件电路或者处理器及其(或者它们的)伴随软件和/或固件的实现。例如并且如果适用于特定的权利要求要素，术语电路系统还涵盖用于移动设备的基带集成电路，或者服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。

图1和图5中所例示的框可以代表方法中的步骤和/或计算机程序1106中的代码段。对框的特定顺序的说明并不必然暗示针对框存在所需的或者优选的顺序，而是框的顺序和排列可以变化。此外，一些框被省略也是可能的。

在描述了结构特征的情况下，它可以被用于执行该结构特征的功能中的一个或多个功能的部件所替换，无论该功能或那些功能是明确地还是隐含地被描述。

数据的捕获可以只包括临时记录，或者它可以包括永久记录，或者它可以包括临时记录和永久记录两者。临时记录暗示数据的记录的临时性。这可以例如发生在感测或图像捕获期间、发生在动态存储器处、发生在诸如循环缓冲器、寄存器、高速缓存或者类似的缓冲区处。永久记录暗示数据采用可寻址数据结构的形式，该可寻址数据结构是从可寻址存储空间中可获取的，并且因此可以被存储和获取直到被删除或覆盖，但长期存储可以发生或者可以不发生。与图像相关的术语“捕获”的使用涉及图像数据的临时或永久记录。

系统、装置、方法和计算机程序可以使用机器学习，机器学习可以包括统计学习。机器学习是计算机科学的一个领域，它给予计算机无需明确编程的学习能力。如果计算机在T中任务的性能(由P衡量)随着经验E提高，则计算机从参考某类任务T和性能测量P的经验E中学习。计算机通常可以从先前的训练数据中学习以对未来数据做预测。机器学习包括完全地或部分地监督学习以及完全地或部分地无监督学习。它可以实现离散输出(例如分类、聚类)和连续输出(例如回归)。机器学习可以例如使用不同的方式来实现，诸如成本函数最小化、人工神经网络、支持向量机和贝叶斯网络。例如，成本函数最小化可用于线性和多项式回归以及K均值聚类。例如具有一个或多个隐藏层的人工神经网络对输入向量和输出向量之间的复杂关系进行建模。支持向量机可以被用于监督学习。贝叶斯网络是代表多个随机变量的条件独立性的有向非循环图。

本文件中所使用的术语“包括”具有包容性而非排他性的含义。也就是说，对包括Y的X的任何引用指示X可以仅包括一个Y或者可以包括多于一个的Y。如果旨在使用具有排他性含义的“包括”，那么在上下文中将通过提及“仅包括一个...”或者通过使用“组成”使其清晰。

在本描述中，引用了各种示例。与示例相关的特征或功能的描述表明这些特征或功能存在于该示例中。在文本中术语“示例”或者“例如”或者“能够”或者“可以”的使用表示，无论是否明确说明，这种特征或功能存在于至少在所描述的示例中，无论是否描述为示例，并且它们可以但不必然存在于一些或者全部其他示例中。因此，“示例”、“例如”、“能够”或“可以”指代一类示例中的特定实例。实例的性质可以是仅该实例的性质或者类的性质或者类的子类的性质，该子类包括类中的一些但不是全部实例。因此，隐式地公开了参考一个示例而不是参考另一示例所描述的特征，可以在可能时在其他示例中用作工作组合的一部分，但不必然必须在其他示例中使用。

尽管在前述段落中参考各种示例已经描述了实施例，但是应当理解，可以在不脱离权利要求的范围的情况下对给定的示例作出修改。上述示例中所描述的检测到的特性是面部表情，这是表情的动态(时间变化)特性的示例。在其他示例中，该特性是表情的任何其他可检测动态特性。在进一步的示例中，对象可以是拥有动态特性的任何其他对象。

前述描述中所描述的特征可以以不同于以上明确描述的组合的组合使用。

尽管参考某些特征已经描述了功能，但是那些功能可以由其他特征执行，无论是否描述该其它特征。

尽管参考某些实施例已经描述了特征，但是那些特征也可以存在于其他实施例中，无论是否描述该其它实施例。

本文件中所使用的术语“一个”或“所述”具有包容性而非排他性的含义。也就是说，对包括一个/所述Y的X的任何引用指示X可仅包括一个Y或者可以包括多于一个Y，除非上下文清楚地指示相反。如果旨在使用具有排他含义的“一个”或“所述”，那么将在上下文中使其清晰。在某些状况下，“至少一个”或者“一个或多个”的使用可以被用以强调包含性的含义，但这些术语的缺少不应当取其推断和排他性含义。

权利要求中特征(或特征的组合)的存在是对该特征或者(特征的组合)本身的引用，并且也是对实现基本相同技术效果的特征(等效特征)的引用。等效特征包括例如作为变体并且以基本相同的方式实现基本相同的结果的特征。等效特征包括例如以基本相同的方式执行基本相同的功能以实现基本相同的结果的特征。

在本描述中，已经参考了各种使用形容词或者形容词短语来描述示例特性的示例。与示例相关的特性的这种描述指示该特性存在于一些完全如上所描述的示例中，并且基本上上如所述地存在于其他示例中。

虽然在前述说明书中努力关注那些被认为重要的特征，但应当理解，申请人可以经由权利要求就上文中涉及和/或在附图中示出的任何具有专利性的特征或者特征的组合寻求保护，无论是否强调了这一点。