装置和头戴式套件

文档序号:52990 发布日期:2021-09-28 浏览:24次 >En<

阅读说明:本技术 装置和头戴式套件 (Device and head-mounted kit ) 是由 达伦·克罗克斯福特 劳拉·乔安娜·莱赫滕迈基 于 2021-03-22 设计创作,主要内容包括:本公开涉及装置和头戴式套件。一种装置具有:内容处理部件,所述内容处理部件能够在内容处理状态下操作;以及内容转换器,所述内容转换器被配置为基于所述内容处理部件的输出而将增强现实数据提供给所述装置的用户。所述装置具有接收器,所述接收器能够操作来接收指示所述装置的用户的健康状况的所捕获数据。所述装置具有处理器,所述处理器被配置为:处理所述所捕获数据以识别指示用户的所述健康状况的可能改变的触发条件;以及响应于所述触发条件,修改所述内容处理部件的所述内容处理状态,使得所述增强现实数据的至少一个特性被修改。(The present disclosure relates to devices and headsets. An apparatus has: a content processing section operable in a content processing state; and a content converter configured to provide augmented reality data to a user of the apparatus based on an output of the content processing component. The device has a receiver operable to receive captured data indicative of a health condition of a user of the device. The apparatus has a processor configured to: processing the captured data to identify a trigger condition indicative of a possible change in the health condition of a user; and in response to the trigger condition, modify the content processing state of the content processing component such that at least one characteristic of the augmented reality data is modified.)

装置和头戴式套件

背景技术

技术领域

本发明涉及装置和头戴式套件。

相关技术的描述

处理与增强现实(AR)环境有关的源于传感器的数据涉及在物理环境中呈现一个或多个虚拟对象以便为用户创建复合视图,在所述复合视图中通过一个或多个虚拟对象来增强现实。AR的替代术语是“混合现实”,它指的是现实世界与虚拟世界的融合。

一个或多个虚拟对象可包括涵盖一个或多个感觉模态的感知信息,包括例如视觉信息(呈图像的形式,在一些情况下可为文本或简单的图标)、听觉信息(呈音频的形式)、触觉信息(呈触摸的形式)、体感信息(与神经系统有关)和嗅觉信息(与对气味的感觉有关)。

可建设性地(通过向自然环境添加)或破坏性地(通过从自然环境减去或掩盖自然环境)来完成将感觉信息叠加到物理环境上。因此,AR改变了用户对其现实世界环境的感知。

发明内容

根据本公开的第一方面,提供了一种装置,所述装置包括:内容处理部件,所述内容处理部件可在内容处理状态下操作;内容转换器,所述内容转换器被配置为基于内容处理部件的输出而将增强现实数据提供给装置的用户;接收器,所述接收器可操作来接收指示装置的用户的健康状况的所捕获数据;以及处理器,所述处理器被配置为:处理所捕获数据以识别指示用户的健康状况的可能改变的触发条件;以及响应于所述触发条件,修改内容处理部件的内容处理状态,使得增强现实数据的至少一个特性被修改。

根据本公开的第二方面,提供了一种操作根据第一方面的装置的方法,所述方法包括:处理所捕获数据以识别指示用户的健康状况的改变的触发条件;以及响应于所述触发条件,修改内容处理部件的内容输出,使得增强现实数据的至少一个特性被修改。

根据本公开的第三方面,提供了一种数据载体,所述数据载体包括用于根据本公开的第一方面的装置的一个或多个处理器的操作的机器可读指令,以便:处理所捕获数据以识别指示用户的健康状况的改变的触发条件;以及响应于所述触发条件,修改内容处理部件的内容输出,使得增强现实数据的至少一个特性被修改。

根据本公开的第四方面,提供了一种装置,所述装置包括:内容处理部件,所述内容处理部件可在内容处理状态下操作;内容转换器,所述内容转换器被配置为基于内容处理部件的输出而将增强现实数据提供给装置的用户;接收器,所述接收器可操作来接收指示装置的用户去往不同时区的即将到来的旅行的输入数据;以及处理器,所述处理器被配置为:处理输入数据以识别装置的用户的目的地时区和旅行时间;以及响应于所述识别,修改内容处理部件的内容处理状态,使得增强现实数据的至少一个特性被修改。

从仅通过示例给出的参考附图进行的以下描述中,其他特征将变得显而易见。

附图说明

图1是根据示例的装置的示意图;

图2是示出根据示例的操作装置的第一方法的示意图;

图3是示出根据示例的操作装置的第二方法的示意图;

图4是示出根据示例的操作装置的第三方法的示意图;

图5是示出根据示例的操作装置的第四方法的示意图;

图6是示出根据示例的操作装置的第五方法的示意图;

图7是示出根据示例的操作装置的第六方法的示意图;

图8是示出根据示例的操作装置的第七方法的示意图;

图9是示出根据示例的操作装置的第八方法的示意图;并且

图10是示出根据示例的操作装置的第九方法的示意图。

具体实施方式

参考附图,根据示例的系统和方法的细节将从以下描述中变得显而易见。在本描述中,出于解释的目的,阐述了某些示例的许多具体细节。说明书中对“示例”或类似语言的引用意味着结合所述示例描述的特定特征、结构或特性至少包括在那个示例中,但不一定包括在其他示例中。还应注意,示意性地描述了某些示例,其中省略和/或必要地简化某些特征以便于解释和理解示例的基础概念。

在本文中的一些示例中,装置具有:内容处理部件,所述内容处理部件可在内容处理状态下操作;内容转换器,所述内容转换器被配置为基于内容处理部件的输出而将增强现实数据提供给装置的用户;接收器,所述接收器可操作来接收指示装置的用户的健康状况的所捕获数据;以及处理器,所述处理器被配置为:处理所捕获数据以识别指示用户的健康状况的可能改变的触发条件;以及响应于所述触发条件,修改内容处理部件的内容处理状态,使得增强现实数据的至少一个特性被修改。

因此,可经由接收器与处理器的交互来监测装置的用户的健康状况,并且装置可采取步骤以基于用户的健康状况的感知到的可能改变来修改提供给用户的增强现实数据。这可例如允许装置降低将由装置提供的增强现实数据对装置的用户产生负面影响的风险,并且可例如允许装置在由装置提供的增强现实数据已经被认为对用户产生负面影响的情况下采取补救动作。

在本文中的一些示例中,装置具有:内容处理部件,所述内容处理部件可在内容处理状态下操作;内容转换器,所述内容转换器被配置为基于内容处理部件的输出而将增强现实数据提供给装置的用户;接收器,所述接收器可操作来接收指示装置的用户去往不同时区的即将到来的旅行的输入数据;以及处理器,所述处理器被配置为:处理输入数据以识别装置的用户的目的地时区和旅行时间;以及响应于所述识别,修改内容处理部件的内容处理状态,使得增强现实数据的至少一个特性被修改。

在人快速地穿梭于各时区之间的情况下,身体的昼夜节律可能会发生改变,这可导致被称为“时差”的生理状况。时差的症状可能令人不快,并且可包括睡眠障碍、头晕、恶心、意识模糊、焦虑、疲劳加剧、头痛和消化问题。在本文中的装置的示例中,处理器被配置为处理指示装置的用户去往不同时区的即将到来的旅行的输入数据,以识别装置的用户的目的地时区和旅行时间,并且响应于所述识别,修改内容处理部件的内容处理状态,使得增强现实数据的至少一个特性被修改。通过这种方式,修改后的增强现实数据可尝试计及身体昼夜节律的可能会导致时差的预测改变,例如,其中修改后的增强现实数据尝试通过提供代表装置的用户的目的地时区的增强现实数据来减轻时差的影响。

图1中示意性地示出了装置10的示例。

装置10可为例如呈头戴式套件的形式的可穿戴装置或者可被包括在其中。头戴式套件可包括戴在用户的头上的头戴式显示器(HMD)。HMD典型地具有一个或多个显示屏,其中每个显示屏对应于用户的一只或两只眼睛。头戴式套件可包括增强现实(AR)头戴式套件。AR头戴式套件可包括不透明的显示器,例如,其中由相机和/或深度传感器捕获周围环境的图像,并且生成虚拟对象并将其与所捕获图像适当地组合。AR头戴式套件可包括透明显示器,例如使用波导或激光扫描显示技术,通过所述透明显示器,用户可看到其周围环境,其中虚拟对象显示在所述显示器上。头戴式套件可包括虚拟现实(VR)头戴式套件,其生成要在显示屏上显示的虚拟现实内容。VR或AR头戴式套件可包括音频内容生成器和传声器,例如呈蜂鸣器或扬声器或耳机的形式的转换器,所述转换器生成增强的或虚拟的噪声数据(包括噪声消除数据)以便在使用中提供给装置10的用户。头戴式套件可包括呈显示器或外部光源的形式的可调节光源。

将了解,如本文所述,增强现实数据可被认为包括虚拟现实数据,其中这两种类型的数据都涉及生成人工数据以便提供给装置10的用户。

在图1示意性示出的示例中,装置10包括接收器12、处理器14、内容处理部件16和内容转换器18。接收器12经由第一通信信道通信地耦合到处理器14,所述第一通信信道可使用行业标准通信技术。内容处理部件16经由第二通信信道通信地耦合到处理器14,并且经由第三通信信道通信地耦合到内容转换器18。尽管在图1中被示出为仅包括接收器12、处理器14、内容处理部件16和内容转换器18中的每一者一个,但将了解,装置10可包括一个以上的前述部件中的每一者。装置10还可包括图1中未描绘的其他部件,包括例如至少一个存储器、至少一个用户界面和至少一个电源。

接收器12可操作来接收指示装置的用户24的健康状况的所捕获数据20。因此,接收器12的形式可对应于适合于期望由处理器14处理的所捕获数据20的接收器。所捕获数据可进行数据处理和信号处理,诸如滤波和降噪,以将感兴趣的信号量化。例如,并且如在下文更详细地讨论,接收器12可包括以下任一者或其组合:眼睛跟踪传感器、电势传感器、传声器、运动跟踪器、对象辨识系统、加速度计、心跳监测器、血压监测器、相机、深度传感器或软件应用程序,以用于接收装置的用户24的日程信息和/或接收当前日期、时间和位置信息。接收器12可接收指示装置10的用户24的即将到来的旅行的输入数据。所捕获数据20可包括指示用户24的环境的数据。例如,接收器12可操作来接收关于用户24的现实世界环境的信息。装置10可包括能够接收环境数据的接收器。在一些示例中,所捕获数据可包括用户监测数据和环境传感器监测数据,例如使得接收器12接收到的所捕获数据计及用户24和用户24的环境两者。

内容处理部件16可在内容处理状态下操作,所述内容处理状态是例如其中将第一数据输出到内容转换器18以提示内容转换器18将增强现实数据22提供给装置10的用户24的状态。内容处理部件16可在多个内容处理状态下操作,其中每个内容处理状态生成不同的数据,所述不同的数据输出到内容转换器18以提示内容转换器18将增强现实数据22提供给装置10的用户24。通过这种方式,由内容转换器18提供的增强现实数据22可取决于内容处理部件16的内容处理状态。在一些示例中,内容处理部件16可包括图形处理单元、视频处理单元、音频处理单元和/或显示处理单元。

内容转换器18被配置为基于内容处理部件16的输出而将增强现实数据22提供给装置10的用户24。增强现实数据22可包括虚拟对象,并且内容转换器18可被配置为基于内容处理部件16的输出而将虚拟对象提供给装置10的用户24。虚拟对象可包括涵盖一个或多个感觉模态的感知信息,包括例如视觉信息(呈图像的形式,在一些情况下可为文本或简单的图标)、听觉信息(呈音频的形式)、触觉信息(呈触摸的形式)、体感信息(与神经系统有关)和嗅觉信息(与对气味的感觉有关)。增强现实数据22可包括图像内容、视频内容、音频内容以及指示由装置10的用户24感知到的外部环境状况的数据中的任一者或任何组合。内容转换器18可包括例如显示器、扬声器、耳机或振动触觉反馈输出中的任一者。

增强现实数据22可用于修改用户24的现实世界环境的表示。例如,增强现实数据22可包括音频数据或图像数据中的至少一者。现实世界环境的表示可类似地包括音频表示或视觉表示中的至少一者。例如,图像数据可表示现实世界环境中的静止或移动场景。图像数据可描绘例如现实世界环境的可由图像传感器捕获的视野。类似地,音频数据可表示现实世界环境中的可由音频传感器捕获的声音的实例。图像和/或音频可例如通过AR引擎或系统来增强,以例如在装置10上显示时包括一个或多个虚拟对象或特征。例如,虚拟对象可插入图像和/或音频中,以在装置10处生成增强现实环境。一个或多个虚拟对象可例如在预定位置或锚点处叠加到图像和/或音频中,以创建AR环境。如所描述,一种或多种其他类型的感知信息可用于现实世界环境和虚拟对象的表示,例如触觉数据、体感数据或嗅觉数据。

在示例中,作为在装置10上实现的AR平台的一部分,虚拟对象可为可从所存储的虚拟对象的对象库中检索的AR对象。对象库的至少一部分可存储在用户装置上的存储器中,而对象库的其他部分例如经由云而远程地存储。虚拟对象可用对应的虚拟对象数据的形式来表示。因此,可基于对应于虚拟对象的虚拟对象数据而将虚拟对象插入现实世界环境的表示中,所述表示包括图像或音频数据中的至少一个。辅助数据可用于协助将虚拟对象插入现实世界环境的表示中。例如,在将虚拟图像对象插入现实世界环境的视觉表示中的情况下,可将空间数据和潜在深度数据应用于虚拟对象数据,反之亦然,以便在图像中以确定的位置、取向和/或比例插入虚拟对象。

处理器14被配置为处理由接收器12接收到的所捕获数据20,以识别指示用户24的健康状况的可能改变的触发条件。当然,触发条件将取决于由接收器12接收到的所捕获数据20,并且触发条件的示例将在下文更详细地讨论。响应于触发条件,处理器14被配置为修改内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。所述修改将取决于所捕获数据20和用户24的健康状况的可能改变,其中在下文进一步详细地讨论适当的修改。因此,可经由接收器12和处理器14的交互来监测装置10的用户24的健康状况,并且装置10可基于用户24的健康状况的感知到的可能改变而采取步骤来修改提供给用户24的增强现实数据22。这可例如允许装置10降低将由装置10提供的增强现实数据22对装置10的用户24产生负面影响的风险,并且可例如允许装置10在由装置10提供的增强现实数据22已经被认为对用户24产生负面影响的情况下采取补救动作。这可例如用于减少环境的负面影响,诸如噪声或过多的视觉触发条件。

通过图2中的方法200示意性地示出了在控制装置10时采取的步骤的示例。

方法200包括在内容处理状态下操作202内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供204给装置10的用户24。所述方法包括经由接收器12来接收206指示装置10的用户24的健康状况的所捕获数据20。所捕获数据20由处理器14进行处理208,以识别210指示用户24的健康状况的可能改变的触发条件,并且响应于对触发条件的识别,修改212内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在装置10的示例中,接收器12可包括用于监测装置10的用户24的眼睛位置的眼睛跟踪传感器。眼睛跟踪传感器可包括光学眼睛跟踪传感器,所述光学眼睛跟踪传感器能够通过用摄像机或其他传感器检测从用户的眼睛反射的光来跟踪用户的一只或多只眼睛的运动。眼睛跟踪传感器可指示当前的眼睛位置特性,并且可提供准确的眼睛位置信息。另外地,由眼睛跟踪传感器输出的数据可用于识别或辨识用户正在看的视觉对象。

可选地或另外地,眼睛跟踪传感器可包括电势眼睛跟踪传感器,所述电势眼睛跟踪传感器利用在置于用户的眼睛周围的一个或多个电极内测量到的电势。例如,眼睛跟踪传感器可利用脑电图(EEG)、肌电图(EMG)或眼电图(EOG)信号检测来跟踪用户眼睛的运动。电势眼睛跟踪传感器可在移动实际上开始之前提供对移动的指示,并且因此可提供低延时。

在装置10的这种示例中,内容转换器18可包括视觉显示器,并且增强现实数据22可包括在显示器上显示的虚拟对象。

在接收器12包括用于监测装置10的用户24的眼睛位置的眼睛跟踪传感器的情况下,触发条件可包括装置的用户24的眼睛移动。例如,触发条件可包括关于用户24的眼睛移动是快速或无意识的确定。快速或无意识的眼睛移动可例如指示注意缺陷多动障碍(ADHD)、癫痫或自闭症以及其他健康状况中的任一者。触发条件可包括用于用户的眼睛的运动速度的速度阈值。眼睛跟踪传感器可检测与用户的眼睛相关的基于位置和时间的数据,并且处理器14可被配置为处理基于位置和时间的数据以确定眼睛的运动速度。眼睛跟踪传感器可能够例如通过检测来自用户24的眼睛的反射光的存在或不存在来检测用户24的眼睛的眨眼,并且触发条件可包括关于眨眼率高于预定阈值的确定。例如,高眨眼率可指示ADHD行为。

修改内容处理部件16的内容处理状态以使得增强现实数据22的至少一个特性被修改可允许装置10通过触发以上所指示的健康状况中的一个来降低将由装置10提供的增强现实数据22对装置10的用户24产生负面影响的风险,并且可例如允许装置10在由装置10提供的增强现实数据22因触发了上述健康状况中的一个而已经被认为对用户24产生负面影响的情况下采取补救动作。

在示例中,触发条件可包括用户的眼睛对增强现实数据22的至少一个属性的凝视,并且接收器12可例如包括用于监测装置10的用户24的眼睛位置的眼睛跟踪传感器。用户24的眼睛对增强现实数据22的属性的凝视可指示用户24的健康状况的可能改变。在用户的眼睛凝视特定位置达超过预定阈值的时间段的情况下可确定用户的眼睛的凝视。例如,患有抑郁的用户24更可能专注于指示负面情绪反应的增强现实数据22,包括指示外部环境的数据(例如,作为增强现实数据22的一部分显示的不快乐的主题),并且因此在检测到对指示负面情绪反应的增强现实数据22的凝视的情况下,可修改内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改以舒缓用户24的抑郁。

在一些示例中,触发条件可包括用户的眼睛对作为增强现实数据22的一部分提供的特定主题(例如,作为增强现实数据22的一部分显示的特定对象)的凝视。对特定主题的凝视可被认为指示由主题提供的过度刺激,例如,这在一些情况下可指示ADHD和/或自闭症。

在一些示例中,触发条件可包括用户24的眼睛对形成内容转换器18的一部分的显示器的特定区域的凝视。向用户24的右边的凝视或向下朝向地面的凝视可指示抑郁,并且因此在检测到向用户24的右边的凝视或向下朝向地面的凝视的情况下,可修改内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改以舒缓用户24的抑郁,例如季节性情感障碍(SAD)。装置10还可向用户24提供他们正在经历抑郁的指示。

图3中示意性地示出了操作装置10的方法300,其中接收器12包括用于监测装置10的用户24的眼睛位置的眼睛跟踪传感器。方法300包括在内容处理状态下操作302内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供304给装置10的用户24。所述方法包括经由呈眼睛跟踪传感器的形式的接收器12来接收306指示装置10的用户24的眼睛位置的数据。指示用户24的眼睛位置的数据由处理器14进行处理308,以识别310指示用户24的健康状况的可能改变的触发条件,并且响应于对触发条件的识别,修改312内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在示例中,接收器12可包括用于监测装置10的用户24的瞳孔大小的眼睛跟踪传感器,并且触发条件可包括用户24的瞳孔扩张。例如,瞳孔扩张可指示ADHD行为,并且因此在检测到指示ADHD行为的触发条件的情况下可修改内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。例如,在用户专注于作为增强现实数据22的一部分提供的主题时,可能发生用户24的瞳孔扩张。在例如用户的瞳孔大小增加超过预定阈值的情况下,可确定用户的眼睛的扩张。

图4中示意性地示出了操作装置10的方法400,其中接收器12包括用于监测装置10的用户24的瞳孔大小的眼睛跟踪传感器。方法400包括在内容处理状态下操作402内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供404给装置10的用户24。所述方法包括经由呈眼睛跟踪传感器的形式的接收器12来接收406指示装置10的用户24的眼睛的瞳孔大小的数据。指示用户24的眼睛的瞳孔大小的数据由处理器14进行处理408,以识别410瞳孔扩张,并且响应于对瞳孔扩张的识别,修改412内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在一些示例中,接收器12可包括用于监测装置10的用户24的电势信号的电势传感器,并且触发条件可包括所监测的电势信号的模式。例如,接收器12可包括用于监测装置10的用户24的电势信号的脑电图(EEG)传感器。装置10的用户24的电势信号可指示用户24的健康状况的潜在改变。例如,EEG信号可指示ADHD行为、癫痫发作或抑郁,并且/或者EEG信号可用于确定装置10的用户24的眼睛运动。

图5中示意性地示出了操作装置10的方法500,其中接收器12包括用于监测装置10的用户24的电势信号的电势传感器。方法500包括在内容处理状态下操作502内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供504给装置10的用户24。所述方法包括经由呈电势传感器的形式的接收器12来接收506指示装置10的用户24的电势信号的数据。指示用户24的电势信号的数据由处理器14进行处理508,以识别510指示用户24的健康状况的可能改变的触发条件,并且响应于触发条件,修改512内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在示例中,接收器12可包括传声器,并且触发条件可包括由使用中的传声器接收到的噪声水平和/或音频源数量的增加。患有自闭症的用户可能会遭受在其周围环境中的信息超负荷的折磨,并且因此,存在的噪声水平和/或音频源数量的增加可对患有自闭症的用户产生潜在的负面影响。触发条件可包括关于噪声水平已经超过预定噪声阈值的确定。触发条件可包括关于音频源数量已经增加到超过预定阈值的确定。

图6中示意性地示出了操作装置10的方法600,其中接收器12包括传声器。方法600包括在内容处理状态下操作602内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供604给装置10的用户24。在此,增强现实数据22包括至少一个音频对象。所述方法包括经由呈传声器的形式的接收器12来接收606指示装置10的用户24的周围环境的音频水平和/或音频源的数据。指示音频水平和/或音频源的数据由处理器14进行处理608,以识别610噪声水平和/或音频源数量的增加,并且响应于增加,修改612内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在装置10的这种示例中,内容转换器18可包括扬声器,并且增强现实数据22可包括由扬声器输出的虚拟对象。

在一些示例中,接收器12可包括用于辨识装置的用户的外部环境的对象的对象辨识系统,并且触发条件可包括装置的用户的外部环境的对象。装置的用户的外部环境的对象可能会负面地影响装置10的用户24的健康状况。例如,某些类型或类别的对象可引起或增强ADHD行为、癫痫发作、对自闭症的过度刺激以及抑郁中的任一者。通过使用对象辨识系统来辨识此类对象,处理器14能够修改内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改,以减轻由对象引起的任何潜在的负面影响。

光敏光源可被认为是癫痫发作的潜在原因,并且因此触发条件可包括关于增强现实数据22中存在光敏光源的确定。触发条件还可包括关于光的量过多或者光例如因闪烁而使人分心的确定。内容处理状态的修改然后可引起增强现实数据22的修改,使得光敏光源的表示被修改,例如在增强现实数据22内被掩盖或从中移除。在一些示例中,某些对象和/或某些数量的对象可被认为是感觉超负荷的潜在原因,并且触发条件可包括关于增强现实数据22中存在某一预定对象和/或一定数量的预定对象的确定。内容处理状态的修改然后可引起增强现实数据22的修改,使得预定对象被掩盖或从增强现实数据22中移除,或者引起修改,使得作为增强现实数据22的一部分提供的对象的数量减少。

对象辨识系统(或“对象检测系统”、“对象识别系统”、“对象分类器”)可被配置为检测现实世界环境中的某一类别的对象的实例,例如其图像/音频表示。例如,对象辨识系统可获得源于传感器的数据(例如图像和/或音频数据)作为输入,并且确定预定类别的一个或多个对象是否存在于源于传感器的数据或由此表示的现实世界环境中。例如,在预定类别是人脸的情况下,对象辨识系统可用于检测源于传感器的数据或现实世界环境中的人脸的存在。

在一些情况下,对象辨识系统允许识别对象的特定实例。例如,所述实例可为特定的人脸。这种对象辨识的其他示例包括辨识或检测表情(例如,面部表情)、姿势(例如,手势)、音频(例如,辨识音频环境中的一个或多个特定声音)、热能标记(例如,辨识红外表示或“热图”中的诸如脸的对象)的实例。因此,在示例中,被检测到的“对象”的类型可与现实世界环境的所述类型的表示相对应。例如,对于现实世界环境的可包括深度信息的视觉或图像表示,对象辨识可涉及辨识特定物品、表情、姿势等,而对于现实世界环境的音频表示,对象辨识可涉及辨识特定声音或声音源。在一些示例中,对象辨识可涉及检测所辨识的对象的运动。例如,除了辨识现实世界环境的音频/视觉表示中的特定类型的对象的实例(例如,汽车)外,对象辨识系统还可检测或确定对象的实例(例如,所辨识的汽车)的运动。因此,对象辨识数据可包括例如表示现实世界环境中的对象的检测或确定的运动的对象运动数据。

在示例中,对象辨识系统可包括或实现支持向量机(SVM)、分段同时定位和映射(SLAM)、经典计算机视觉算法或神经网络以执行对象辨识,但存在许多其他类型的对象辨识系统。因此,对象辨识数据可对应于由对象辨识系统执行的对象辨识过程的输出。

神经网络典型地包括形成有向加权图的若干互连神经元,其中所述图的顶点(对应于神经元)或边(对应于连接)分别与权重相关联。出于特定目的,可在神经网络的整个训练过程中调整权重,从而更改各个神经元的输出并且因此更改整个神经网络的输出。在卷积神经网络(CNN)中,卷积层用于对输入进行卷积并将结果传递到下一层。全连接层典型地将一个层中的每个神经元连接到另一个层中的每个神经元。因此,作为对象分类过程的一部分,全连接层可用于识别输入的总体特性,诸如特定类别的对象或属于特定类别的特定实例是否存在于输入(例如,图像、视频、声音)中。

图7中示意性地示出了操作装置10的方法700,其中接收器12包括对象辨识系统。方法700包括在内容处理状态下操作702内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供704给装置10的用户24。所述方法包括经由呈对象辨识系统的形式的接收器12来接收706指示装置10的用户24的外部环境的对象的数据。指示外部环境的对象的数据由处理器14进行处理708,以识别710指示用户24的健康状况的可能改变的触发条件,并且响应于所述触发条件,修改712内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在一些示例中,接收器可包括用于接收装置10的用户24的日程信息的软件应用程序,并且触发条件可包括来自日程信息的关于用户打算去另一个时区旅行的确定。软件应用程序可例如包括存储在装置10的存储器中且能够在装置10上运行的应用程序。软件应用程序可包括指示用户的日程的日历应用程序,或者可包括读取用户的消息以提取日程信息的消息应用程序,例如电子邮件应用程序。在一些示例中,用户可将日程信息手动地输入到软件应用程序中。在一些示例中,软件信息可自动地提取日程信息,并且可例如响应于触发条件而向用户显示提示以确认修改。软件应用程序可从属于用户24的远程装置(例如,从用户24的移动电话或其他计算装置)接收日程信息。

在人快速地穿梭于各时区之间的情况下,身体的昼夜节律可能会发生改变,这可导致被称为“时差”的生理状况。时差的症状可能令人不快,并且可包括睡眠障碍、头晕、恶心、意识模糊、焦虑、疲劳加剧、头痛和消化问题。在装置10可辨识出用户打算去另一个时区旅行,并且内容处理部件的内容处理状态被修改而使得增强现实数据的至少一个特性被修改时,增强现实数据的修改可用来减轻可能由用户即将到来的旅行引起的任何潜在的时差影响。例如,可响应于触发条件而修改向用户显示的光。特别地,这可包括在某些时间暴露于光以容易过渡到新时区。它还可包括减少暴露于光以便模拟夜间条件。

图8中示意性地示出了操作装置10的方法800,其中接收器12包括用于接收装置10的用户24的日程信息的软件应用程序。方法800包括在内容处理状态下操作802内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供804给装置10的用户24。所述方法包括经由呈用于接收装置10的用户24的日程信息的软件应用程序的形式的接收器12来接收806指示装置10的用户24的即将到来的旅行的数据。指示即将到来的旅行的数据由处理器14进行处理808,以识别810去往不同时区的旅行,并且响应于所识别的去往不同时区的旅行,修改812内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在一些示例中,接收器12可包括用于接收当前日期、时间和位置信息的软件应用程序,并且触发条件可包括关于当前日期、时间和位置信息或与其相关的环境状况对装置的用户的精神或身体状态具有潜在的负面影响的确定。例如,季节性情感障碍(SAD)可能在一年中的某些时间引起抑郁,并且可检测到这种抑郁,如本文中先前所述。通过例如结合用于确定抑郁的其他因素来利用当前日期、时间和位置信息,可确定装置10的用户24正在遭受SAD,并且可相应地修改增强现实数据22的至少一个特性。例如,可通过调节装置10的光源来使增强现实数据22更亮。在一些示例中,接收器12还可接收给定的检测到的位置的光水平的指示。

图9中示意性地示出了操作装置10的方法900,其中接收器12包括用于接收当前日期、时间和位置信息的软件应用程序。方法900包括在内容处理状态下操作902内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供904给装置10的用户24。所述方法包括经由呈软件应用程序的形式的接收器12来接收906当前日期、时间和位置信息。当前日期、时间和位置信息由处理器14进行处理908,以识别910用户24的健康状况的可能改变,并且响应于对可能改变的识别,修改912内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在一些示例中,接收器12可包括用于跟踪装置10的用户24的头部运动的运动跟踪器,并且触发条件可包括对装置10的用户24的头部位置的确定。例如,运动跟踪器可被配置为监测装置10的用户24的头部位置和/或头部位置的改变速度。在某些情况下,装置10的用户24的头部运动可指示抑郁。例如,较慢的头部移动和/或头部位置的较少改变可指示装置10的用户24的抑郁。触发条件可包括关于用户24的头部正在以低于预定阈值的速度移动的确定,和/或关于用户24的头部在给定的时间段期间位于低于预定阈值数量的位置的多个位置的确定。运动跟踪器可包括加速度计和/或陀螺仪。

图10中示意性地示出了操作装置10的方法1000,其中接收器12包括用于跟踪装置10的用户24的头部运动的运动跟踪器。方法1000包括在内容处理状态下操作1002内容处理部件16,以及基于内容处理部件16的输出而经由内容转换器18将增强现实数据22提供1004给装置10的用户24。所述方法包括经由呈运动跟踪器的形式的接收器12来接收1006指示装置10的用户24的头部运动的数据。指示用户24的头部运动的数据由处理器14进行处理1008,以识别1010用户24的健康状况或预先存在的健康状况的可能改变,并且响应于对可能改变的识别,修改1012内容处理部件16的内容处理状态,使得增强现实数据22的至少一个特性被修改。

在一些示例中,接收器12可操作以接收指示注意缺陷多动障碍、癫痫、自闭症、抑郁、季节性情感障碍或时差中的任一者的数据。

如针对以上示例所讨论,响应于触发条件,修改增强现实数据22的至少一个特性。当然将了解,被修改的增强现实数据22的至少一个特性可取决于所提供的增强现实数据22,以及用户24的健康状况的所确定的可能改变。

在一些示例中,增强现实数据22包括视频内容,并且增强现实数据22的至少一个特性是视频内容亮度、视频内容速度、视频内容质量、作为视频内容提供的对象的数量、视频内容的存在或视频内容的刷新速率中的任一者。增加视频亮度可例如通过向用户24显示更亮的图像来减轻SAD的影响。作为视频内容提供的对象数量减少可减轻用户24的感觉负担。降低视频内容的刷新速率可降低光敏性发作的风险,如可例如使用每像素偏振器来调暗视频内容的亮度并调暗外部环境的亮度。

在一些示例中,增强现实数据22包括音频内容,并且增强现实数据的至少一个特性是音频音量、音频频率、音频的存在或作为音频内容提供的音频源的数量中的任一者。减小音频音量和/或音频源的数量可减少存在于增强现实数据22中的刺激的数量,这例如对于ADHD行为和患有自闭症的用户可能是有益的。

在一些示例中,增强现实数据22包括提供给装置10的用户24的光,并且增强现实数据的至少一个特性是光强度、光颜色、光的存在或闪光速率中的任一者。修改提供给用户24的光的性质可例如通过使用户24在旅行之前适应在目的地时区中经历的光来缓和去往不同时区的即将到来的旅行。蓝光对于减轻时差的影响可能是有用的。例如,增加的光强度和/或较亮的光颜色可用于减轻抑郁和/或SAD的影响。

在一些示例中,增强现实数据22包括提供给装置的用户的视觉对象,并且增强现实数据的至少一个特性是视觉对象的边界、视觉对象的指示符、视觉对象的透明度、视觉对象的图像类型、视觉对象的大小、视觉对象的颜色和视觉对象的存在中的任一者。所述视觉对象可通过多种方式进行修改,以减轻装置10的用户24的健康状况的潜在改变。

修改增强现实数据22可涉及增加形成增强现实数据22的一部分的虚拟对象的透明度。例如,可使虚拟对象在场景中更加透明,以便减小虚拟对象对装置10的用户24的影响。修改增强现实数据22可涉及将虚拟对象的视觉表示转换为线框模型。例如,虚拟对象可包括增强现实数据中的表面特性,诸如纹理。可通过指定虚拟对象的边缘或者使用直线或曲线将虚拟图像对象的组成顶点相连接来将虚拟对象转换为线框模型。在将虚拟图像对象转换为线框模型时,可移除或至少不显示虚拟对象的表面特性。将虚拟对象的视觉表示转换为线框模型可允许在没有与对象相关联的完整刺激的情况下对潜在的被辨识对象的可视化,从而减小对象对装置10的用户24的影响。

在一些示例中,增强现实数据包括指示由装置的用户感知到的外部环境状况的数据,并且触发条件包括感知到的外部环境状况的改变。例如,增强现实数据可包括装置10的用户24的外部环境的增强或虚拟表示,并且增强现实数据可被修改以减轻外部环境的改变。天气改变是装置10可减轻的环境改变的一个这种示例,因为天气改变可能会负面地影响装置10的用户24的情绪。在一些示例中,指示外部环境状况的数据可包括存在于感知到的外部环境状况中的对象。可对增强现实数据22进行修改,以减小存在于感知到的外部环境状况中的对象的影响和/或将所述对象移除。

在一些示例中,尽管对增强现实数据22进行了任何修改,但增强现实数据22保留指示对装置的用户的潜在危害的数据。这可允许增强现实数据22的适当修改,同时最小化对用户24的负面影响的风险。

在一些示例中,接收器12可操作来接收指示装置10的用户24的历史健康状况的历史数据。这可提供检测触发条件的增加的准确度,因为可知道用户预先存在的健康状况。历史数据可包括装置10的当前用户的所捕获数据,和/或可包括装置10的至少一个先前用户的所捕获数据。通过这种方式,可使用健康状况的数据库,这可允许对触发条件的更准确识别。

在一些示例中,接收器可操作来接收指示装置的用户的健康状况的实时数据。这可允许装置10作出反应以实时地修改增强现实数据22。接收器可操作来接收指示装置的用户的健康状况的历史数据和实时所捕获数据两者,处理器可被配置为将历史数据与实时数据进行比较,并且响应于所述比较,处理器可被配置为识别指示用户的健康状况的改变的触发条件。

在一些示例中,处理器14可被配置为处理所捕获数据20,以识别指示用户的健康状况的可能改变的第一和第二触发条件。内容处理部件16的内容处理状态可被修改,使得增强现实数据22的第一和第二特性被修改。第一特性可包括增强现实数据22的视觉对象,并且第二特性可包括增强现实数据22的音频对象。在这种示例中,内容处理部件16可包括第一和第二内容处理部件,并且内容转换器18可包括第一和第二内容转换器。

在一些示例中,处理器14可被配置为:处理所捕获数据20以识别指示用户24的第一健康状况的可能改变的第一触发条件和指示用户24的第二健康状况的可能改变的第二触发条件;响应于第一触发条件,修改内容处理部件16的内容处理状态,使得增强现实数据22的第一特性被修改;并且响应于第二触发条件,修改内容处理部件16的内容处理状态,使得增强现实数据22的第二特性被修改。在这种示例中,接收器12可操作来接收指示用户24的第一和第二健康状况的所捕获数据。第一特性可包括增强现实数据22的视觉对象,并且第二特性可包括增强现实数据22的音频对象。在这种示例中,内容处理部件16可包括第一和第二内容处理部件,并且内容转换器18可包括第一和第二内容转换器。

应理解,关于任一个示例描述的任何特征都可单独使用或与所描述的其他特征结合使用,并且还可与任何其他示例或任何其他示例的任何组合的一个或多个特征结合使用。此外,在不脱离所附权利要求的范围的情况下,也可采用上面未描述的等效物和修改。

23页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:应用于头戴显示设备的显示方法、装置和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类