控制计算机生成现实环境中的虚拟对象的表示

文档序号:1957940 发布日期:2021-12-10 浏览:6次 >En<

阅读说明:本技术 控制计算机生成现实环境中的虚拟对象的表示 (Controlling representations of virtual objects in a computer-generated real-world environment ) 是由 A·M·伯恩斯 N·吉特 A·H·帕兰吉 P·普拉·艾·柯尼萨 D·M·沙滕 于 2020-08-31 设计创作,主要内容包括:根据一些实施方案,描述了一种用于基于计算机生成现实(CGR)环境中的位置的用户语境来控制虚拟对象的表示的示例性过程。根据其他实施方案,描述了一种用于控制CGR环境内一个或多个虚拟对象的表示的同时显示的示例性过程。根据其他实施方案,描述了一种用于基于输入机构的特征来控制CGR环境中的虚拟对象的表示的示例性过程。(According to some embodiments, an example process for controlling a representation of a virtual object based on a user context of a location in a Computer Generated Reality (CGR) environment is described. According to other embodiments, an exemplary process for controlling the simultaneous display of representations of one or more virtual objects within a CGR environment is described. According to other embodiments, an exemplary process for controlling a representation of a virtual object in a CGR environment based on characteristics of an input mechanism is described.)

控制计算机生成现实环境中的虚拟对象的表示

相关申请的交叉引用

本申请要求于2020年7月29日提交的名称为“CONTROLLING REPRESENTATIONS OFVIRTUAL OBJECTS IN A COMPUTER-GENERATED REALITY ENVIRONMENT”的美国临时专利申请序列号63/058,217以及于2019年9月27日提交的名称为“CONTROLLING REPRESENTATIONSOF VIRTUAL OBJECTS BASED ON USE CONTEXTS OF LOCATIONS IN A COMPUTER-GENERATEDREALITY ENVIRONMENT”的美国临时专利申请序列号62/907,216的优先权。前述申请的内容据此全文以引用方式并入本文。

技术领域

本公开整体涉及计算机生成现实环境,并且更具体地涉及在计算机生成现实环境中控制虚拟对象的显示。

背景技术

计算机生成现实(CGR)环境是其中显示供用户查看的至少一些对象由计算机生成的环境。在一些用途中,用户可与虚拟对象进行交互。用户可将虚拟对象移动到计算机生成现实环境内的不同位置。然而,缺乏用于控制如何在计算机生成现实环境内的不同位置处表示虚拟对象的稳健功能。此外,缺乏基于用户可用于与虚拟对象进行交互的输入机构的特性来控制计算机生成的环境中的虚拟对象的表示的功能。

此外,虚拟对象可被表示为计算机生成现实环境内的二维对象和/或三维对象。然而,缺乏用于控制虚拟对象的表示的同时显示的稳健功能。

发明内容

根据一些实施方案,一种方法包括:经由电子设备的显示器在CGR环境内的第一位置处显示虚拟对象的第一表示,其中,第一位置对应于多个使用语境中的第一使用语境;接收将CGR环境内的第一表示移动到与第一位置不同的第二位置的请求;以及响应于接收到该请求:根据确定第二位置对应于多个使用语境中的第二使用语境,经由电子设备的显示器基于第二使用语境在第二位置处显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定第二位置对应于多个使用语境中的第三使用语境,经由电子设备的显示器基于第三使用语境在第二位置处显示虚拟对象的第三表示,其中,第三表示与第一表示和第二表示不同。

根据一些实施方案,一种系统包括:显示器;一个或多个处理器;以及存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器。一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境内的第一位置处显示虚拟对象的第一表示,其中,第一位置对应于多个使用语境中的第一使用语境;接收将CGR环境内的第一表示移动到与第一位置不同的第二位置的请求;以及响应于接收到该请求:根据确定第二位置对应于多个使用语境中的第二使用语境,经由显示器基于第二使用语境在第二位置处显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定第二位置对应于多个使用语境中的第三使用语境,经由显示器基于第三使用语境在第二位置处显示虚拟对象的第三表示,其中,第三表示与第一表示和第二表示不同。

根据一些实施方案,一种非暂态计算机可读存储介质存储被配置为由具有显示器的系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境内的第一位置处显示虚拟对象的第一表示,其中,第一位置对应于多个使用语境中的第一使用语境;接收将CGR环境内的第一表示移动到与第一位置不同的第二位置的请求;以及响应于接收到该请求:根据确定第二位置对应于多个使用语境中的第二使用语境,经由显示器基于第二使用语境在第二位置处显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定第二位置对应于多个使用语境中的第三使用语境,经由显示器基于第三使用语境在第二位置处显示虚拟对象的第三表示,其中,第三表示与第一表示和第二表示不同。

根据一些实施方案,一种暂态计算机可读存储介质存储被配置为由具有显示器的系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境内的第一位置处显示虚拟对象的第一表示,其中,第一位置对应于多个使用语境中的第一使用语境;接收将CGR环境内的第一表示移动到与第一位置不同的第二位置的请求;以及响应于接收到该请求:根据确定第二位置对应于多个使用语境中的第二使用语境,经由显示器基于第二使用语境在第二位置处显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定第二位置对应于多个使用语境中的第三使用语境,经由显示器基于第三使用语境在第二位置处显示虚拟对象的第三表示,其中,第三表示与第一表示和第二表示不同。

根据一些实施方案,一种系统包括:显示器;用于经由显示器在CGR环境内的第一位置处显示虚拟对象的第一表示的装置,其中,第一位置对应于多个使用语境中的第一使用语境;用于接收将CGR环境内的第一表示移动到与第一位置不同的第二位置的请求的装置;和用于响应于接收到该请求而用于以下操作的装置:根据确定第二位置对应于多个使用语境中的第二使用语境,经由显示器基于第二使用语境在第二位置处显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定第二位置对应于多个使用语境中的第三使用语境,经由显示器基于第三使用语境在第二位置处显示虚拟对象的第三表示,其中,第三表示与第一表示和第二表示不同。

根据一些实施方案,一种方法包括:经由电子设备的显示器在CGR环境内的第一位置处显示虚拟对象的二维(2D)表示;接收同时显示虚拟对象的三维(3D)表示与2D表示的请求;以及响应于请求,经由可穿戴电子设备的显示器同时显示CGR环境的第一位置处的2D表示和第二位置处的3D表示,其中,第二位置与第一位置不同。

根据一些实施方案,一种系统包括:显示器;一个或多个处理器;以及存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器。一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境的第一位置处显示虚拟对象的2D表示;接收同时显示虚拟对象的3D表示与2D表示的请求;以及响应于请求,经由显示器同时显示CGR环境的第一位置处的2D表示和第二位置处的3D表示,其中,第二位置与第一位置不同。

根据一些实施方案,一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储被配置为由包括显示器的系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境的第一位置处显示虚拟对象的2D表示;接收同时显示虚拟对象的3D表示与2D表示的请求;以及响应于请求,经由显示器同时显示CGR环境的第一位置处的2D表示和第二位置处的3D表示,其中,第二位置与第一位置不同。

根据一些实施方案,一种暂态计算机可读存储介质,该暂态计算机可读存储介质存储被配置为由包括显示器的系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境的第一位置处显示虚拟对象的2D表示;接收同时显示虚拟对象的3D表示与2D表示的请求;以及响应于请求,经由显示器同时显示CGR环境的第一位置处的2D表示和第二位置处的3D表示,其中,第二位置与第一位置不同。

根据一些实施方案,一种系统包括:显示器;用于经由显示器在CGR环境内的第一位置处显示虚拟对象的2D表示的装置;用于接收同时显示虚拟对象的3D表示与2D表示的请求的装置;和用于响应于请求,经由显示器同时显示CGR环境的第一位置处的2D表示和第二位置处的3D表示的装置,其中,第二位置与第一位置不同。

根据一些实施方案,一种方法包括:经由可穿戴电子设备的显示器在CGR环境内显示虚拟对象的第一表示;响应于检测到的输入机构的移动:根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内,经由可穿戴电子设备的显示器在CGR环境内显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定输入机构的当前位置不在距虚拟对象的第一表示的预定距离内,保持显示第一表示而不显示第二表示。

根据一些实施方案,一种系统包括:显示器;一个或多个处理器;以及存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器。一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境内显示虚拟对象的第一表示;以及响应于检测到的输入机构的移动:根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内,经由显示器在CGR环境内显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定输入机构的当前位置不在距虚拟对象的第一表示的预定距离内,保持显示第一表示而不显示第二表示。

根据一些实施方案,一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储被配置为由包括显示器的系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境内显示虚拟对象的第一表示;以及响应于检测到的输入机构的移动:根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内,经由显示器在CGR环境内显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定输入机构的当前位置不在距虚拟对象的第一表示的预定距离内,保持显示第一表示而不显示第二表示。

根据一些实施方案,一种暂态计算机可读存储介质,该暂态计算机可读存储介质存储被配置为由包括显示器的系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由显示器在CGR环境内显示虚拟对象的第一表示;以及响应于检测到的输入机构的移动:根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内,经由显示器在CGR环境内显示虚拟对象的第二表示,其中,第二表示与第一表示不同;以及根据确定输入机构的当前位置不在距虚拟对象的第一表示的预定距离内,保持显示第一表示而不显示第二表示。

根据一些实施方案,一种系统包括:显示器;用于经由显示器在CGR环境内显示虚拟对象的第一表示的装置;以及响应于检测到的输入机构的移动:根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内,经由显示器在CGR环境内显示虚拟对象的第二表示的装置,其中,第二表示与第一表示不同;以及根据确定输入机构的当前位置不在距虚拟对象的第一表示的预定距离内,保持显示第一表示而不显示第二表示的装置。

用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。

附图说明

在以下描述中,参考形成本公开的一部分并且示出本公开的多个示例的附图。应当理解,也可利用其他示例,并且在不脱离本公开的范围的情况下可进行结构改变和操作改变。在不同的附图中使用相同的附图标记表示相似或相同的项目。

图1A至图1B描绘了在各种计算机生成的现实技术中使用的示例性系统。

图2A至图2E描绘了根据本公开的各方面的用于基于CGR环境内不同位置处的使用语境来控制对虚拟对象的表示的示例性技术。

图3A至图3C描绘了根据本公开的各方面的用于基于CGR环境内不同位置处的使用语境来控制虚拟对象的表示的技术的另一示例。

图4A至图4C描绘了根据本公开的各方面的用于基于CGR环境内不同位置处的使用语境来控制虚拟对象的表示的技术的又一示例。

图5是示出了为了实现本公开的各方面而执行的方法的流程图。

图6A至图6C描绘了根据本公开的各方面的用于控制CGR环境内虚拟对象的表示的同时显示的示例性技术。

图7是示出了为了实现本公开的各方面而执行的方法的流程图。

图8A至图8B描绘了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的示例性技术。

图9A至图9B描绘了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的另一示例。

图10A至图10B描绘了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的又一示例。

图11A至图11B描绘了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的再一示例。

图12A至图12B描绘了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的另一示例。

图13是示出了为了实现本公开的各方面而执行的方法的流程图。

具体实施方式

描述了与各种CGR技术相关的电子系统和使用此类系统的技术的各种示例。

物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象),诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相比之下,CGR环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中,跟踪人的物理运动的一个子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。

人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,音频对象创建(3D)或空间音频环境,三维或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,MR环境是完全物理环境作为一端以及VR环境作为另一端之间的任何状况,但不包括这两端。

在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

MR的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。

AR环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置成接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个示例中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。

图1A和图1B描绘了用于在各种CGR技术中使用的示例性系统100。

在一些示例中,如图1A所示,系统100包括设备100a。设备100a包括各种部件,诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些示例中,系统100的元件在基站设备(例如,计算设备,诸如远程服务器、移动设备或膝上型计算机)中实现,并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现,其中HMD设备与基站设备通信。在一些示例中,设备100a在基站设备或HMD设备中实现。

如图1B所示,在一些示例中,系统100包括两个(或更多个)通信中的设备,诸如通过有线连接或无线连接。第一设备100b(例如,基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如,HMD)包括各种部件,诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。

在一些示例中,系统100为移动设备。在一些示例中,系统100为HDM设备。在一些示例中,设备100为可穿戴HUD设备。

系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中,存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如,闪存存储器,随机存取存储器),所述计算机可读指令被配置为由处理器102执行以执行下述技术。

系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。

系统100包括显示器120。在一些示例中,显示器120包括第一显示器(例如,左眼显示器面板)和第二显示器(例如,右眼显示器面板),每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地,对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示,从而产生视差效应,该视差效应向用户提供显示器上对象的立体感效应。在一些示例中,显示器120包括单个显示器。对于用户的每只眼睛,对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地,对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示,从而产生视差效应,该视差效应向用户提供单个显示器上对象的立体感效应。

在一些示例中,系统100包括用于接收用户输入的触敏表面122,诸如轻击输入和轻扫输入。在一些示例中,显示器120和触敏表面122形成触敏显示器。

系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器,诸如无源IR传感器或有源IR传感器,用于检测来自真实环境的红外光。例如,有源IR传感器包括IR发射器,诸如IR点发射器,用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机,这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器,这些深度传感器被配置为检测物理对象与系统100的距离。在一些示例中,系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些示例中,图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中,系统100使用图像传感器108来接收用户输入,诸如手势。在一些示例中,系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如,系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。

在一些示例中,系统100包括麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中,麦克风112包括麦克风阵列(包括多个麦克风),其任选地串联操作,以便识别环境噪声或在真实环境的空间中定位声源。

系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如,系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化,诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。

本公开的各方面涉及以下系统和技术,该系统和技术提供用于控制CGR环境内虚拟对象的表示的功能。

具体地讲,本公开的各方面涉及以下系统和技术,该系统和技术提供用于基于与CGR环境内的虚拟对象的位置相关联的使用语境来控制虚拟对象的表示的功能。本文所描述的系统和技术允许虚拟对象的表示适于与CGR环境内的位置相关联的特定使用语境。

图2A至图2E示出了根据本公开的各方面的用于基于与CGR环境内的虚拟对象的位置相关联的使用语境来控制CGR环境的虚拟对象的表示的示例性技术。具体地讲,图2A示出了用户202和电子设备200。在一些实施方案中,电子设备200可以是可穿戴电子设备(例如,HMD)。本文描述了可穿戴电子设备的示例,诸如相对于上文参考图1A和图1B所描述的电子设备100a。

如图2A所示,用户202穿戴电子设备200,该电子设备被配置为使用户202感知CGR环境290。如上所述,CGR环境290可包括物理对象或其表示和虚拟对象,其中,虚拟对象叠加在物理对象上(例如,在AR具体实施中)或物理对象叠加在虚拟对象上(例如,在AV具体实施中)以向用户202呈现相干CGR环境。在一些实施方案中,CGR环境290可以是完全虚拟环境(例如,在VR具体实施中),其中,CGR环境290内的每个对象是虚拟对象。无论是完全虚拟具体实施还是部分虚拟具体实施,在图2A所示的示例中,虚拟对象210可以是呈现应用程序(例如,被配置为促进多媒体呈现的应用程序)的表示,并且可以在CGR环境290内呈现给用户202。

在实施方案中,虚拟对象210可位于CGR环境290内的任何位置处。在图2A至图2E所示的具体示例中:CGR环境290可至少包括位置220、222、224、226和228。应当理解,对这些位置进行描述是为了进行示意性的说明,并非旨在以任何方式进行限制。即,CGR环境290内的任何其他位置可适用于本文所描述的特征和功能。

在各方面,位置220可对应于CGR环境290内的电子设备的表示上的位置。例如,位置220可对应于显示器240上的位置(例如,显示器、屏幕、电子设备的表面或壳体)。显示器240可为例如计算机、膝上型电脑、平板电脑、电话、显示器、投影仪显示器等显示器。显示器240可为实际物理设备(例如,物理对象)或者可为CGR环境290内的显示器(例如,虚拟对象)的虚拟表示。

位置222可对应于CGR环境290的竖直平面上的位置(例如,主要竖直平面,诸如为竖直平面的结构、墙壁、对应于墙壁状结构的表面,诸如建筑物的侧面、卧室墙壁、栅栏、竖直或辅助竖直平面等)。在图2A所示的具体示例中,位置222对应于CGR环境290的墙壁上的位置。

位置224和/或位置228可对应于CGR环境290的水平平面上的位置(例如,主要水平平面,诸如为水平平面、桌面、桌子、工作台面、搁架、地板、升高的水平平面,诸如CGR环境内另一水平平面上方的水平平面、不升高的水平平面等)。在图2A所示的具体示例中,位置224和228对应于桌面242上的位置,该桌面可以是物理对象或虚拟对象。

位置226可对应于CGR环境290的水平平面上的位置,但与位置224和/或228的类型不同。例如,位置226可以是主要水平平面上的位置,诸如为水平平面、地板、人行道、草、草坪、一个或多个人站在其上的表面、非升高的水平平面(诸如CGR内的另一水平平面下方的水平平面)等的结构。在图2A所示的具体示例中,位置226对应于CGR环境290的地板上的位置。

如图2A所示,虚拟对象210可(例如,通过电子设备200)显示在位置220处。在一些实施方案中,CGR环境290内的位置(例如,位置220)可与多个使用语境中的至少一个使用语境相关联或以其他方式对应。在实施方案中,使用语境可与虚拟对象将被放置在其上的表面的类型(例如,书桌、墙壁、计算机屏幕、地板等)或表面的材料的类型(例如,沙子、草、混凝土、地毯等),并且/或者可与将在CGR环境中使用(例如,操纵、交互)或显示(例如,呈现)虚拟对象的方式相关。

在各方面,位置220可与第一使用语境相关联。例如,如上所述,位置220可以是显示器240上的位置。显示器240可以是电子设备的表示。在这种情况下,与位置220相关联的第一使用语境可以是作为电子设备的位置220的表面或对象的类型。因此,在这种情况下,当确定位置220是电子设备的表示上的位置时,可以满足第一使用语境。在其他实施方案中,与位置220相关联的第一使用语境可以是当在位置220中时将使用虚拟对象210的方式。例如,可确定在位置220(其为电子设备)处,虚拟对象220将用作显示器240上的多媒体呈现的应用程序。在这种情况下,可基于虚拟对象将被使用的方式来确定虚拟对象将被表示为二维(2D)窗口。

需注意,如本文所用,虚拟对象的表示可包括CGR环境内的虚拟对象的内容、尺寸、功能、用户界面对象、形式、形状、设计、图形呈现等。例如,虚拟对象可被表示为2D对象(例如,应用程序图标、应用程序窗口、图像、应用程序的用户界面等)。在其他示例中,虚拟对象可被表示为CGR环境内的3D对象。在一些实施方案中,虚拟对象的第一表示可为包括特定内容的3D对象,并且虚拟对象的不同的第二表示可为包括与第一表示中的特定内容不同的内容的3D对象。

在一些实施方案中,CGR环境内的虚拟对象的表示可包括音频特征。例如,一个表示可以包括特定的声音、噪声、说出词语等,并且第二表示可以包括不同的声音、噪声、说出词语等。在一些情况下,虚拟对象的表示还可包括声音水平,其中,虚拟对象的一个表示可包括一个声音水平,并且不同的表示可包括更高或更低的声音水平。

根据上文所述,当虚拟对象210至少部分地位于位置220上时,无论是通过移动还是拖动到位置220还是通过显示在位置220上,基于确定位置220与使用语境相关联,虚拟对象210都被显示为显示器240上的2D窗口(例如,通过电子设备200),该使用上下文通过确定位置220在显示器240上来满足,显示器240是电子设备。

在一些实施方案中,虚拟对象210可被配置为使得用户202可与虚拟对象210进行交互。如上所述,与虚拟对象220的交互可经由输入传感器,该输入传感器被配置为检测与CGR环境290的虚拟对象交互的用户输入。在一些实施方案中,输入传感器可包括鼠标、触笔、触敏表面、图像传感器(例如,以执行手跟踪)等,其可被配置为允许用户202抓取、移动、拖动、点击、选择和/或以其他方式选择虚拟对象210。因此,在实施方案中,可接收将虚拟对象210移动到CGR环境290内的位置的请求。

在图2A所示的示例中,将虚拟对象210从位置220移动到CGR环境290内的另一位置的请求可包括用户202抓取或以其他方式选择用于从位置220移动的虚拟对象210,并且可使得虚拟对象210离开位置220。在一些实施方案中,一旦从位置(例如,位置220)移除虚拟对象210,虚拟对象210的当前表示就可改变。例如,一旦从位置220移除虚拟对象210,作为多媒体呈现应用程序的2D窗口的虚拟对象210的当前表示就可改变为另一表示。在一些具体实施中,虚拟对象210的当前表示可改变为一些过渡表示,该过渡表示可不与特定使用语境相关联,而是可为指示虚拟对象210正从一个位置过渡到另一个位置的默认表示。在其他具体实施中,当虚拟对象210从位置移除时,虚拟对象210的当前表示可不改变,而是虚拟对象210的当前表示可保持不变,直到虚拟对象被定位在被确定为与可确定显示虚拟对象210的不同表示的使用语境相关联的另一位置。在这种情况下,可在虚拟对象210从当前位置到新位置的转移期间保持虚拟对象210的当前表示。

图2B示出了(例如,通过电子设备200)在位置224上显示的虚拟对象210的示例。在该示例中,响应于将虚拟对象移动到位置224的请求,可以确定对应于位置224的至少一个使用语境。例如,位置224可对应于桌面242上的位置。在这种情况下,可以确定位置224与位置224的位置类型(例如,表面类型、空气)满足的使用语境相关联,位置224是桌面242上的位置(例如,水平平面上的位置)。在另选的或附加的实施方案中,桌面242上的位置224可被确定为例如用户202可使用虚拟对象210来注释关于多媒体呈现的位置。在任一种情况下,无论是因为位置224是桌面上的位置还是因为位置224是虚拟对象可用于对多媒体呈现进行注释的位置,虚拟对象210可被表示为3D对象(例如,记事本、笔记本、书籍或任何其他3D表示),该3D对象被配置为便于用户在多媒体呈现上注释和/或作记事本。

尽管未示出,但虚拟对象210可从桌面242上的位置224移动到也在桌面242上的位置228。在实施方案中,虚拟对象210的表示(例如,3D虚拟记事本)可在位置228上保持与在位置224中相同,因为两个位置可与相同的使用语境相关联。另选地,尽管位置224和228都在桌面242上(例如,相同类型的表面),但是虚拟对象在位置228上时的表示可不同于在位置224上时的表示。例如,虚拟对象在位置228上时的表示可具有与在位置224上时的表示不同的尺寸(例如,更小或更大)或不同的取向,因为位置228可被确定为不能适应虚拟对象210在位置224上时的表示的尺寸和/或取向。在一些实施方案中,相同类型的表面内的不同位置(例如,桌面242上、墙壁222上的不同位置等)可被配置用于不同的使用语境。例如,桌面242上的特定位置可被配置为具有虚拟对象210的表示可在特定语言上的使用语境,并且桌面242上的另一位置可被配置为具有虚拟对象210的表示可在不同语言上的使用语境。

图2C示出了在位置222上显示的虚拟对象210的示例。例如,可接收将虚拟对象210移动到位置222的请求。该请求可包括从CGR环境290内的任何其他位置(例如,位置220、位置224、位置226等)移动虚拟对象210的请求。响应于该请求,可将虚拟对象210移动到位置222,并且可确定要在位置222处显示的虚拟对象210的表示。在该示例中,响应于将虚拟对象移动到位置222的请求,可以确定对应于位置222的至少一个使用语境。例如,位置222可对应于CGR环境290的竖直平面(例如,墙壁)上的位置。在这种情况下,可以确定位置222与位置222的位置类型(例如,表面类型)满足的使用语境相关联,位置222是CGR环境290的墙壁上的位置。在另选的或附加的实施方案中,CGR环境290的墙壁上的位置222可被确定为虚拟对象210可用于呈现多媒体呈现的位置。在任一种情况下,无论是因为位置222是墙壁上的位置还是因为位置222是虚拟对象可用于呈现多媒体呈现的位置,虚拟对象210都可被表示(例如,通过电子设备200显示)为被配置为便于呈现多媒体呈现的大窗口对象。例如,大窗口对象可以是2D窗口或大监视器的3D表示,其被显示为抵靠墙壁固定。在一些实施方案中,可基于显示大窗口对象抵靠的墙壁相对于CGR环境290内的用户202的位置的距离来确定大窗口对象抵靠墙壁的尺寸。

在一些实施方案中,位置222上的虚拟对象210的表示的内容(例如,信息和/或信息布置)可不同于其他位置处的虚拟对象210的表示中的内容。例如,当在位置224处时,用作虚拟对象210的表示的3D记事本可包括以特定布置布置在3D记事本内的信息。虽然在位置222处,用作虚拟对象210的表示的抵靠墙壁的大窗口显示器可包括可在大窗口显示器内以不同布置方式布置的不同信息。

图2D示出了(例如,通过电子设备200)在位置226上显示的虚拟对象210的示例。例如,可接收将虚拟对象210移动到位置226的请求。该请求可包括从CGR环境290内的任何其他位置(例如,位置220、位置222、位置224、位置228等)移动虚拟对象210的请求。响应于该请求,可将虚拟对象210移动到位置226并且可确定要在位置226处显示(例如,通过电子设备200显示)的虚拟对象210的表示。在该示例中,响应于将虚拟对象移动到位置226的请求,可以确定对应于位置226的至少一个使用语境。例如,位置226可对应于CGR环境290的水平平面(例如,地板)上的位置。需注意,在该示例中,位置226对应于水平平面上的与对应于位置224的水平平面不同类型的位置,该位置是桌面242上的位置。在这种情况下,可以确定位置226与位置226的位置类型(例如,表面类型)满足的使用语境相关联,位置226是CGR环境290的地板上的位置。在另选的或附加的实施方案中,CGR环境290的地板上的位置226可被确定为其中虚拟对象210可用于至少部分地沉浸式地(例如,从第一个人视图模式)呈现多媒体呈现的位置。在任一种情况下,无论是因为位置226是墙壁上的位置还是因为位置226是虚拟对象可用于至少部分地沉浸式呈现多媒体呈现的位置,虚拟对象210可被表示为放置在位置226上或附近的3D podium,该podium被配置为便于用户202呈现来自podium的多媒体表示。在一些实施方案中,虚拟对象210在位置226处的表示可包括与多媒体呈现相关的内容212(例如,记事本、注释、呈现内容等),并且可呈现在用户202可感知内容212的podium的顶部上。

图2E示出了(例如,通过电子设备200)在完全沉浸式模式下显示的虚拟对象210的示例。在一些实施例中,特定位置可与完全沉浸式使用语境相关联。例如,位置(诸如CGR环境290的地板上的位置226)可与使用语境相关联,在该使用语境中该呈现将呈现为完全沉浸式体验。响应于将虚拟对象210移动到位置226的请求,可将虚拟对象移动到位置226,并且可显示虚拟对象210的完全沉浸式表示。在这种情况下,将虚拟对象210显示为完全沉浸式表示可包括将整个CGR环境290显示为被配置为呈现多媒体应用程序的虚拟会堂。

在一些实施方案中,可以显示与特定使用语境相关联的虚拟对象210的表示,而不必将虚拟对象移动到特定位置。例如,重新参考图2A,在一些实施方案中,示能表示214可呈现在CGR环境290内。示能表示214可以是被配置为允许用户(例如,用户202)进行交互的虚拟对象(例如,按钮、示能表示、用户界面元素、交互式元素等)。示能表示214可对应于至少一个使用语境。在一些实施方案中,示能表示214还可与虚拟对象214相关联(例如,与虚拟对象214的特定应用程序诸如多媒体呈现、计算器、天气等相关联)。当用户202选择虚拟对象210的示能表示214时,对应于示能表示214的使用语境可被认为是满足的,并且可使得相关联的表示(例如,与使用语境相关联的虚拟对象210的表示)被显示。例如,在示能表示214对应于与位置224(例如,桌面)相关联的使用语境的情况下,如图2B所示,虚拟对象210的表示(如3D记事本)可通过电子设备200显示。在一些情况下,虚拟对象210的表示可以显示在与使用语境相关联的位置处(例如,不必将虚拟对象210从其当前位置移动到与和示能表示214相关联的使用语境相对应的位置),或者可以显示在虚拟对象210当前正在显示的任何位置处。在一些实施方案中,在与对应于示能表示214的使用语境相关联的位置处显示虚拟对象210的表示可包括将虚拟对象210从其当前位置移动到与使用语境相关联的位置。在这些情况下,虚拟对象210到与使用语境相关联的位置的移动可以动画方式显示。

又如,在示能表示214对应于与完全沉浸式使用语境相关联的使用语境的情况下,如图2E所示,作为完全沉浸式体验的虚拟对象210的表示可由电子设备200响应于用户202选择示能表示214而显示。

在一些实施方案中,示能表示214可包括多个示能表示,多个示能表示中的每个示能表示对应于特定使用语境。在这些实施方案中,多个示能表示中的每个示能表示可以是可选示能表示,其在被选择时可使得对应的使用语境被认为是满足的,并且可使得相关联的表示(例如,与满足的使用语境相关联的虚拟对象210的表示)根据前述内容显示。

需注意,虽然本公开描述了其中虚拟对象一次显示在CGR环境内的单个位置上的实施方案,但这样做是为了进行示意性的说明,并且不应被理解为以任何方式进行限制。实际上,在一些实施方案中,相同虚拟对象的单独且在一些情况下不同的表示可同时显示在CGR环境内的一个以上的位置处。在实施方案中,不同位置处的单独表示可全部不同(例如,可包括不同的信息或可具有不同的形状和/或形式,如上所述),或者不同位置处的一些表示可相同,而其他位置处的其他表示可不同。在一些实施方案中,对虚拟对象的配置的改变(例如,对与虚拟对象相关联的应用程序的改变)可触发对所有位置处的所有表示的改变,或者可触发对一些位置处的一些表示而不是对所有位置处的所有表示的改变。在一些情况下,CGR环境内的一个位置处的表示的改变(例如,响应于用户交互而引起的和/或由相关联的应用程序的改变引起的改变)可触发CGR环境内的另一位置处的虚拟对象的至少一个表示的至少一个改变。

图3A至图3C示出了根据本公开的各方面的用于基于与CGR环境内的位置相关联的使用语境来控制虚拟对象的表示的功能的示例。具体地讲,图3A示出了穿戴电子设备200的用户202,该电子设备可被配置为允许用户202查看CGR环境290。在一些实施方案中,电子设备200可类似于上文参考图1A和图1B所描述的电子设备100a。

CGR环境290包括显示器340,该显示器可以是物理显示器或显示器的虚拟表示。在任何情况下,虚拟对象310的表示可显示在位置320上(例如,通过电子设备200),该位置是显示器340上的位置。在图3A所示的示例中,虚拟对象310可以是计算器应用程序。在这种情况下,可以确定位置320对应于至少一个使用语境(例如,位置、表面、材料等的类型,和/或虚拟对象在该位置处的使用类型)。例如,位置320可被确定为CGR环境290的电子设备(例如,物理设备或计算机生成的物理设备的模拟)上的位置。在这种情况下,可以确定位置320与位置320的位置类型(例如,表面类型)满足的使用语境相关联,位置320是电子设备上的位置。基于确定位置320是电子设备上的位置,虚拟对象310可被显示为显示器340上的计算器应用程序的2D窗口或桌面小程序(例如,通过电子设备200)。因此,应当理解,虚拟对象310在位置320处的表示基于对应于位置320的使用语境。

图3B示出了用户202在位置320处与虚拟对象310进行交互。用户202与位置320处的虚拟对象310的交互可包括将虚拟对象310移动到另一位置(例如,位置324)的请求。图3C示出了响应于移动虚拟对象310的请求,虚拟对象310已被移动到位置324。在该示例中,可以确定与位置324相关联的至少一个使用语境。例如,位置324是桌面342上的位置。在这种情况下,可以确定位置324与位置324的位置类型(例如,表面类型)满足的使用语境相关联,位置324是桌面342上的位置(例如,水平平面上的位置)。在另选的或附加的实施方案中,桌面342上的位置324可被确定为可例如由用户202使用虚拟对象310(例如,计算器应用程序)的位置,以例如通过使用用户202的手或其虚拟表示,使得如在现实世界物理计算器中那样输入到计算器应用程序中的方式操纵计算器应用程序。在任一种情况下,无论是因为位置324是桌面上的位置还是因为位置324是其中虚拟对象可用于使用用户的手或其虚拟表示来进入计算器中的位置,虚拟对象310可被表示为3D对象(例如,物理计算器的3D表示),该3D对象被配置为促进用户将条目输入到计算器应用程序中。

图4A至图4C示出了根据本公开的各方面的基于与CGR环境内的虚拟对象的位置相关联的使用语境的CGR环境的虚拟对象的表示的另一示例。具体地讲,图4A示出了穿戴电子设备200的用户202,该电子设备被配置为允许用户202查看CGR环境290。如上所述,在一些实施方案中,电子设备200可类似于上文参考图1A和图1B所描述的电子设备100a。

CGR环境290包括显示器440。如上所述,显示器440可以是物理显示器或显示器的虚拟表示。虚拟对象410的表示可通过电子设备200显示在位置420上,该位置是显示器440上的位置。在图4A所示的示例中,虚拟对象410可以是用于呈现交互式和/或动画机器人的应用程序。应当理解,本文对动画机器人的描述仅为了进行示意性的说明,而不应理解为以任何方式进行限制。实际上,本文的技术适用于CGR环境内可表示为虚拟对象的任何应用程序。在该示例中,位置420可被确定为电子设备的表示(例如,物理计算机的显示器的表示)上的位置。基于确定位置420是电子设备的表示上的位置,虚拟对象410可被显示(例如,通过电子设备200)为显示器440上的2D窗口或桌面小程序。

图4B示出了虚拟对象410已被移动到位置424。在各方面,虚拟对象410可响应于用户的请求(例如,用户与虚拟对象410交互以拖动或以其他方式导致将虚拟对象410移动到位置424)而移动到位置424。在该示例中,可以确定与位置424相关联的至少一个使用语境。例如,位置424是桌面442上的位置。在这种情况下,可以确定位置424与位置424的位置类型(例如,表面类型)满足的使用语境相关联,位置424是桌面442上的位置(例如,水平平面上的位置)。基于对应于位置424的使用语境,虚拟对象410可被表示(例如,通过电子设备200显示)为3D对象(例如,动画机器人的3D表示)。在实施方案中,虚拟对象410在位置424时的表示可包括与虚拟对象的表示在位置420时不同的功能。例如,桌面442上的动画3D机器人可被配置为在一个以上的轴上围绕桌面442移动。除此之外或另选地,桌面442上的动画3D机器人能够围绕其自身的轴旋转。除此之外或另选地,桌面442上的动画3D机器人可被配置为具有比在位置420中时更大的尺寸。

图4C示出了虚拟对象410已被移动到位置426。在各方面,虚拟对象410可响应于用户的请求(例如,用户与虚拟对象410交互以拖动或以其他方式导致将虚拟对象410移动到位置426)而移动到位置426。在该示例中,可以确定与位置426相关联的至少一个使用语境。例如,位置426是CGR环境290的地板上的位置。需注意,在该示例中,位置426对应于水平平面上的与对应于位置424的水平平面不同类型的位置,该位置是桌面442上的位置。在这种情况下,可以确定位置426与位置426的位置类型(例如,表面类型)满足的使用语境相关联,位置426是CGR环境290的地板上的位置。基于对应于位置424的使用语境,虚拟对象410可被表示(例如,通过电子设备200显示)为CGR环境290的地板上的3D对象(例如,动画机器人的3D表示)。在实施方案中,虚拟对象在位置426时的表示可不同于虚拟对象在位置424时的表示。例如,CGR环境290的地板上的动画3D机器人可大于桌面442上的位置424处的动画3D机器人。此外,CGR环境290的地板上的动画3D机器人可被配置为在桌面442上的位置424处以比动画3D机器人更快的速率移动。

在一些实施方案中,CGR环境290内的一些位置可以不与特定应用程序的使用语境相关联,或者可以是相对于与特定应用程序相关联的虚拟对象的禁止位置。例如,位置422可以是CGR环境290的竖直平面(例如,墙壁)上的位置。在该示例中,位置422可不具有相关联的使用语境。如果用户202尝试将虚拟对象210移动到位置422,则可能不允许移动,因为例如3D机器人可能无法在竖直表面上导航。另选地,可显示虚拟对象的默认表示(例如,2D图像或2D应用程序窗口。

图5是示出用于基于与CGR环境内的虚拟对象的位置相关联的使用语境来控制CGR环境的虚拟对象的表示的方法500的流程图。在一些实施方案中,方法500可由系统100或系统100的一部分执行。在一些实施方案中,方法500可由一个或多个外部系统和/或设备执行。在一些实施方案中,方法500可由系统100(或系统100的一部分)结合一个或多个外部系统和/或设备来执行。

在框502处,系统经由电子设备(例如,可穿戴电子设备、HMD设备等)的显示器在CGR环境内的第一位置处显示虚拟对象的第一表示。例如,可经由电子设备的第一显示器(例如,左眼显示面板)或第二显示器(例如,第二眼显示面板)来显示虚拟对象的第一表示。

在实施方案中,第一位置可以对应于多个使用语境中的第一使用语境。在实施方案中,多个使用语境可包括与虚拟对象将被放置在其上的表面的类型(例如,书桌、墙壁、计算机屏幕、地板等)和/或材料类型(例如,沙子、草、混凝土、地毯等)相关的使用语境,和/或与虚拟对象将如何使用(例如,操纵、交互)或在CGR环境的第一位置中显示(例如,呈现)对应的使用语境。在一些实施方案中,系统可以是电子设备的一部分,或者电子设备可以是系统的一部分。

在一些实施方案中,当虚拟对象的表示显示在第一位置处时,虚拟对象的表示可显示在第一类型的表面(例如,桌面、墙壁、计算机屏幕、地板等),并且虚拟对象的表示可基于第一位置(例如,与第一位置对应的表面的类型)来显示。在一些实施方案中,多个使用语境中的一个或多个使用语境可为预定义的。例如,可以基于对应于虚拟对象的特定应用程序来预定义多个使用语境中的一个或多个使用语境。在一些实施方案中,第一应用程序可以具有第一数量的预定义使用语境,第二应用程序可以具有与第一数量的预定义使用语境不同的第二数量的预定义使用语境。在一些实施方案中,第二应用程序可具有与第一应用程序不同的使用语境,反之亦然。

在框504处,系统接收将CGR环境内的第一表示移动到与第一位置不同的第二位置的请求。在一些实施方案中,可基于检测第一表示从第一位置到第二位置的移动,由系统接收或检测请求。在一些实施方案中,可检测一个或多个用户输入,并且响应于检测到这些用户输入,系统可接收将表示移动到第二位置的请求。在一些实施方案中,可基于外部应用程序的一个或多个确定来接收将第一表示从第一位置移动到第二位置的请求,其中,基于一个或多个确定,接收将第一表示从第一位置移动到第二位置的请求。

在框506处,响应于接收到请求并且根据确定第二位置对应于多个使用语境中的第二使用语境(例如,第二使用语境与第一使用语境不同),系统经由电子设备的显示器在第二位置处、第二位置附近和/或与第二位置对应的表面上,显示基于第二使用语境和/或基于与虚拟对象相关联的一个或多个应用程序来显示虚拟对象的第二表示。在实施方案中,第二表示可与第一表示不同。例如,第二表示可具有不同的尺寸、形状、用户界面对象、功能、音频特性、表面材料等,和/或可被配置为具有与第一表示不同的和/或附加的操作。

在一些实施方案中,多个使用语境中的第二使用语境可包括当确定第二位置对应于电子设备(例如,计算机、膝上型电脑、平板电脑、电话、显示器、投影仪显示器)上的位置(例如,显示器、屏幕、电子设备的表面或壳体)时满足的使用语境。在一些实施方案中,根据确定第二位置对应于多个使用语境中的第二使用语境,作为基于第二使用语境显示虚拟对象的第二表示的一部分,系统在CGR环境内显示电子设备上的虚拟对象的2D表示。在一些实施方案中,虚拟对象的第二表示可以是电子设备上的2D表示。在一些实施方案中,第二表示可被移动(例如,拖动离开电子设备的显示器)到虚拟环境中与物理环境中的物理表面对应的位置。在一些实施方案中,2D应用程序可被操纵为电子设备上的3D应用程序。在一些实施方案中,多个使用语境中的第二使用语境可包括当确定第二位置对应于电子设备(例如,计算机、膝上型电脑、平板电脑、电话、显示器、投影仪显示器)上的位置时满足的使用语境。在这些实施方案中,根据确定第二位置对应于多个使用语境中的第二使用语境,基于第二使用语境显示虚拟对象的第二表示可包括在CGR环境内显示电子设备上的3D表示。在一些实施方案中,表示可根据电子设备的类型(例如,显示器(例如,监视器)、平板电脑、个人计算机、膝上型电脑)而改变。

在一些实施方案中,多个使用语境中的第二使用语境可包括在确定第二位置对应于竖直平面上的位置(例如,墙壁、对应于墙壁状结构的表面、建筑物侧面、卧室墙壁、栅栏等)时满足的使用语境。在一些实施方案中,根据确定第二位置对应于多个使用语境中的第二使用语境,作为基于第二使用语境显示虚拟对象的第二表示的一部分,系统在CGR环境内的垂直平面(例如,墙壁上)上显示2D表示。在一些实施方案中,虚拟对象的第二表示可以是电子设备上的2D表示。在一些实施方案中,显示在CGR环境内的竖直平面(例如,墙壁上)上的2D表示与显示在电子设备上的2D表示相比:可更大,可具有更多的视觉内容,可包括一个或多个附加(或不同)用户界面对象。在一些实施方案中,表示可根据竖直平面的类型(例如,建筑物的侧面、卧室墙壁、栅栏)和/或竖直平面的一个或多个特征(例如,虚拟的或物理的)而改变,诸如尺寸、形状(例如,圆形、矩形)、材料(例如,砖、木材、金属)、纹理(例如,粗糙的、磨损的)、颜色、不透明度等。

在一些实施方案中,第二表示的尺寸可基于电子设备的显示器与CGR环境内的竖直平面之间的距离。在一些实施方案中,2D表示可在竖直平面更靠近电子设备的显示器时较小,并且在竖直平面更远离电子设备的显示器时较大。在一些实施例中,在初始显示2D表示之后,随着用户移动更远离或更靠近2D表示,可保持2D表示的尺寸。在一些实施例中,在初始显示2D表示之后,随着用户移动更远离或更靠近2D表示,可改变2D表示的尺寸。在一些实施方案中,2D表示的尺寸可基于距离是否在某个类别(例如,距离的类别(例如,远距、近距、平均距离),其中,每个类别的距离对应于不同的尺寸表示(例如,超大、小、中等)。

在一些实施方案中,多个使用语境中的第二使用语境包括当确定第二位置对应于CGR环境内的水平平面上的位置(例如,桌面、桌子、工作台面、搁架、地板、升高的水平平面、在另一个水平平面上方的水平平面、不升高的水平平面等)时满足的使用语境。在一些实施方案中,根据确定第二位置对应于多个使用语境中的第二使用语境,作为基于第二使用语境显示虚拟对象的第二表示的一部分,系统可在CGR环境内的水平平面上显示3D表示。在一些实施方案中,虚拟对象的第二表示可以是水平平面上的3D表示。在一些实施方案中,表示可根据水平平面的类型(例如,桌面、桌子、工作台面、搁架)和/或水平平面的一个或多个特征(例如,虚拟或物理的)而改变,诸如尺寸、形状(例如,圆形、矩形)、材料(例如,砖、木材、金属)、纹理(例如,粗糙的、磨损的)、颜色、不透明度等。

在一些实施方案中,根据确定水平平面为第一类型的水平平面,3D表示可为第一尺寸的表示。在一些实施方案中,根据确定水平平面为第二类型的水平平面,3D表示可为与(例如,大于)第一尺寸不同的第二尺寸的表示。在实施方案中,第一类型的水平平面和第二类型的水平平面可选自可包括以下类型的水平平面:主要水平平面、水平平面的结构、地板、人行横道、草、草坪、一个或多个人站立的表面、非升高的水平平面、CGR环境内另一水平平面下方的水平平面等。

在一些实施方案中,CGR环境内的第一类型(例如,桌面、桌子、台面、搁架)的水平平面上显示的3D表示与第二类型(例如,地板、人行道、草、草坪、一个或多个人站立的表面)的水平平面上显示的3D表示相比可更大,可具有更多视觉内容,可包括一个或多个附加的(或不同的)用户界面对象。

在一些实施方案中,多个使用语境中的第二使用语境可以包括当满足最大化视图标准时满足的使用语境。例如,当基于应用程序可能正在运行的房间,基于第二位置(例如,虚拟对象被移动到或掉落的位置)、设备的用户的身体部位上的与被满足的最大化标准对应的位置(例如,手上的位置)、手势等来选择用户界面元素(例如,按钮、示能表示和/或任何其他交互式元素)时,可满足最大化的视图标准。在这些实施方案中,作为基于第二使用语境显示虚拟对象的第二表示的一部分,系统在CGR环境内的多个平面上显示虚拟对象的多个表示。在一些实施方案中,在CGR环境内的多个平面上显示虚拟对象的多个表示可包括改变物理环境和/或CGR环境的一个或多个方面以创建完全或部分沉浸式体验。例如,CGR环境内的房间(例如,物理或虚拟)在应用程序是呈现应用程序时,可被转变为虚拟会堂;在应用程序是体育观看应用程序(例如,幻想体育应用程序、现场体育应用程序)时转变为虚拟体育场所(例如,足球体育场);在购物应用程序等上购物时被转变为虚拟商店。在一些实施方案中,最大化视图可经由配套应用程序(例如,幻想运动应用程序、现场运动应用程序、购物应用程序、呈现应用程序等)显示。在一些实施方案中,配套应用程序可以对应于虚拟对象和/或可以是对应于虚拟对象的应用程序的配套应用程序。

在一些实施方案中,可显示与最大化视图示能表示对应的可选虚拟对象(例如,当前与虚拟对象的表示(诸如第一表示)一起显示的可选虚拟对象)。在一些实施方案中,最大化视图标准可包括当选择对应于最大化视图示能表示的可选虚拟对象(例如,在虚拟对象上的轻击或轻扫)时满足的标准。

在一些实施方案中,可以确定第二位置对应于多个使用语境中的第二使用语境。在一些实施方案中,第一表示可包括第一视觉内容(例如,文本、按钮、音频/视频、用户界面元素等的表示)。在一些实施方案中,第二表示可不包括第一视觉内容。

在一些实施方案中,可以确定第二位置对应于多个使用语境中的第二使用语境。在一些实施方案中,第一表示可包括以第三尺寸显示的第三视觉内容。在一些实施方案中,第二表示可包括以与(例如,文本、按钮、音频/视频、用户界面元素等的较大或较小表示)第三尺寸不同的第四尺寸显示的第三视觉内容。

在一些实施方案中,可以确定第二位置对应于多个使用语境中的第二使用语境。在一些实施方案中,第一表示可包括第一可选对象(例如,一个或多个可选用户界面元素)。在一些实施方案中,第二表示可不包括第一可选对象。

在一些实施方案中,可以确定第二位置对应于多个使用语境中的第二使用语境。在一些实施方案中,第一表示是第四尺寸。在一些实施方案中,第二表示是与第四尺寸不同(例如,更大或更小)的第五尺寸。

在一些实施方案中,作为基于第二使用语境显示虚拟对象的第二表示的一部分,当第一表示在距第二位置预定距离(例如,当第一表示到达第二位置时,在第二位置附近的距离)时,系统可以将第一表示的显示转变为第二表示的显示。在一些实施方案中,当第一表示从第一位置移动时,保持第一表示的显示,直到第一表示到达第二位置或在距第二位置特定距离内。

在一些实施方案中,根据确定第二位置对应于多个使用语境中的第四使用语境,其中,当第二位置对应于禁止位置(例如,虚拟对象对应的应用程序和/或一个或多个其他应用程序和/或系统禁止的位置)时,满足第四使用语境,系统放弃基于第四使用语境在CGR环境内显示虚拟对象的表示。在一些实施方案中,即使当第二位置对应于满足使用语境(例如,第二使用语境)但禁止显示不同使用语境的位置时,第一表示可以继续保持显示,因为禁止显示与第一表示不同的表示和/或禁止显示对应于使用语境(例如,第二使用语境)(该使用语境将满足但禁止显示不同的表示)的表示。

在一些实施方案中,根据确定第二位置对应于多个使用语境的第四使用语境,系统可在CGR环境内显示(例如,被显示以注意到对应于第四使用语境的表示不能被显示或被禁止的消息或符号)表示第二位置是禁止位置(例如,虚拟对象对应的应用程序和/或一个或多个其他应用程序和/或系统禁止的位置)的指示。

在框508处,响应于接收到请求并且根据确定第二位置对应于多个使用语境中的第三使用语境(例如,第三使用语境与第一使用语境和第二使用语境不同),系统可以经由电子设备的显示器在第二位置处(例如,在与第二位置对应的表面上)显示基于第三使用语境(和/或基于与虚拟对象相关联的一个或多个应用程序)的虚拟对象的第三表示,其中,第三表示与第一表示和第二表示不同。

本公开的各方面涉及以下系统和技术,该系统和技术提供用于控制CGR环境内虚拟对象的表示的同时显示的功能。在实施方案中,控制虚拟对象的表示的同时显示可包括在CGR环境的第一表面(例如,物理或虚拟表面)上显示第一表示,以及在CGR环境的与第一表面不同的第二表面上显示第二表示。在实施方案中,可提供控件以用于请求虚拟对象的第二表示与虚拟对象的第一表示同时显示。

图6A至图6C示出了根据本公开的各方面的用于控制CGR环境内虚拟对象的表示的同时显示的示例性技术。具体地讲,图6A示出了穿戴电子设备200的用户202,该电子设备被配置为允许用户202查看CGR环境290。如上所述,在一些实施方案中,电子设备200可类似于上文参考图1A和图1B所描述的电子设备100a。

如图6A所示,CGR环境290包括显示器640。如上所述,显示器640可以是物理显示器或显示器的虚拟表示。虚拟对象610的第一表示620可由电子设备200在CGR环境的第一表面处显示。例如,虚拟对象610的第一表示620可在显示器640上显示。在图6A所示的示例中,第一表示620是在显示器640上显示的2D表示。在实施方案中,第一表示620可在CGR环境290内的任何表面(例如,物理或虚拟)上显示。第一表示620可包括与虚拟对象相关联的各种图形元素。例如,如图所示,虚拟对象610与计算器应用程序相关联并且包括与计算器应用程序相关联的各种图形元素。应当理解,使用计算器应用程序来例示虚拟对象610是为了进行示意性的说明,并非旨在以任何方式进行限制。因此,虚拟对象610可与任何其他类型的应用程序(例如,日历、多媒体应用程序、呈现等)相关联。

在一些实施方案中,可提供用于请求显示虚拟对象610的第二表示的控件。用户(例如,用户202)可请求同时显示,并且该请求可由设备200接收。显示虚拟对象610的第二表示的请求可包括与第一表示620同时显示虚拟对象610的第二表示的请求。用于请求同时显示的控件可包括用于提供选择(例如,由用户202)的任何技术。例如,在一些实施方案中,用于请求同时显示的控件可包括CGR环境290内呈现的示能表示611。在一些实施方案中,示能表示611可设置在第一表示620内,或者可设置在第一表示620之外。在一些实施方案中,示能表示611可以是在CGR环境290内显示并被配置为允许用户(例如,用户202)进行交互的虚拟对象(例如,按钮、示能表示、用户界面元素、交互式元素等)。在其他实施方案中,示能表示611可以是在物理显示器上显示的图形元素(例如,而不是虚拟元素)。

在实施方案中,用于请求同时显示的控件可包括手势,该手势可包括将虚拟对象610移出或拖出显示器640。例如,用户202可执行手势(例如,使用附体、输入传感器等),其中,虚拟对象610可被拖出或移出显示器640。该拖动手势可被确定为将虚拟对象610的第二表示与第一表示620同时显示的请求。在一些实施方案中,用户202可将虚拟对象610拖动出显示器640,并且可继续将虚拟对象拖动到CGR环境290内要显示虚拟对象610的第二表示的位置。

在一些实施方案中,响应于接收到同时显示虚拟对象610的表示的请求,可在CGR环境290内显示虚拟对象610的第二表示。在实施方案中,同时显示虚拟对象610的表示的请求可导致动画,其中,虚拟对象610的第二表示出现(例如,弹出)第一表示620。这在图6B中示出。

图6C示出了响应于接收到同时显示虚拟对象610的表示的请求,在CGR环境290内显示的虚拟对象610的第二表示621。在实施方案中,第二表示621可在CGR环境290内的任何表面(例如,物理或虚拟)上显示。在实施方案中,第二表示621可与第一表示620分离或不同。例如,如图6C所示,第一表示620可以是显示器640上显示的虚拟对象610的2D表示,并且第二表示621可以是CGR环境290的第二且不同的表面上显示器640之外显示的虚拟对象610的3D表示。在一些实施方案中,对象(例如,特定应用程序内的对象或特定类型的应用程序(例如,计算器应用程序或密钥卡呈现应用程序、呈现应用程序、媒体或娱乐应用程序、生产率应用程序)的2D表示可与对象的3D表示同时显示。在一些实施方案中,3D表示可与或不与特定应用程序或特定类型的应用程序的3D表示一起显示。

在一些实施方案中,第一表示620和第二表示621尽管与相同的虚拟对象相关联,但可提供不同或相同的功能。例如,第一表示620和第二表示621可共享共用的一组UI元素。在该示例中,第一表示620可以是应用程序(例如,计算器)的2D表示,该应用程序包括用于与应用程序进行用户交互的一组特定UI元素。第二表示621可为应用程序(例如,计算器)的3D表示,该应用程序包括与第一表示620相同的用于用户交互的一组特定UI元素。然而,在一些实施方案中,第一表示620和第二表示621可具有不同组的UI元素。例如,第一表示620可包括一组特定的UI元素,而第二表示621可包括不同的一组UI元素。在实施例中,不同组UI元素中的一组UI元素可以包括另一组UI元素中不包括的至少一个UI元素。在其他实施例中,不同组的UI元素没有共同的UI元素。应当理解,通过提供不同的功能,同时显示虚拟对象的表示提供了改进的系统,因为系统可被配置为调整具有取决于表示类型的功能的虚拟对象的表示(例如,2D表示或3D表示)。

在一些实施方案中,虚拟对象的一个表示可以是虚拟表示,而虚拟对象的另一个表示可以不是虚拟表示。例如,显示器640可为物理显示器,并且第一表示620可为在物理显示器640上显示的虚拟对象610的图形表示。在这种情况下,第一表示620可以不是虚拟表示,因为第一表示620实际上显示在物理显示器上的真实世界中,并且由用户202经由电子设备200的透明或半透明显示器感知。在该示例中,第二表示621可以是虚拟对象610的虚拟表示,因为第二表示621实际上不在物理显示器上的真实世界中显示,而是在电子设备200的显示器上显示并叠加在真实世界物理显示器上。这样,可向用户提供通过与相同虚拟对象的2D表示中提供的控件进行交互来请求显示虚拟对象的3D表示的能力。在一些实施方案中,第一表示620和第二表示621均可为虚拟表示。

在实施方案中,对虚拟对象的一个表示的修改可选择性地导致对虚拟对象的另一个表示的修改。例如,当同时显示第一表示620和第二表示621时,可接收修改第一表示620的请求。在实施方案中,可(例如,从用户202)接收修改第一表示620的请求,例如修改尺寸、UI元素、形状、主题等。在实施方案中,修改第一表示620的请求(例如,用户输入)可导致对第二表示621(例如,尺寸、UI元素、形状、主题等)的对应修改。在各方面,第一表示620和第二表示621均可根据修改请求进行修改。在一些实施方案中,每当请求对第一表示621的修改时,对第二表示621进行对应的修改。在其他实施方案中,修改第一表示621的第一请求可导致对第二表示621的对应修改。然而,修改第一表示621的第二请求不会导致对第二表示621的对应修改。在这种情况下,当接收到修改第一表示620的第二请求时,放弃对第二表示621的修改。需注意,尽管前述讨论描述了基于修改第一表示620的请求选择性地修改第二表示621,但这是为了进行示意性的说明而不是作为限制。因此,可使用相同的技术基于修改第二表示621的请求来选择性地修改第一表示620。

图7是示出了用于控制CGR环境内虚拟对象的表示的同时显示的方法700的流程图。在一些实施方案中,方法700可由系统100或系统100的一部分执行。在一些实施方案中,方法700可由一个或多个外部系统和/或设备执行。在一些实施方案中,方法700可由系统100(或系统100的一部分)结合一个或多个外部系统和/或设备来执行。

在框702处,系统经由电子设备(例如,可穿戴电子设备、HMD设备等)的显示器在CGR环境的第一表面(和/或位置)处显示虚拟对象的2D表示。例如,可经由电子设备的第一显示器(例如,左眼显示面板)或第二显示器(例如,第二眼显示面板)在CGR环境内的显示器的表示上显示虚拟对象的第一表示。在一些实施方案中,第一表面可以是CGR环境内的虚拟表面。例如,第一表面可以是物理显示器的虚拟表示。在其他实施方案中,第一表面可以是CGR环境的真实世界物理表面。例如,第一表面可以是物理显示器的表面。虚拟对象的2D表示可为虚拟表示(例如,经由电子设备的半透明显示器叠加在第一表面上方的虚拟表示)或可为现实世界图形表示(例如,在现实世界物理显示器上显示的现实世界图形表示)。

在一些实施方案中,虚拟对象的2D表示可包括用于与虚拟对象进行用户交互的一组UI元素。在实施方案中,虚拟对象的2D表示还可包括用于请求同时显示虚拟对象的第二表示的至少一个控件。

在框704处,系统接收同时显示虚拟对象的3D表示与2D表示的请求。在实施方案中,同时显示的请求可包括用户输入。该请求可由用户使用与2D表示(例如,在2D表示内或在2D表示之外)一起显示的控制元素(例如,按钮、示能表示、用户界面元素、交互式元素等)来输入。例如,用户可选择控制元件,并且该选择可使得系统接收对同时显示的请求。

在一些实施方案中,同时显示2D表示和3D表示的请求可包括将2D表示移出或拖出第一表面的手势。例如,用户202可抓取、点击和/或以其他方式选择(例如,使用附体、输入设备、输入传感器等)在第一表面处显示的2D表示,并且可将2D表示移动或拖动远离第一表面。在一些方面,拖动手势可被确定为对同时显示的请求。

在实施方案中,同时显示虚拟对象的3D表示与2D表示的请求可使得播放动画,其中,3D表示被配置为从2D表示中出来(或弹出)。在实施方案中,动画可包括可在动画期间播放的声音。

在框706处,响应于同时显示的请求,系统经由电子设备的显示器同时显示CGR环境的第一表面处的2D表示和第二表面处的3D表示。在一些实施方案中,第二表面可与第一表面不同。在实施方案中,第二表面可以是虚拟表面,或者可以是CGR环境内的真实世界物理表面。例如,第二表面可以是书桌的物理真实世界表面,或者可以是物理书桌的表面的虚拟表示。

在实施方案中,可显示3D表示的第二表面可由用户输入确定。例如,用户可将2D表示从第一表面拖出并继续拖动到第二表面。这样,3D表示可显示在CGR环境内拖动手势停止的任何表面中。在其他具体实施中,例如,在2D表示中的控制元件用于请求同时显示的情况下,可预先确定第二表面。在一些具体实施中,用户可在请求同时显示之前指示要显示3D表示的表面。例如,用户可首先指示(例如,经由用户输入(例如,使用可包括鼠标、触笔、触敏表面、图像传感器(例如,以执行手部跟踪)等的输入传感器检测到的用户输入))CGR环境内除了第一表面之外的表面。在请求同时显示时,3D表示可显示在由用户指示的表面处。

在一些实施方案中,虚拟对象的3D表示可包括用于用户交互的一组UI元素。在实施方案中,3D表示的这组UI元素可不同于2D表示的这组UI元素。例如,一组UI元素可包括另一组UI元素中不包括的UI元素。

本公开的各方面涉及以下系统和技术,该系统和技术提供用于基于输入机构的特征控制虚拟对象的表示的功能。在实施方案中,虚拟对象的表示可基于输入机构相对于虚拟对象的特性(例如,输入机构的移动方向、距离、手势类型等)。例如,在实施方案中,可根据与虚拟对象相关联的输入机构是否在距虚拟对象的第一表示的预定距离内来修改或保持虚拟对象的表示。在其他实施方案中,例如,可根据确定与虚拟对象相关联的输入机构是否朝向或远离虚拟对象的第一表示移动来修改或保持虚拟对象的表示。在其他实施方案中,例如,可根据是否确定与输入机构相关联的手势来修改或保持虚拟对象的表示,以指示用户与虚拟对象的第一表示进行交互的可能性。应当理解,由本文所描述的系统和技术提供的功能提供了有利的系统,其中,虚拟对象的表示可适于输入机构的特性,从而提供改进的用户界面。

图8A和图8B示出了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的示例性技术。具体地讲,图8A示出了CGR环境890,包括输入机构800和虚拟对象810。在实施方案中,CGR环境890可呈现给佩戴被配置为允许用户202查看CGR环境890的电子设备(例如,电子设备200)的用户(例如,用户202)。如上所述,在一些实施方案中,电子设备200可类似于上文参考图1A和图1B所描述的电子设备100a。

如图8A所示,虚拟对象的第一表示810可通过电子设备200显示。在实施方案中,第一表示810可为虚拟对象的3D表示,并且虚拟对象可与特定应用程序相关联。例如,如图8A所示,第一表示810可与计算器应用程序相关联。应当理解,使用特定应用程序(例如,计算器应用程序)来例示第一表示810和虚拟对象的其他表示是为了进行示意性的说明,并且不旨在以任何方式进行限制。因此,第一表示810可与任何类型的应用程序(例如,日历、多媒体应用程序、呈现等)相关联。

在实施方案中,第一表示810可被配置为有利于用户与第一表示810之间的非直接交互。如本文所用,非直接交互可指不直接操纵虚拟对象的表示的元素的与虚拟对象的表示的用户交互。非直接交互的非限制性示例可以是用户感知由虚拟对象的表示的用户界面(UI)元素提供的信息,而无需用户直接操纵UI元素。相比之下,如本文所用,直接交互可指与虚拟对象的表示的用户交互,其中,虚拟对象表示的表示的UI元素可由用户直接操纵。例如,用户可按下按钮,可与交互式元素进行交互,可点击可选项目和/或示能表示等。

第一表示810可包括UI元素811和815。在实施方案中,UI元素815可表示被配置为提供(例如,输出)与由第一表示810表示的虚拟对象相关联的信息的至少一个UI元素。例如,UI元素815可以是第一表示810的显示。因此,UI元素815可被配置用于非直接交互,使得用户可感知输出而无需直接操纵UI元素815。UI元素811可表示可被配置为促进用户交互(例如,直接交互或非直接交互)的配置的至少一个UI元素。例如,UI元素811可为按钮、示能表示、用户界面元素、交互式元素等和/或它们的任何组合。当UI元素811被配置为促进直接交互时,用户可选择、点击、选择和/或以其他方式操纵UI元素811。在一些实施例中,UI元素811可被配置为通过将UI元素显示为3D元素来促进非直接交互。在这种情况下,用户可将UI元素811感知为3D元素。

在实施方案中,输入机构800可包括被配置为促进与虚拟对象的表示进行交互的机构。例如,输入机构可包括供用户(例如,用户202)操纵虚拟对象的表示的至少一个元素或感知由虚拟对象的表示的元素提供的数据的机构。在实施方案中,输入机构800可包括用户的附体的表示(例如,手指、手、腿、脚等)、用户的注视(例如,头部注视、眼睛注视等)、输入设备(例如,鼠标、触笔等)(例如,与电子设备不同、与电子设备可操作地通信、物理连接到电子设备(例如,电子设备的一部分))等。在实施方案中,用户的附体的表示可包括附体的虚拟表示和/或可包括表示CGR环境内的附体的特征(例如,地点、取向、距特定点的距离等)的数据。在各方面,可使用被配置为执行手部跟踪、头部注视跟踪、眼睛注视跟踪、手指跟踪等的输入传感器(例如,触敏表面、图像传感器等)来检测输入机构800。如图8A所示,输入机构可包括用户的附体(例如手指)。

如图8A所示并且如上所述,第一表示810可显示在CGR环境890内,并且第一表示810可被配置为促进用户的非直接交互而不是直接交互(例如,通过提供被配置用于非直接交互的UI元素811和815)。同样如图8A所示,输入机构800可以位于距第一表示810距离831的当前位置处。在一些实施方案中,可提供距第一表示810的预定距离830,但在一些具体实施中,CGR环境890内可不示出预定距离830。预定距离830可被配置为作为阈值操作,使得当输入机构的当前位置不在距第一表示810的预定距离830内时,可保持第一表示810的显示。例如,由于距离831可被确定为大于预定距离830,因此输入机构800的当前位置可被确定为不在距第一表示810的预定距离830内。

在实施方案中,是否可修改或保持对第一表示810的显示可基于输入机构800的特征。在一些实施方案中,输入机构800的特征可包括移动方向、到虚拟对象的表示的距离、手势类型等。根据确定输入机构800的当前位置不在距第一表示810的预定距离830内,可保持第一表示810的显示而不显示虚拟对象的另一表示。相反,如下所述,并且如图8B所示的示例所示,根据确定输入机构800的当前位置在距第一表示810的预定距离830内,可修改第一表示810的显示,并且可显示虚拟对象的第二表示。在各方面,虚拟对象的第二表示可与第一表示810不同。

在一些实施方案中,可响应于检测到输入机构800的移动来执行确定输入机构800的位置是否在距第一表示810的预定距离830内。在这些情况下,如果没有检测到输入机构800的移动,则可以不执行对输入机构800的位置是否在距第一表示810的预定距离830内的确定。在一些实施方案中,当确定检测到的移动朝向第一表示810时,可执行对输入机构800的位置是否在距第一表示810的预定距离830内的确定。在这些情况下,如果确定输入机构800的移动远离第一表示810,则即使可以检测到输入机构800的移动,也可以不执行对输入机构800的位置是否在距第一表示810的预定距离830内的确定。

在一些具体实施中,响应于确定输入机构800不在距要显示第一表示810的位置的预定距离830内,第一表示810最初可显示在CGR环境890内。例如,可确定初始在CGR环境890内的第一位置处显示虚拟对象的表示。在该示例中,虚拟对象的第一表示可被配置用于非直接交互。此外,在该示例中,CGR环境890可不包括第一位置处的虚拟对象的任何表示,但在一些情况下,虚拟对象的至少一个其他表示可显示在CGR环境890内的另一个位置处。响应于确定在CGR环境890内的第一位置处初始显示虚拟对象的表示,可确定输入机构800的当前位置是否在距第一位置的预定距离830内。如果确定输入机构800的当前位置不在距第一位置的预定距离830内,则可在第一位置处显示第一表示(例如,第一表示810)。在一些实施方案中,如果确定输入机构800的当前位置在距第一位置的预定距离830内,则可在第一位置处显示被配置用于直接交互的第二表示(例如,下文描述的第二表示820)。

如图8B所示,输入机构800可以从先前位置(例如,如图8A所示)移动(例如,在方向833上)到具有到第一表示810的距离832的当前位置。可(例如,使用如上所述的输入传感器)检测从先前位置到当前位置的移动。响应于检测到输入机构800从先前位置到当前位置的移动,可以确定输入机构800到第一表示810的当前位置是否可以在预定距离830内。例如,可以将从输入机构800的当前位置到第一表示810的距离832与预定距离830进行比较。根据确定距离832大于预定距离830,可确定输入机构800的当前位置不在距第一表示810的预定距离830内。相反,根据确定距离832不大于预定距离830,可确定输入机构800的当前位置在距第一表示810的预定距离830内。

在实施方案中,根据确定输入机构800的当前位置在距第一表示810的预定距离830内,可修改第一表示810的显示。在实施方案中,修改第一表示810的显示可包括停止显示第一表示810和显示第二表示820,其中,第二表示820可与第一表示810不同。在一些实施方案中,第二表示820可显示在显示第一表示810的相同位置处和/或相同表面上。

在实施方案中,第二表示820可被配置用于用户(例如,用户202)和第二表示820(例如,第二表示820的元素)之间的直接交互。例如,如图8A所示,虽然第一表示810包括被配置用于非直接交互的UI元素811(例如,被显示为突出3D UI元素的UI元素),但是第二表示820可包括被配置用于直接交互的UI元素821。在该示例中,UI元素821可包括被显示为平坦的按钮或2D元素的至少一个UI元素,其中,平坦的按钮可能不从第二表示820突出。应当理解,在物理桌子上(例如,在与物理桌子相同的平面上)显示的平坦的2D UI元素(例如,2D按钮)可更易于在用户操纵2D元素时提供物理反馈。例如,当用户操纵2D元素时,用户接收由虚拟2D元素I在其上显示的物理桌子提供的反馈。此外,显示被配置用于直接交互的第二表示820还可以鼓励用户(例如,用户202)与第二表示820进行交互。

在一些实施方案中,修改第一表示810(其可包括显示第二表示820)可包括以动画方式显示修改。例如,第一表示810和第二表示820之间的差异之一可以是第一表示810的UI元素811被显示为突出的3D UI元素,并且第二表示820的UI元素821被显示为平坦的2D UI元素。在该示例中,第一表示810的修改可包括以动画方式显示UI元素,使得第一表示810的突出的3D UI元素被呈现为后退到第二表示820的平坦的2D UI元素中。在实施方案中,动画还可包括可在动画发生时播放的声音。

在另一个实施方案中,修改虚拟对象的第一表示可包括将第一表示移动到更靠近用户(例如,用户202)的位置。例如,基于输入机构800的特征(例如,输入机构800的当前位置在距第一表示(例如,第一表示810)的当前位置的预定距离(例如,预定距离830)内),可显示虚拟对象的第二表示。在实施方案中,虚拟对象的第二表示可与第一表示相同,但在比第一表示的当前位置更靠近用户的位置中。在一些实施方案中,例如,根据以上描述,在新位置处显示的第二表示可以是第一表示的不同表示。

在另外的实施方案中,确定修改或保持第一表示810可基于的输入机构的特征可包括确定输入机构800的移动方向是朝向还是远离第一表示810。例如,如图8B所示,输入机构800可以在方向833上移动,该方向是朝向第一表示810的方向。在这种情况下,根据确定输入机构800的移动方向是朝向第一表示810,可以修改第一表示810的显示,并且可以显示虚拟对象的第二表示(例如,被配置为促进用户的直接交互的第二表示820)。相反,根据确定输入机构800的移动方向远离第一表示810,可保持第一表示810的显示,而不显示虚拟对象的另一表示(例如,第二表示820)。在各方面,虚拟对象的第二表示可不同于第一表示810。

在另外的实施方案中,其上确定修改或保持第一表示810的输入机构的特征可包括确定输入机构800是否已作出特定类型的手势。在各方面,特定类型的手势可以是可指示用于直接用户交互的可能性的手势。例如,如图8B所示,输入机构800可以是指点手。在实施方案中,可认为指点手是指示用户交互的可能性的手势的类型。应当理解,期望使用手指与虚拟对象(诸如用UI元素表示的用于用户输入的虚拟对象)进行交互的用户可通过使他或她的手形成手指指向外的指点手来这样做。在这种意义上,指点手可指示用户打算或期望与虚拟对象进行交互。因此,当确定输入机构已经做出指示用户交互(例如,指点手、抓取手等)的可能性的手势时,可以确定将被配置用于非直接交互的当前表示(例如,第一表示810)修改为被配置用于直接交互的表示(例如,第二表示820)。在各方面,将被配置用于非直接交互的当前表示修改为被配置用于直接交互的表示可根据前述描述。

在另一个示例中,保持显示被配置用于非直接交互的第一表示810的确定可基于不指示用户交互的可能性的手势。例如,可检测手势,该手势可包括用户(例如,用户202)跨越他或她的手臂和/或倾回。在这种情况下,可以认为手势是不指示用户交互的可能性的手势类型。因此,当确定用户已经跨越他或她的手臂和/或已经倾回时,可以确定保持被配置用于非直接交互的当前表示(例如,第一表示810),而不显示被配置用于直接交互的表示(例如,第二表示820)。在一些实施方案中,检测不指示用户交互的可能性的手势可导致确定将被配置用于直接交互的当前表示(例如,第二表示820)修改为被配置用于非直接交互的表示(例如,第一表示810)。

需注意,尽管前述示例和随后的示例可集中于对被配置用于非直接交互的虚拟对象的表示到被配置用于直接交互的虚拟对象的表示中的修改的描述,但这是为了进行示意性的说明而进行的,并非旨在以任何方式进行限制。在一些实施方案中,可基于输入机构的特征将被配置用于直接交互的虚拟对象的表示修改为被配置用于非直接交互的虚拟对象的表示。例如,在一些具体实施中,基于检测到的输入机构的移动、基于输入机构的特征(例如,根据确定输入机构的位置不在距被配置用于直接交互的表示(例如,第一表示810)的预定距离内),可修改被配置用于直接交互的表示(例如,上述第一表示810)的显示,以显示被配置用于非直接交互的表示(例如,上述第二表示820)。因此,本公开提供了用于基于输入机构的特征选择性地且动态地配置虚拟对象增强的交互(例如,直接或非直接)的表示的技术。因此,当基于输入机构的特征更有利时,虚拟对象的表示可被配置用于直接或非直接交互。

另外,尽管前述讨论将第二表示820描述为被配置用于与平坦的2D UI元素直接交互,但应当理解,这是为了进行示意性的说明而不是作为限制。应当理解,虚拟对象的表示可被配置用于通过其他方法(例如,取向、尺寸、角度、形状、颜色、亮度、语言、位置、距离、方向等)进行直接交互。例如,在实施方案中,基于输入机构的特征(例如,根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内),可以修改第一表示的显示,并且修改可以包括显示与第一表示不同的第二表示。在这些实施方案中,第二表示可包括与第一表示不同的取向、尺寸、角度、形状、颜色、亮度、语言、位置、距离、方向等,其中,修改可被配置为允许、鼓励、启用和/或以其他方式促进与虚拟对象的第二表示的直接交互。下文将更详细地描述这些实施方案中的一些实施方案。

图9A和图9B示出了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的另一示例。如图9A所示,虚拟对象的第一表示910可经由电子设备200的显示器来显示。在实施方案中,第一表示910可为虚拟对象的3D表示,并且虚拟对象可与特定应用程序程序(例如,日历、多媒体应用程序、呈现等)相关联,如上所述。在图9A所示的示例中,第一表示910可与计算器应用程序相关联。

在实施方案中,第一表示910可被配置为促进与相关联的虚拟对象的非直接交互。例如,第一表示910可包括UI元素911和915。在实施方案中,UI元素915可表示被配置为提供(例如,输出)与由第一表示910表示的虚拟对象相关联的信息的至少一个UI元素。例如,UI元素915可以是第一表示910的显示器(例如,虚拟显示器)。在这种情况下,第一表示910可被配置为通过以有利于用户(例如,用户202)与UI元素915进行非直接交互的取向进行显示来促进用户的非直接交互。例如,第一表示910可以包括角度912的取向显示。在实施方案中,角度912可以是被配置为将第一表示910放置在使得用户能够看到、听到或以其他方式感知UI元素915的取向的角度。这样,角度912促进用户与UI元素915的非直接交互。在实施方案中,可相对于其上显示第一表示910的表面(例如,表面916)测量角度912。

在实施方案中,可基于用户的位置来确定可显示第一表示910的取向。例如,可确定用户的注视(例如,头部注视和/或眼睛注视)(例如,通过检测用户的头部和/或眼睛的位置,然后确定用户的注视),然后,所确定的用户的注视可用于确定要显示第一表示910的取向,使得被配置用于非直接交互的UI元素(例如,UI元素915)面向用户的注视。

在实施方案中,第一表示910的UI元素911可被配置用于非直接交互。在这种情况下,UI元素811可显示为突出按钮,或显示为3D元素,其中,平坦的按钮可不从第一表示910突出。这样,UI元素911(如图9A所示)未被配置用于直接交互。

如图9A所示,并且如上所述,第一表示910可被配置为促进用户的非直接交互而不是直接交互(例如,通过提供突出的3D UI元素911并且通过以角度912对第一表示910进行取向)。同样如图9A所示,输入机构800可以位于距第一表示910距离931的当前位置处。在一些实施方案中,可提供距第一表示910的预定距离930。

在实施方案中,根据确定输入机构800的当前位置不在距第一表示910的预定距离930内,可保持第一表示910的显示。例如,可继续显示被配置用于非直接交互的第一表示910,而不显示虚拟对象的另一表示和/或不改变第一表示910。相反,如下所述,根据确定输入机构800的当前位置在距第一表示910的预定距离930内,可修改第一表示910的显示并且可显示虚拟对象的第二表示。在各方面,虚拟对象的第二表示可不同于第一表示910。

如图9B所示,输入机构800可以从先前位置(例如,如图9A所示)移动(例如,在方向933上)到具有到第一表示910的距离932的当前位置。可(例如,使用如上所述的输入传感器)检测从先前位置到当前位置的移动。响应于检测到输入机构800从先前位置到当前位置的移动,可以确定输入机构800到第一表示910的当前位置是否可以在预定距离930内。例如,可以将从输入机构800的当前位置到第一表示910的距离932与预定距离930进行比较。根据确定距离932大于预定距离930,可确定输入机构800的当前位置不在距第一表示910的预定距离930内。相反,根据确定距离932不大于预定距离930,可确定输入机构800的当前位置在距第一表示910的预定距离930内。

在实施方案中,根据确定输入机构800的当前位置在距第一表示910的预定距离930内,可修改第一表示910的显示。在实施方案中,修改第一表示910的显示可包括停止显示第一表示910和显示第二表示920,其中,第二表示920可与第一表示910不同。在一些实施方案中,第二表示920可显示在显示第一表示910的相同位置处和/或相同表面上。

在实施方案中,第二表示920可被配置为促进用户(例如,用户202)与相关联的虚拟对象的直接交互。例如,虽然第一表示910以具有角度912的取向被显示,这有利于用户能够感知(例如,看到、听到等)由UI元素915提供的信息(例如,非直接交互),第二表示920可以有利于用户与第二表示920的UI元素(例如,UI元素921)直接交互(例如,直接操纵、选择、点击、拖动和/或以其他方式选择)的取向来显示。例如,第二表示920可以与表面916纵向的取向显示在CGR环境890内。因此,第二表示920可被显示为平放在表面916上。应当理解,平坦的表面可比成角度表面更容易与之相互作用。因此,通过将虚拟对象的表示从成角度取向修改为平坦的取向,或反之亦然,虚拟对象的表示选择性地适于基于输入机构的特征来增强直接交互。在一些实施方案中,第二表示920可以相对于表面916具有与角度912不同的非零角度的取向显示。

此外,虽然第一表示910包括被配置用于非直接交互的UI元素911,如图9A所示(例如,被显示为突出3D UI元素的UI元素,其中,突出的3D UI元素可从第一表示910突出(或弹出)),但是第二表示920可包括被配置用于直接交互的UI元素921,如前所述。例如,UI元素921可包括被显示为在物理对象上显示的平坦的2D UI元素的至少一个UI元素,这在用户操纵2D UI元素时促进物理反馈。

在一些实施方案中,修改第一表示910(其可包括显示第二表示920)可包括以动画方式显示修改。例如,第一表示910的修改可包括以动画方式显示第一表示910的取向变化,使得第一表示910被显示为从当前取向(例如,以角度912成角度)移动到第二表示920的取向(例如,平坦地在表面916上)。除此之外或另选地,第一表示910的修改可包括以动画方式显示UI元素,使得第一表示910的突出的3D UI元素被呈现为后退到第二表示920的平坦的2D UI元素中。在实施方案中,动画还可包括可在动画发生时播放的声音。

图10A和图10B示出了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的另一示例。具体地讲,图10A和图10B示出了一个示例,其中,基于输入机构的特征修改虚拟对象的表示,并且其中,修改包括添加用于用户交互的UI元素并改变表示的尺寸。

如图10A所示,虚拟对象的第一表示1010可经由电子设备200的显示器来显示。在实施方案中,第一表示1010可为虚拟对象的3D表示,并且虚拟对象可与特定应用程序程序(例如,日历、多媒体应用程序、呈现等)相关联,如上所述。在图10A所示的示例中,第一表示1010可与计算器应用程序相关联。

在实施方案中,第一表示1010可被配置为促进与相关联的虚拟对象的非直接交互。例如,第一表示910可包括UI元素1012。UI元素1012可表示被配置为提供(例如,输出)与由第一表示1010表示的虚拟对象相关联的信息的至少一个UI元素。例如,UI元素1012可以是第一表示1010的显示器(例如,虚拟显示器)。在一些实施方案中,第一表示1010可具有尺寸。在一些实施方案中,第一表示1010可不包括被配置用于用户输入的任何UI元素(例如,按钮、示能表示、用户界面元素、交互式元素等)。

如图10A所示并且如上所述,第一表示1010可显示在CGR环境890内,并且第一表示1010可被配置为促进用户的非直接交互而不是直接交互。同样如图10A所示,输入机构800可以位于距第一表示1010距离1031的当前位置处。在一些实施方案中,可提供距第一表示1010的预定距离1030。

在实施方案中,根据确定输入机构800的当前位置不在距第一表示1010的预定距离1030内,可保持第一表示1010的显示。例如,可继续显示被配置用于非直接交互的第一表示1010,而不显示虚拟对象的另一表示和/或不改变第一表示1010。相反,如下所述,根据确定输入机构800的当前位置在距第一表示1010的预定距离1030内,可修改第一表示1010的显示并且可显示虚拟对象的第二表示。在各方面,虚拟对象的第二表示可不同于第一表示1010。

如图10B所示,输入机构800可以从先前位置(例如,如图9A所示)移动到具有到第一表示1010的距离1030的当前位置。可(例如,使用如上所述的输入传感器)检测从先前位置到当前位置的移动。响应于检测到输入机构800从先前位置到当前位置的移动,可以确定输入机构800到第一表示1010的当前位置是否可以在预定距离1030内。根据确定输入机构800的当前位置在距第一表示1010的预定距离1030内,可修改第一表示1010的显示。在实施方案中,修改第一表示1010的显示可包括停止显示第一表示1010和显示第二表示1020,其中,第二表示1020可与第一表示1010不同。在一些实施方案中,第二表示1020可显示在显示第一表示1020的相同位置处和/或相同表面上。

在实施方案中,第二表示1020可被配置为促进用户(例如,用户202)与相关联的虚拟对象的直接交互。例如,虽然第一表示1010可不包括被配置用于用户输入的UI元素911,但是第二表示1020可包括被配置用于用户交互的UI元素1021,如前所述。例如,UI元素1021可包括被显示为平坦的2D UI元素的至少一个UI元素。

此外,第二表示1020可被显示为具有与第一表示1010的尺寸不同的尺寸。例如,第二表示1020可以大于第一表示1010的尺寸的尺寸显示。在一些实施方案中,第二表示1020可以小于第一表示1010的尺寸的尺寸显示。

如前所述,在一些实施方案中,修改第一表示1010(其可包括显示第二表示1020)可包括以动画方式显示修改。例如,第一表示1010的修改可包括以动画方式显示第一表示1010的尺寸变化,使得第一表示1010被显示为视情况从当前尺寸增大或收缩到第二表示1020的尺寸。除此之外或另选地,第一表示1010的修改可包括以动画方式显示UI元素,使得第一表示910的突出的3D UI元素被呈现为后退到第二表示920的平坦的2D UI元素中。在实施方案中,动画还可包括可在动画发生时播放的声音。

图11A和图11B示出了根据本公开的各方面的用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的技术的另一示例。具体地讲,图11A和图11B示出了基于输入机构的特征(例如,用户的注视)修改虚拟对象的表示的示例。

如图11A所示,虚拟对象的第一表示1110可经由电子设备200的显示器来显示。在实施方案中,第一表示1110可为虚拟对象的表示,并且虚拟对象可与特定应用程序程序(例如,日历、多媒体应用程序、呈现等)相关联,如上所述。在图11A所示的示例中,第一表示1110可与日历应用程序相关联。

在实施方案中,第一表示1110可具有尺寸并且可显示在位置1152处。在实施方案中,第一表示1110可不被配置用于用户交互,无论是直接交互还是非直接交互。例如,第一表示1110的尺寸可以是小尺寸,并且小尺寸可能无法使用户感知到来自第一表示1110的任何UI元素的任何信息或与该第一表示的任何UI元素交互。在一些实施方案中,第一表示1110可不包括任何UI元素。

如图11A所示,可检测到穿戴电子设备200的用户202的注视1150。在各方面,所检测到的注视1150可以是头部注视(例如,用户头部所面向的方向)、眼睛注视(例如,用户眼睛所观看的方向)、它们的组合等。用户202的注视1150可以被确定为被聚焦、放置或以其他方式指向位置1151,该位置可以与显示第一表示1110的位置1152不同。在各方面,根据确定注视1150指向与第一表示1110的位置不同的位置,可以保持在当前位置处并且具有尺寸的第一表示1110的显示,而不显示虚拟对象的另一表示和/或不对第一表示1110作出任何改变。

图11B示出了用户202的注视1150已经改变为与指向位置1151的方向不同的方向。在实施方案中,可(例如,经由输入传感器)检测注视的变化。响应于所检测到的用户注视变化,可确定注视的新方向的方向。例如,可确定注视1150的新方向可指向位置1152。位置1152可以是显示第一表示1110的位置。在实施方案中,根据确定注视1150指向与第一表示1110的位置相同的位置,可修改第一表示1110的显示。

在一些实施例中,根据确定注视1150指向与第一表示1110的位置相同的位置来确定修改第一表示1110的显示可包括确定注视1150已经保持指向与第一表示1110的位置相同的位置至少预定时间段。当确定注视1150已经保持指向与第一表示1110的位置相同的位置持续小于预定时间段的时间段时(例如,在预定时间段到期之前,注视1150的方向移动到不同的方向),第一表示1110的显示可不被修改,而是可在不显示虚拟对象的另一表示和/或不对第一表示1110进行任何改变的情况下被保持。当确定注视1150在至少与预定时间段相同的时间段内保持指向与第一表示1110的位置相同的位置时(例如,在预定时间段到期之前,注视1150的方向没有移动到不同的方向),可修改第一表示1110的显示。

在实施方案中,修改第一表示1110的显示可包括停止显示第一表示1110和显示第二表示1120,其中,第二表示1120可与第一表示1110不同。在一些实施方案中,第二表示1120可显示在显示第一表示1120的相同位置处和/或相同表面上。

在实施方案中,第二表示1120可与第一表示1110不同,并且第二表示1120可被配置为能够有利于用户(例如,用户202)的交互。例如,第二表示1120可被配置为包括UI元素1112。UI元素1112可包括被配置用于用户交互的至少一个UI元素,诸如显示器。在一些实施方案中,第二表示1120可另选地或除此之外具有与第一表示1110的尺寸不同的尺寸。例如,第二表示1120的尺寸可大于或小于第一表示1110的尺寸。在实施方案中,第二表示1120的尺寸可基于第二表示1120的位置(例如,位置1152)与用户的头部和/或眼睛的位置(例如,位置1153)之间的距离。

在一些实施方案中,第二表示1120可被配置用于非直接交互,但可不被配置用于直接交互。例如,第二表示1120可不包括被配置用于与用户直接交互的任何UI元素(例如,按钮、示能表示、用户界面元素、交互式元素等)。在这种情况下,上文相对于图8A、图8B、图9A、图9B、图10A和图10B所描述的技术可用于基于根据本文公开的输入机构的特征(例如,附体、鼠标、触笔等的表示)将第二表示1120选择性地修改为用于直接交互的配置。这样,可基于输入机构的特征(例如,用户的注视)将虚拟对象的表示从非交互配置选择性地且动态地修改为非直接交互配置然后,可基于输入机构的另一特征或基于另一输入机构的特征(例如,附体、输入设备等的表示)将其从非直接交互配置进一步修改为直接交互配置。

图12A和图12B示出了另一个示例,其中,CGR环境内的虚拟对象的表示基于用户的注视进行修改。具体地讲,图12A示出了穿戴电子设备200的用户202,该电子设备被配置为允许用户202查看CGR环境890。如图12A所示,虚拟对象的第一表示1210可经由电子设备200的显示器在位置1251处以特定尺寸显示。在各方面,位置1251可在CGR环境890的墙壁上。在实施方案中,第一表示1210可为虚拟对象的表示,并且虚拟对象可与特定应用程序程序(例如,日历、多媒体应用程序、呈现等)相关联,如上所述。在图12A所示的示例中,第一表示1210可与日历应用程序相关联。在实施方案中,第一表示1210可不被配置用于用户交互,无论是直接交互还是非直接交互。例如,第一表示1210的尺寸可以是小尺寸,并且小尺寸可能无法使用户感知到来自第一表示1210的任何UI元素的任何信息或与该第一表示的任何UI元素交互。

如图12A所示,可以确定用户202的注视1250指向位置1252,该位置可以与显示第一表示1210的位置1251不同。在各方面,根据确定注视1250指向与第一表示1210的位置不同的位置,可以保持第一表示1210的显示,而不显示虚拟对象的另一表示和/或不对第一表示1210作出任何改变。

图12B示出了用户202的注视1250已经改变为与指向位置1252的方向不同的方向。在实施方案中,可(例如,经由输入传感器)检测注视的变化。响应于所检测到的用户注视变化,可确定注视的新方向的方向。例如,可确定注视1250的新方向可指向位置1251。位置1251是显示第一表示1210的位置。在实施方案中,根据确定注视1250指向与第一表示1210的位置相同的位置,可修改第一表示1210的显示。例如,可停止显示第一表示1210,并且可显示第二表示1220,其中,第二表示1220可与第一表示1210不同。在一些实施方案中,第二表示1220可显示在显示第一表示1210的相同位置处和/或相同表面上。

在实施方案中,第二表示1220可被配置为包括UI元素1221。UI元素1221可包括被配置用于用户交互的至少一个UI元素,诸如显示器。在一些实施方案中,第二表示1220可另选地或除此之外具有与第一表示1210的尺寸不同的尺寸。例如,第二表示1220的尺寸可大于或小于第一表示1210的尺寸。在实施方案中,第二表示1220的尺寸可基于第二表示1220的位置(例如位置1251)与用户的头部和/或眼睛的位置之间的距离。在一些实施方案中,第二表示1120可被配置用于非直接交互,但可不被配置用于直接交互。例如,第二表示1120可不包括被配置用于与用户直接交互的任何UI元素(例如,按钮、示能表示、用户界面元素、交互式元素等)。

在一些实施例中,根据确定注视1250指向与第一表示1210的位置相同的位置来确定修改第一表示1210的显示可包括确定注视1250已经保持指向与第一表示1210的位置相同的位置至少预定时间段,如参考图11A和图11B所描述。

如前所述,在实施方案中,修改第一表示(其可包括显示第二表示)可包括以动画方式显示修改。例如,第一表示的修改可包括以动画方式显示第一表示的尺寸变化,使得第一表示被显示为视情况从当前尺寸增大或收缩到第二表示的尺寸。除此之外或另选地,第一表示的修改可包括以动画方式显示第一表示的UI元素,使得UI元素被呈现为后退到第一表示中。在实施方案中,动画还可包括可在动画发生时播放的声音。

需注意,在实施方案中,本文所描述技术的具体实施可包括上述特征和功能的任何组合。例如,虚拟对象的表示可被修改为具有不同尺寸、不同UI元素、不同类型的UI元素(例如,平坦UI元素、突出UI元素等)、不同取向、不同位置、不同形状、不同亮度等中的任一者和/或它们的任何组合。

图13是示出用于基于输入机构的特征来控制CGR环境内的虚拟对象的表示的方法1300的流程图。在一些实施方案中,方法1300可由系统100或系统100的一部分执行。在一些实施方案中,方法1300可由一个或多个外部系统和/或设备执行。在一些实施方案中,方法1300可由系统100(或系统100的一部分)结合一个或多个外部系统和/或设备来执行。

在框1302处,系统经由电子设备(例如,可穿戴电子设备、HMD设备等)的显示器在CGR环境内显示虚拟对象的第一表示。例如,可经由电子设备的第一显示器(例如,左眼显示面板)或第二显示器(例如,第二眼显示面板)在CGR环境内的显示器的表示上显示虚拟对象的第一表示。在实施方案中,虚拟对象的第一表示可以是虚拟表示(例如,经由电子设备的半透明显示器叠加在CGR环境的第一表面上的虚拟表示)。

在实施方案中,虚拟对象的第一表示可被配置为促进与虚拟对象的非直接交互。例如,虚拟对象的第一表示可包括被配置用于非直接交互的UI元素中的至少一个UI元素,使得用户可感知到与UI元素的交互而无需直接操纵UI元素(例如,被配置用于输出的UI元素)。

在实施方案中,虚拟对象的第一表示可包括可被配置为促进非直接交互但未被配置为直接交互的UI元素中的至少一个UI元素(例如,UI元素可被显示为突出3D UI元素)。例如,UI元素可包括按钮、示能表示、用户界面元素、交互式元素等和/或它们的任何组合。当UI元素被配置为促进直接交互时,用户可选择、点击、选择和/或以其他方式操纵UI元素。

在实施方案中,可检测输入机构的移动。输入机构可包括被配置为促进与虚拟对象进行交互的机构。例如,输入机构可包括供用户操纵虚拟对象的表示的至少一个元素或感知由虚拟对象提供的数据的机构。在实施方案中,输入机构可包括用户的附体的表示(例如,手指、手、腿、脚等)、用户的注视(例如,头部注视、眼睛注视等)、输入设备(例如,鼠标、触笔等)等。在实施方案中,用户的附体的表示可包括附体的虚拟表示和/或可包括表示CGR环境内的附体的特征(例如,地点、取向、距特定点的距离等)的数据。在各方面,可使用被配置为执行手部跟踪、头部注视跟踪、眼睛注视跟踪、手指跟踪等的输入传感器(例如,触敏表面、图像传感器等)来检测输入机构的移动。例如,输入机构可从先前位置移动到当前位置。

在实施方案中,响应于检测到的输入机构的移动,可确定输入机构的当前位置是否在距第一表示的预定距离内。然而,当未检测到输入机构的移动时,可不执行对输入机构的当前位置是否在距第一表示的预定距离内的确定。在一些实施方案中,当确定检测到的移动朝向第一表示时,可以执行对输入机构的当前位置是否在距第一表示的预定距离内的确定。在这些情况下,如果确定输入机构的移动远离第一表示,则即使可以检测到输入机构的移动,也可以不执行对输入机构的当前位置是否在距第一表示的预定距离内的确定。

在框1304处,根据确定输入机构的当前位置在距虚拟对象的第一表示的预定距离内,系统经由电子设备的显示器在CGR环境内显示虚拟对象的第二表示。在实施方案中,虚拟对象的第二表示可与虚拟对象的第一表示不同。

在实施方案中,响应于显示虚拟对象的第二表示,可停止显示第一表示。在一些实施方案中,第二表示可显示在显示第一表示的相同位置处和/或相同表面上。

在实施方案中,第二表示可被配置为促进用户与相关联的虚拟对象的直接交互。例如,第二表示可包括被配置用于直接交互的UI元素中的至少一个UI元素。在实施例中,UI元素可包括被显示为在物理对象上显示的平坦的2D UI元素的至少一个UI元素。在实施方案中,UI元素可包括按钮、示能表示、用户界面元素、交互式元素等中的任一者和/或任何组合。

在一些实施方案中,第二表示可具有与第一表示的尺寸不同的尺寸。例如,第二表示的尺寸可大于第一表示的尺寸。在实施方案中,第二表示可包括第一表示的一部分,并且第二表示中包括的第一表示的部分可大于第一表示中相同部分的尺寸。

在一些实施方案中,虚拟对象的第二表示可显示在与第一表示的当前位置不同的位置处。在实施方案中,可显示虚拟对象的第二表示的位置可以是比第一表示的当前位置更靠近用户的位置。在实施方案中,在新位置显示第二表示可以是与第一表示相同的表示。

在一些实施方案中,第一表示可以是虚拟对象的3D表示,并且第二表示可以是虚拟对象的2D表示。在实施方案中,第二表示可包括虚拟对象的未在虚拟对象的第一表示中显示的至少一部分。

如上所述,本技术的一个方面是采集和使用可从各种来源获取的数据以提供对具有附加显示器的低功率设备(例如,具有附加显示器的HMD设备)的专用资源管理,从而为用户节省电池寿命并且向低功率设备的用户提供专用内容。本公开设想,在一些实例中,此采集的数据可包括唯一识别或可用于接触或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如,生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于节省用户的低功率设备的电池寿命。因此,例如,使用此类个人信息数据,系统恰当地管理资源以节省低功率设备的电池寿命。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。用户可以方便地访问此类策略,并应随着数据的采集和/或使用变化而更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何,本公开还设想用户选择性地阻止使用或访问个人信息数据的示例。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就管理低功率设备的资源而言,本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一示例中,用户可选择不为专门资源管理提供眼睛跟踪数据,诸如瞳孔地点、瞳孔扩张和/或眨眼速率。在又另一示例中,用户可选择限制眼镜跟踪数据被维持的时间长度或者完全禁止基线眼镜跟踪文件的开发。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。

此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。

因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的示例,但本公开还设想各种示例也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种示例不会由于缺乏此类个人信息数据的全部或一部分而无法正常进行。例如,可对低功率设备的资源进行管理,并且可通过基于非个人信息数据或绝对最低限度的个人信息(诸如,与用户相关联的设备所请求的内容、对控制低功率设备的系统可用的其他非个人信息或公开可用信息)来推断偏好,从而选择内容(例如,状态更新和/或对象)并且将其递送给用户。

70页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用于控制振动输出系统的操作和/或输入传感器系统的操作的方法和设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类