具体实施方式

描述了用于确定手持式控制器(HHC)相对于头戴式显示器(HMD)的移动的系统和方法。

应注意，可以在没有一些或所有这些具体细节的情况下实践本公开中描述的各种实施方案。在其他情况下，没有详细描述公知的过程操作以免不必要地使本公开中描述的各种实施方案模糊不清。

图1A是系统100的图，用于示出HMD 104的相机108对HHC 102的跟踪。系统100包括计算装置112、计算机网络114、游戏云系统116、相机118、HMD 104和HHC 102。如本文所使用的相机(诸如相机118)的示例包括鱼眼相机、深度相机、图像捕获装置、红外LED相机，以及Sony^TM PlayStation^TM相机。相机118是外向内跟踪相机，并且相机108是内向外跟踪相机。此外，相机108的示例包括深度相机和LED相机、红外LED相机，以及图像捕获装置。计算装置112的示例包括游戏控制台、计算机、平板计算机、路由器、处理器和智能电话。计算机网络114可以是诸如互联网的广域网(WAN)，或者诸如内联网的局域网(LAN)。游戏云系统116包括执行应用程序(诸如游戏应用程序或视频会议应用程序)的一个或多个服务器。例如，游戏云系统116包括虚拟机或分布式游戏节点以执行应用程序。HHC 102的示例包括视频游戏控制器和Sony^TM DualShock^TM控制器。

相机108被装配到HMD 104的下部区域，使得相机108面向HHC 102。例如，相机108被装配到HMD 104的弯曲的下表面。HMD 104的下部区域在HMD 602的显示屏下方。相机118被放置在真实世界环境内，诸如用户106、HMD 104和HHC 102所在的房间或封闭空间或小隔间或仓库中。相机118面向HMD 104、HHC 102和用户106。

相机118经由有线或无线连接耦合到计算装置112。此外，HMD 104经由有线或无线连接耦合到计算装置112。如本文所用，无线连接的示例包括Bluetooth^TM连接和Wi-Fi^TM连接。如本文所用，有线连接的示例包括提供数据的并行传送的线缆或者是通用串行总线(USB)连接。计算装置112经由计算机网络114耦合到游戏云系统116。

用户106将HMD 104佩戴在他/她的头部上。此外，用户106将HHC 102握持在他/她的手中。用户106通过使用HHC 102上的一个或多个输入按钮来提供他或她的登录信息。从HHC 102经由计算装置112和计算机网络114向游戏云系统116提供登录信息。游戏云系统116的一个或多个服务器认证登录信息以提供对存储在游戏云系统116内的用户账户A的访问。用户账户A由游戏云系统116的一个或多个服务器分配给用户106。

一旦向用户106提供了对用户账户A的访问权限，用户106就在HHC 102上选择一个或多个输入按钮，或者在HHC 102上移动一个或多个操纵杆，或者移动HHC 102或移动HMD104，或者执行这些移动和选择的组合。当HHC 102被移动并且/或者HHC 102上的一个或多个输入按钮被选择并且/或者HHC 102上的一个或多个操纵杆被移动时，HHC 102的一个或多个传感器生成从HHC 102经由有线或无线连接被发送到计算装置112的输入数据。类似地，当HMD 104被移动时，HMD 104的一个或多个传感器生成输入数据，该输入数据从HMD104经由有线或无线连接被发送到计算装置112。HMD 104的移动相对于真实世界环境的参考坐标系(诸如xyz坐标系)发生。例如，HMD 104的位置和取向相对于真实世界环境的参考坐标系发生变化。此外，HHC 102的移动相对于固定在HMD 104上的另一个参考坐标系(诸如XYZ坐标系)发生。如本文所述，一个或多个传感器的示例包括电容性传感器和惯性传感器。惯性传感器的示例包括陀螺仪、加速度计和磁力计。

此外，HMD 104的相机108捕获由用户106进行的HHC 102在相机108的视场(FOV)110内的移动的一个或多个图像，并且经由有线或无线连接将图像发送到计算装置112。FOV110在本文中有时被称为交互区。由相机108捕获的图像包括在FOV 110内的真实世界环境的一部分的图像，并且还包括HHC 102的图像。相机108从HMD 104指向下方，以面向HMD104、HHC 102、计算装置112和用户106所处的真实世界环境的地板。地板在FOV 110内。例如，相机108的镜头具有光圈，该光圈接收从地板反射的光。在该示例中，除非用户106抬起他/她的头部使得光圈面向墙壁，否则该光圈不会接收从真实世界环境的任何墙壁反射的光。当用户110面向墙壁时，相机108的光圈向下朝向地板，并且因此FOV 110向下朝向地板延伸。

FOV 110是三维视场，具有在y方向上的高度、在x方向上的宽度和在z方向上的深度。在下文中描述y方向、x方向和z方向。此外，面向HMD 104的相机118捕获真实世界环境的一个或多个图像，并且所述图像包括由用户106进行的HMD 104在相机118的视场111内的移动。捕获HMD 104相对于相机118的XYZ坐标系的移动的一个或多个图像在本文中有时被称为外向内跟踪。由相机118捕获的图像经由有线或无线连接被发送到计算装置112。

计算装置112经由计算机网络114将信息数据(诸如从HMD 104接收的输入数据、从HHC 102接收的输入数据、从相机108接收的图像以及从相机118接收的图像)发送到游戏云系统116的一个或多个服务器。游戏云系统116的一个或多个服务器接收信息数据并且执行应用程序以改变正在HMD 104的显示屏上显示的虚拟场景的状态以输出虚拟场景的另一种状态。虚拟场景的状态在本文中有时被称为内容。为了说明，游戏云系统116的一个或多个服务器接收HMD 104相对于相机118的xyz坐标系的移动的图像，并且根据图像内HMD 104的移动来确定HMD 104的一个或多个位置的变化以及HMD 104的一个或多个取向的变化。由游戏云系统116分析HMD 104的一个或多个位置的变化以确定HMD 104的其他一个或多个位置，并且由游戏云系统116分析HMD 104的一个或多个取向的变化以确定HMD 104的其他一个或多个取向。例如，分析HMD 104的位置从点A到点B的变化以确定HMD 104现在处于点B。作为另一示例，分析HMD 104的取向从取向A到取向B的变化以确定HMD 104现在处于取向B。HMD 104的其他一个或多个位置和HMD 104的其他一个或多个取向对应于虚拟场景的另一种状态。HMD 104相对于相机118的xyz坐标系的移动是HMD 104在真实世界环境中的移动。

继续说明，游戏云系统116的一个或多个服务器接收HHC 102相对于HMD 104的XYZ坐标系的移动的图像并且执行应用程序，以根据HHC 102的移动来确定HHC 102的一个或多个位置的变化以确定HHC 102的其他一个或多个位置，以及确定HHC 102的一个或多个取向的变化以确定HHC 102的其他一个或多个取向。HHC 102的其他一个或多个位置和HHC 102的其他一个或多个取向对应于虚拟场景的另一种状态。参照相机108的XYZ坐标系来确定HHC 102的一个或多个位置的变化以及其一个或多个取向的变化。应当注意，移动包括多个位置和/或多个取向。例如，HHC 102的移动包括HHC 102的多个位置和/或多个取向，并且HMD 104的移动具有HMD 104的多个位置和/或HMD 104的多个取向。

应当注意，HHC 102的位置包括在X方向上距XYZ坐标系的参考坐标(诸如原点)的距离、在Y方向上距XYZ坐标系的参考坐标的距离，以及在Z方向上距XYZ坐标系的参考坐标的距离。此外，HHC 102的取向包括相对于XYZ坐标系的X轴的角度、相对于XYZ坐标系的Y轴的角度，以及相对于XYZ坐标系的Z轴的角度。X轴垂直于Y轴和Z轴中的每一者，并且Y轴垂直于Z轴。X方向是X轴的方向，Y方向是Y轴的方向，并且Z方向是Z轴的方向。

类似地，应当注意，HMD 104在真实世界环境中的位置包括在x方向上距xyz坐标系的参考坐标RM(诸如原点(0,0,0))的距离、在y方向上距xyz坐标系的参考坐标RM的距离，以及在z方向上距xyz坐标系的参考坐标RM的距离。此外，HMD 104的取向包括相对于具有参考坐标RM的xyz坐标系的x轴的角度、相对于xyz坐标系的y轴的角度，以及相对于xyz坐标系的z轴的角度。x轴垂直于y轴和z轴中的每一者，并且y轴垂直于z轴。x方向是x轴的方向，y方向是y轴的方向，并且z方向是z轴的方向。

虚拟场景的状态的示例包括：虚拟场景中的一个或多个虚拟对象的纹理，或虚拟对象的颜色，或虚拟对象的亮度，或虚拟对象的图形，或与虚拟对象的显示一起输出的音频数据，或虚拟对象的位置，或虚拟对象的取向，虚拟场景的虚拟背景的纹理，或虚拟背景的颜色，或虚拟背景的亮度，或虚拟背景的图形，或与虚拟背景的显示一起输出的音频数据，或虚拟背景的位置，或虚拟背景的取向。虚拟背景的示例是虚拟场景的不包括虚拟对象的部分。

游戏云系统116的一个或多个服务器改变虚拟场景的状态以生成多个帧，诸如图像或音频帧，并且对所述多个帧进行编码以输出多个经编码帧。多个帧包括修改后的虚拟场景的修改后的状态，诸如另一种状态。游戏云系统116的一个或多个服务器经由计算机网络114将经编码帧发送到计算装置112。计算装置112对经编码帧进行解码，并且经由有线或无线连接将经解码帧发送到HMD 104。HMD 104的视频处理器根据经解码帧改变或更新虚拟场景的显示，以在HMD 104上显示修改后的虚拟场景，并且/或者HMD 104的音频处理器改变与虚拟场景一起输出的声音。声音经由HMD 104的一个或多个扬声器输出。

在一个实施方案中，代替HHC 102，使用另一种类型的控制器，诸如枪形控制器或Sony^TM Move^TM控制器。

在一个实施方案中，在HMD 104和游戏云系统116之间不使用计算装置112。例如，本文所述的已经由计算装置112执行的功能替代地由HMD 104执行，并且在HMD 104和计算机网络114之间未放置计算装置112。为了进一步说明，本文所述的由计算装置114执行的功能由集成在HMD 104内的一个或多个处理器执行。作为另一示例，本文所述的在HMD 104和游戏云系统116之间传送数据的功能由HMD 104内的无线接入卡(WAC)执行。HMD 104的WAC与计算机网络114通信。作为另一说明，由HMD 104内的宽带通信集成电路(IC)来执行本文所述的在HMD 104和游戏云系统116之间传送数据(本文所述)的功能。宽带通信IC的示例是订户身份模块(SIM)卡。宽带通信IC与蜂窝网络传送数据(本文所述)，所述蜂窝网络包括与计算机网络114通信的多个蜂窝塔。再如，HMD 104包括用于经由短距离无线协议(诸如Wi-Fi^TM协议或Bluetooth^TM协议)与路由器通信的通信电路。路由器在真实世界环境内并且被耦合到计算机网络114。

图1B是系统120的实施方案的图，用于示出不需要使用相机118(图1A)来确定HMD104的位置和取向。相反，用相机108执行内向外跟踪。使用HMD 104的相机108跟踪HMD 104相对于真实世界环境的参考坐标系(诸如xyz坐标系)的位置、移动和取向。

系统120包括HMD 104、HHC 102和计算装置112。计算装置112搁置在支撑件122(诸如桌子或电视柜)上，该支撑件位于HMD 104和HHC 102所处的真实世界环境内。真实世界环境的xyz坐标系位于支撑件112的底部。

当用户106朝向或远离真实世界环境的xyz坐标系的参考点RA(诸如原点(0,0,0))移动时，相机108跟踪HMD 104相对于参考点RA的位置的变化。类似地，当用户106相对于参考点RA移动他/她的头部时，相机108跟踪HMD 104相对于真实世界环境的xyz坐标系的取向的变化。相机108对HMD 104相对于真实世界环境的xyz坐标系的位置和取向的跟踪在本文中有时被称为HMD 104的内向外跟踪。相机108捕获真实世界环境的在相机108的FOV 110内的部分的一个或多个图像，并且该一个或多个图像包括参考点RA。

除了由HMD 104的相机108跟踪HMD 104的位置和取向之外，HMD 104还包括惯性传感器，所述惯性传感器输出惯性数据，诸如HMD 104的加速度的测量结果、HMD 104的角速度的测量结果、HMD 104的位置的测量结果，以及HMD 104相对于惯性传感器的坐标系的取向的测量结果。例如，HMD 104的陀螺仪测量HMD 104相对于陀螺仪的坐标系的取向的角速度。陀螺仪的坐标系具有自旋轴。自旋轴与上述y轴等效，并且在一个方向上垂直地指向上方并且在相反方向上指向下方。应当注意，HMD 104的惯性传感器的坐标系是真实世界环境的坐标系的示例。由HMD 104的传感器生成的惯性数据是由HMD 104生成的输入数据的示例。

经由有线或无线连接将由相机108捕获的真实世界环境的一个或多个图像以及由HMD 104的传感器生成的惯性数据发送到计算装置112。计算装置112经由计算机网络114(图1A)将真实世界环境的一个或多个图像和由HMD 104的传感器生成的惯性数据发送到游戏云系统116(图1A)，用于改变虚拟场景的状态。

在一个实施方案中，真实世界环境的xyz坐标系位于支撑件122的表面上的任何点或真实世界环境内的任何点。例如，真实世界环境的xyz坐标系位于HMD 104和HHC 102所处的房间的拐角处。

在一个实施方案中，代替使相机108位于HMD 104的下部区域，相机(未示出)被定位在HHC 102的顶表面122上。顶表面122是HHC 102的按钮和操纵杆所处的表面。位于HHC102的顶表面122上的相机(未示出)捕获HMD 104的一个或多个图像，并且具有参考坐标系，该参考坐标系的参考点(诸如原点)位于相机(未示出)上。由HHC 102的顶表面122上的相机(未示出)捕获的HMD 104的一个或多个图像包括HMD 104相对于所述相机(未示出)的参考坐标系的位置和取向。HHC 102经由有线或无线连接将由HHC 102的相机(未示出)捕获的图像发送到计算装置112。计算装置112经由计算机网络114将由HHC 102的相机(未示出)捕获的图像发送到游戏云系统116。游戏云系统116根据由HHC 102的相机(未示出)捕获的图像确定HMD 104相对于HHC 102的位置、移动和取向，并且根据所述位置和取向改变虚拟场景的状态。

在一个实施方案中，由HMD 104的惯性传感器测量到的HMD 104的位置和取向在用户106使用HMD 104一段时间之后漂移。例如，由HMD 104的惯性传感器跟踪的HMD 104的位置和取向在一段时间后变得不准确并且具有误差。在这种情况下，游戏云系统116的一个或多个服务器使用由真实世界环境的相机118和/或相机108生成的一个或多个图像来调整HMD 104的不准确的位置和不准确的取向。例如，当由HMD 104的惯性传感器测量到的不准确的取向为(X1,Y1,Z1)，并且由游戏云系统116的一个或多个服务器从一个或多个图像导出的HMD 104的取向为(X2,Y2,Z2)时，游戏云系统116的一个或多个服务器确定HMD 104的取向为(X2,Y2,Z2)，而不是(X1,Y1,Z1)。这样，游戏云系统116的一个或多个服务器校正HMD104的惯性传感器中的漂移。

在一个实施方案中，相机108预扫描相机108周围的真实世界环境，以捕获真实世界环境中具有参考点RA的对象以及具有一个或多个其他参考点的一个或多个附加对象的图像。例如，在执行用于玩游戏的应用程序之前，相机108捕获真实世界环境的图像。在玩游戏之前，HMD 104可以显示使用户106移动他/她的头部来获得真实世界环境的部分视图或完整视图(诸如360度视图)的指令。在观看指令时，用户106移动他或她的头部，并且HMD104的相机108捕获对象和一个或多个附加对象的图像。图像经由计算装置112和计算机网络114被发送到游戏云系统116。游戏云系统116从对象固定的图像中标识参考点。在玩游戏或执行应用程序期间，相机108捕获具有真实世界环境的参考点RA和一个或多个其他参考点的一个或多个附加图像，并且经由计算装置112和计算机网络114将图像发送到游戏云系统116。游戏云系统116确定HMD 104相对于参考点RA和一个或多个其他参考点的移动。

图1C是系统130的实施方案的图，用于示出当HMD 104在真实世界环境中移动时HMD 104的参考点。当图1B的用户106移动时，HMD 104移动。HMD 104的参考点在时间t1处位于位置P1。在时间t1处，HHC 102在真实世界环境内的位置PO1。参照时间t1处HMD 104的位置P1来确定HHC 102的位置PO1。例如，在时间t1处，HMD 104的相机108参照HMD 104的位置P1来捕获包括控制器HHC 102的位置PO1的一个或多个图像。游戏云系统116(图1A)的一个或多个服务器经由计算装置112(图1A)和计算机网络114(图1A)从相机108接收一个或多个图像，以参照HMD 104的位置P1来标识控制器HHC 102的位置PO1。然后，位置PO1和P1被游戏云系统116的一个或多个服务器用来执行应用程序以改变虚拟场景的状态。

在时间t2处，HMD 104的参考点从位置P1移动至位置P2。此外，在时间t2处，HHC102位于真实世界环境内的位置PO2。在时间t2处，HMD 104的相机108参照HMD 104的位置P2捕获包括HHC 102的位置PO2的一个或多个图像。游戏云系统116的一个或多个服务器经由计算装置112和计算机网络114接收一个或多个图像，并且参照HMD 104的位置P2来标识HHC102的位置PO2以基于HHC 102的位置从PO1到PO2的变化以及HMD 104的位置从P1到P2的变化来改变虚拟场景的状态。

类似地，在时间t3处，相机108捕获HHC 102相对于HMD 104的位置P3的位置PO3，以促进虚拟场景的状态的变化。虚拟场景的状态基于HMD 104的位置从位置P2到位置P3的变化以及HMD 104的位置从位置PO2到位置PO3的变化而改变。另外，在时间t4处，相机108捕获HHC 102相对于HMD 104的位置P4的位置PO4，以促进虚拟场景的状态的变化。虚拟场景的状态基于HMD 104的位置从位置P3到位置P4的变化以及HMD 104的位置从位置PO3到位置PO4的变化而改变。

图1D是系统130的实施方案的图，用于示出相机108的FOV 110的三维体积，诸如多边形体积。系统130包括HMD 104和真实世界环境。FOV 110从相机108开始并且创建三维体积，该三维体积一直延伸到位于真实世界环境的地板F上的一部分132。地板F垂直于真实世界环境的墙壁W1，并且墙壁W1垂直于或基本上垂直于真实世界环境的另一个墙壁W2。地板F还垂直于或基本上垂直于墙壁W2。部分132为具有对角线DR、长度LR和宽度WR的矩形部分。长度LR在本文中有时被称为垂直范围，宽度WR在本文中有时被称为水平范围，并且对角线DR在本文中有时被称为对角范围。

在FOV 110内的是放置在地板F上的对象O1。对象O1具有垂直表面VS和水平表面HS。水平表面HS是对象O1的顶表面并且与垂直表面VS相邻。例如，水平表面HS垂直于或基本上垂直于垂直表面VS。在水平表面HS与垂直表面VS的相交处，定位有参考坐标系的参考坐标RB，诸如原点(0,0,0)。在对象O1上具有参考坐标RB的参考坐标系是真实世界环境的xyz坐标系。对象O1上的xyz坐标系具有x轴、y轴和z轴。

相机108捕获对象O1和部分132的一个或多个图像，并且HMD 104经由图1A的计算装置112和图1A的计算机网络114将图像发送到图1A的游戏云系统116。游戏云系统116的一个或多个服务器标识相机108相对于参考坐标RB的位置，并且该位置包括沿x方向距对象O1上的参考坐标RB的距离、沿y方向距参考坐标RB的距离，以及沿z方向距参考坐标RB的距离。此外，游戏云系统116的一个或多个服务器标识相机108的取向，并且该取向包括相对于参考坐标RB相对于对象O1上的参考坐标系的x轴形成的角度、相对于对象O1上的参考坐标系的y轴形成的角度，以及相对于对象O1上的参考坐标系的z轴形成的角度。

在一个实施方案中，部分132具有另一种形状，诸如多边形或椭圆形或圆形或梯形或菱形。

在一个实施方案中，真实世界环境的参考坐标系133位于墙壁W1、墙壁W2和地板F的相交处。参考坐标系133包括x轴、y轴和z轴，并且x轴、y轴和z轴的相交点是参考点，诸如原点(0,0,0)。相交点在墙壁W1、墙壁W2和地板F的相交处。x轴在从参考点开始的墙壁W2的方向上，y轴在从参考点开始的墙壁W1的方向上，并且z轴在从参考点开始的地板F的方向上。当相机108的光圈指向FOV 110时，FOV 110包括参考点。

图2A至图2C是系统200的实施方案的示图，用于示出当HMD 104保持静止时HHC102的位置变化以及该位置变化对在HMD 104上显示的虚拟场景的影响。图2A是系统200的实施方案的图，用于示出HHC 102相对于相机108上的参考坐标系的位置1。系统200包括HHC102和HMD 104。相机108上的参考坐标系具有参考坐标R1，诸如原点(0,0,0)。HHC 102的位置1具有相对于相机108上的参考坐标系的参考坐标R1的坐标(X1,Y1,Z1)。

相机108捕获HHC 102在位置1处的一个或多个图像，并且经由计算装置112(图1A)和计算机网络114(图1A)将图像发送到游戏云系统116(图1A)。游戏云系统116基于从图像标识的位置1来确定在HMD 104的显示屏上显示的虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景202A的状态的一个或多个帧。虚拟场景在本文中有时被称为图像场景。游戏云系统116对具有虚拟场景202A的状态的帧进行编码以输出一个或多个经编码帧。具有虚拟场景202A的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置114对具有虚拟场景202A的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将一个或多个帧发送到HMD 104，以在HMD104上显示虚拟场景202A。虚拟场景202A包括一个或多个虚拟对象，诸如虚拟房屋、虚拟枪支、虚拟树和虚拟十字准线。虚拟场景202A中的虚拟十字准线具有位置A，该位置由游戏云系统116基于HHC 102相对于相机108上的参考坐标R1的位置1确定。

图2B是系统200的实施方案的图，用于示出HHC 102相对于相机108上的参考坐标系的另一位置2。与图2A所示的HMD 104的位置相比，HMD 104没有移动或具有最小的移动。相机108上的参考坐标系具有相同的参考坐标R1。例如，参考坐标R1在真实世界环境内的位置相对于相机118(图1A)处于相同的位置或基本上相同的位置。HHC 102的位置2具有相对于相机108上的参考坐标系的参考坐标R1的坐标(X2,Y2,Z2)。与HHC 102的位置1(图2A)相比，当用户106将HHC 102移动至他/她的右侧时，就可以实现HHC 102的位置2。

相机108捕获HHC 102在位置2处的一个或多个图像，并且经由计算装置112(图1A)和计算机网络114(图1A)将图像发送到游戏云系统116(图1A)。游戏云系统116基于从图像标识的位置2确定虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景202B的状态的一个或多个帧。游戏云系统116对具有虚拟场景202B的状态的帧进行编码以输出一个或多个经编码帧。具有虚拟场景202B的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置114对具有虚拟场景202B的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将一个或多个帧发送到HMD 104，以在HMD 104上显示虚拟场景202B。虚拟场景202B包括以上参照图2A描述的虚拟对象。虚拟场景202B中的虚拟十字准线具有位置B，该位置由游戏云系统116基于HHC 102的位置2确定。应当注意，位置B已经移动至场景202A内的虚拟十字准线的位置A的右侧。

图2C是系统200的实施方案的图，用于示出HHC 102相对于相机108上的参考坐标系的又一个位置3。相机108上的参考坐标系具有相同的参考坐标R1。HHC 102的位置3具有相对于相机108上的参考坐标系的参考坐标R1的坐标(X3,Y3,Z3)。与HHC 102的位置2(图2B)相比，当用户106将HHC 102移动至他/她的右侧时，就可以实现HHC 102的位置3。

相机108捕获HHC 102在位置3处的一个或多个图像，并且经由计算装置112(图1A)和计算机网络114(图1A)将图像发送到游戏云系统116(图1A)。游戏云系统116基于从图像标识的位置3来确定虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景202C的状态的一个或多个帧。游戏云系统116对具有虚拟场景202C的状态的帧进行编码以输出一个或多个经编码帧。具有虚拟场景202C的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置114对具有虚拟场景202C的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将一个或多个帧发送到HMD 104，以在HMD 104上显示虚拟场景202C。虚拟场景202C包括以上参照图2A描述的虚拟对象。虚拟场景202C中的虚拟十字准线具有位置C，该位置由游戏云系统116基于HHC 102的位置3确定。应当注意，位置C已经移动至场景202B内的虚拟十字准线的位置B的右侧。

应当注意，在图2A至图2C中，当用户106的头部没有移动或具有最小的移动时，相机108没有移动或具有最小的移动。用户106的头部在图2A至图2C中静止或基本上静止。

在一个实施方案中，与虚拟场景202A中的虚拟对象相比，虚拟场景202B包括一个或多个附加的虚拟对象，或者排除了虚拟场景202A中所示的一个或多个虚拟对象。类似地，与虚拟场景202A中的虚拟对象相比，虚拟场景202C包括一个或多个附加的虚拟对象，或者排除了虚拟场景202A中所示的一个或多个虚拟对象。

在一个实施方案中，当HHC 102处于位置1时，HHC 102相对于相机108上的参考坐标系处于取向A。取向A形成角度(角度X1，角度Y1，角度Z1)。相对于相机108上的参考坐标系的X轴形成角度X1，相对于相机108上的参考坐标系的Y轴形成角度Y1，并且相对于相机108上的参考坐标系的Z轴形成角度Z1。类似地，当HHC 102处于位置2时，HHC 102相对于相机108上的参考坐标系处于取向B。取向B形成角度(角度X2，角度Y2，角度Z2)。相对于相机108上的参考坐标系的X轴形成角度X2，相对于相机108上的参考坐标系的Y轴形成角度Y2，并且相对于相机108上的参考坐标系的Z轴形成角度Z2。此外，当HHC 102处于位置3时，HHC 102相对于相机108上的参考坐标系处于取向C。取向C形成角度(角度X3，角度Y3，角度Z3)。相对于相机108上的参考坐标系的X轴形成角度X3，相对于相机108上的参考坐标系的Y轴形成角度Y3，并且相对于相机108上的参考坐标系的Z轴形成角度Z3。在一个实施方案中，角度X1与角度X2和X3相同，角度Y1与角度Y2和Y3相同，并且角度Z1与角度Z2和Z3相同。

图3A至图3C是系统200的实施方案的图，用于示出当HHC 102保持静止或基本上静止时HMD 104的位置变化以及该位置变化对在HMD 104上显示的虚拟场景的影响。图3A是系统200的实施方案的图，用于示出HMD 104相对于真实世界环境的参考坐标系的位置a。真实世界环境的参考坐标系可以位于HHC 102上的相机(未示出)的位置，或位于相机118(图1A)的位置，或者位于真实世界环境内的结构(诸如墙壁或地板或对象)上的一个点。相机108上的参考坐标系具有参考坐标R1，该参考坐标相对于真实世界环境的参考坐标系处于位置a。HMD 104的位置a具有相对于真实世界环境的参考坐标系的坐标(xa,ya,za)。此外，HHC 102相对于HMD 104处于位置1。

真实世界环境中的相机(诸如相机118或HHC 102上的相机(未示出))捕获HMD 104在位置a处的一个或多个图像，并且经由计算装置112(图1A)和计算机网络114(图1A)将图像发送到游戏云系统116(图1A)。游戏云系统116基于从图像标识的位置a来确定在HMD 104的显示屏上显示的虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景202A的状态的一个或多个帧。具有虚拟场景202A的状态的帧被编码并且经由计算机网络114和计算装置112从游戏云系统116发送出去，以在HMD 104上显示虚拟场景202A。虚拟场景202A中的虚拟十字准线具有位置A，该位置由游戏云系统116基于HHC 102相对于HMD 104的相机108上的参考坐标R1的位置1确定。

图3B是系统200的实施方案的图，用于示出HMD 104相对于真实世界环境的参考坐标系的位置b。相机108上的参考坐标系具有参考坐标R2，该参考坐标相对于真实世界环境的参考坐标系处于位置b。HMD 104的位置b具有相对于真实世界环境的参考坐标系的坐标(xb,yb,zb)。此外，HHC 102相对于HMD 104处于位置1。HHC 102相对于HMD 104的相机108处于相同的位置或基本上相同的位置，并且在图3A所示的HHC 102的位置1和图3B所示的位置1之间没有移动或具有最小的移动。

真实世界环境的相机捕获HMD 104在位置b处的一个或多个图像，并且经由计算装置112(图1A)和计算机网络114(图1A)将图像发送到游戏云系统116(图1A)。游戏云系统116基于从图像标识的位置b来确定在HMD 104的显示屏上显示的虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景302A的状态的一个或多个帧。具有虚拟场景302A的状态的一个或多个帧被游戏云系统116编码以输出一个或多个经编码帧。具有虚拟场景302A的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置112对具有虚拟场景302A的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将帧发送到HMD 104。HMD 104接收具有虚拟场景302A的状态的帧，并且在HMD 104的显示屏上显示虚拟场景302A。与虚拟场景202A中的虚拟房屋的完整图像相比，虚拟场景302A具有虚拟房屋的部分图像。此外，与虚拟场景202A中的虚拟树的部分图像相比，虚拟场景302A具有虚拟树的完整图像。此外，与虚拟场景202A相比，虚拟场景302A具有指向虚拟房屋的虚拟十字准线，在虚拟场景202A中虚拟十字准线不指向虚拟房屋，而是指向虚拟场景202A的虚拟背景的一部分。在虚拟场景302A中，由于与图3A中的HMD104的位置a相比HMD 104向右移动，所以与虚拟场景202A相比，虚拟场景302A内的所有虚拟对象均向左移动。

虚拟场景302A中的虚拟十字准线具有相同的位置A，该位置由游戏云系统116基于HHC 102相对于相机108的参考坐标R1而不是相机108的参考坐标R2的位置1确定。即使HMD104已经从位置a移动至位置b，也参照HMD 104的位置a确定HHC 102的位置1。例如，相机108捕获HHC 102在位置1处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。此外，真实世界环境的相机捕获HMD 104在位置b处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。计算单元112经由计算机网络114将HHC 102在位置1处的图像和HMD 104在位置b处的图像发送到游戏云系统116。

游戏云系统116根据所述图像确定HHC 102的位置1和HMD 104的位置b。游戏云系统116确定HHC 102的位置1尚未改变，并且HMD 104的位置已经从位置a改变为位置b。在确定HHC 102的位置1尚未改变并且HMD 104的位置已经从位置a改变为位置b时，游戏云系统116生成虚拟场景302A的状态，其中虚拟交叉开关的位置A保持与虚拟场景202A中的位置相同。当确定HHC 102的位置1尚未改变时，游戏云系统116忽略HMD 104的位置从位置a到位置b的改变。尽管从位置1处的HHC 102和位置a处的HMD 104之间的相对位置到位置1处的HHC102和位置b处的HMD 104之间的相对位置有变化，但是游戏云系统116不改变虚拟交叉开关的位置A。而是，移动了虚拟对象，诸如虚拟场景202A中的虚拟树和虚拟房屋。

图3C是系统200的实施方案的图，用于示出HMD 104相对于真实世界环境的参考坐标系的位置c。相机108上的参考坐标系具有参考坐标R3，该参考坐标相对于真实世界环境的参考坐标系处于位置c。HMD 104的位置c具有相对于真实世界环境的参考坐标系的坐标(xc,yc,zc)。此外，HHC 102相对于HMD 104处于位置1。HHC 102从图3B所示的位置1的移动没有变化或具有最小的变化。

真实世界环境的相机捕获HMD 104在位置c处的一个或多个图像，并且经由计算装置112(图1A)和计算机网络114(图1A)将图像发送到游戏云系统116(图1A)。游戏云系统116基于从图像标识的位置c来确定在HMD 104的显示屏上显示的虚拟场景的状态的改变，以生成具有待显示在HMD 104上的虚拟场景302B的状态的一个或多个帧。具有虚拟场景302B的状态的一个或多个帧被游戏云系统116编码以输出一个或多个经编码帧。具有虚拟场景302B的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置112对具有虚拟场景302B的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将帧发送到HMD 104。HMD 104接收具有虚拟场景302B的状态的帧，并且在HMD 104的显示屏上显示虚拟场景302B。与虚拟场景302A中的虚拟房屋的部分图像相比，虚拟场景302B不具有虚拟房屋的图像。此外，与虚拟场景302A中的虚拟树的完整图像相比，虚拟场景302B具有虚拟树的部分图像。此外，与虚拟十字准线指向虚拟房屋的虚拟场景302A相比，虚拟场景302B具有指向虚拟树的虚拟十字准线。在虚拟场景302B中，由于与图3B中的HMD 104的位置b相比HMD 104向右移动，所以与虚拟场景302A相比，虚拟场景302B内的所有虚拟对象均向左移动。

虚拟场景302B中的虚拟十字准线具有相同的位置A，该位置由游戏云系统116基于HHC 102相对于相机108的参考坐标R1而不是相机108的参考坐标R3的位置1确定。即使HMD104已经从位置b移动至位置c，也相对于HMD 104的位置a确定HHC 102的位置1。例如，相机108捕获HHC 102在位置1处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。此外，真实世界环境的相机捕获HMD 104在位置c处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。计算单元112经由计算机网络114将HHC 102在位置1处的图像和HMD 104在位置c处的图像发送到游戏云系统116。

游戏云系统116根据所述图像确定HHC 102的位置1和HMD 104的位置c。游戏云系统116确定HHC 102的位置1尚未改变并且HMD 104的位置已经从位置b改变为位置c。在确定HHC 102的位置1尚未改变并且HMD 104的位置已经从位置b改变为位置c时，游戏云系统116生成虚拟场景302B的状态，其中虚拟交叉开关的位置A保持与虚拟场景202A中的位置相同。当确定HHC 102的位置1没有变化时，游戏云系统116忽略HMD 104的位置从位置b到位置c的变化。尽管从位置1处的HHC 102和位置b处的HMD 104之间的相对位置到位置1处的HHC 102和位置c处的HMD 104之间的相对位置有变化，但是游戏云系统116不会改变虚拟交叉开关的位置A。

应当注意，在图3A至图3C中，当用户106的手没有移动或具有最小的移动时，在HHC102中没有移动或具有最小的移动。用户106的手在图3A至图3C中静止或基本上静止。

在一个实施方案中，与虚拟场景202A中的虚拟对象相比，虚拟场景302A包括一个或多个附加的虚拟对象，或者排除了虚拟场景202A中所示的一个或多个虚拟对象。类似地，与虚拟场景202A中的虚拟对象相比，虚拟场景302B包括一个或多个附加的虚拟对象，或者排除了虚拟场景202A中所示的一个或多个虚拟对象。

图4A至图4C是系统200的实施方案的图，用于示出与HHC 102的位置变化同时发生的HMD 104的位置变化以及该位置变化对在HMD 104上显示的虚拟场景的影响。图4A是系统200的实施方案的图，用于示出HMD 104相对于真实世界环境的参考坐标系的位置a和HHC102相对于相机108的参考坐标R1的位置1。此外，HHC 102相对于HMD 104处于位置1。

真实世界环境的相机捕获HMD 104在位置a处的一个或多个图像，并且相机108捕获HHC 102在位置1处的一个或多个图像。由真实世界环境的相机和相机108捕获的图像经由计算装置112(图1A)和计算机网络114(图1A)发送到游戏云系统116(图1A)。游戏云系统116基于从HMD 104的图像标识的位置a和从HHC 102的图像标识的位置1来确定在HMD 104的显示屏上显示的虚拟场景的状态的改变，以生成具有待显示在HMD 104上的虚拟场景202A的状态的一个或多个帧。具有虚拟场景202A的状态的帧被编码并且经由计算机网络114和计算装置112从游戏云系统116发送出去，以在HMD 104上显示虚拟场景202A。虚拟场景202A中的虚拟十字准线具有位置A，该位置由游戏云系统116基于HHC 102相对于HMD 104的相机108上的参考坐标R1的位置1确定。

图4B是系统200的实施方案的图，用于示出当HHC 102处于位置2时，HMD 104相对于真实世界环境的参考坐标系的位置b。相机108捕获HHC 102在位置2处的一个或多个图像并且经由有线或无线连接将图像发送到计算单元112。此外，真实世界环境的相机捕获HMD104在位置b处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。计算单元112经由计算机网络114将HHC 102在位置2处的图像和HMD 104在位置b处的图像发送到游戏云系统116。游戏云系统116基于从所述图像标识的位置2和位置b来确定在HMD104的显示屏上显示的虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景402A的状态的一个或多个帧。具有虚拟场景402A的状态的一个或多个帧被游戏云系统116编码以输出一个或多个经编码帧。具有虚拟场景402A的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置112对具有虚拟场景402A的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将帧发送到HMD104。HMD 104接收具有虚拟场景402A的状态的帧，并且在HMD 104的显示屏上显示虚拟场景402A。与虚拟场景202A中的虚拟房屋的完整图像相比，虚拟场景402A具有虚拟房屋的部分图像。此外，与虚拟场景202A中的虚拟树的部分图像相比，虚拟场景402A具有虚拟树的完整图像。此外，与虚拟十字准线指向另一个位置的虚拟场景202A相比，虚拟场景402A具有指向不同位置的虚拟十字准线。在虚拟场景402A中，由于与图4A中的HMD 104的位置a相比HMD104向右移动，所以与虚拟场景202A相比，虚拟场景402A内的所有虚拟对象均向左移动。

此外，虚拟场景402A中的虚拟十字准线具有位置B，该位置由游戏云系统116基于HHC 102相对于相机108的参考坐标R1而不是相机108的参考坐标R2的位置2确定。即使HMD104已经从位置a移动至位置b，也参照HMD 104的位置a确定HHC 102的位置2。例如，游戏云系统116根据从相机108和真实世界环境的相机接收的图像来确定HHC 102的位置2和HMD104的位置b。游戏云系统116确定HHC 102的位置1相对于HMD 104的先前位置a已经改变为位置2，并且HMD 104的位置已经从位置a改变为位置b。在确定HHC 102的位置1相对于HMD104的先前位置a已经改变为位置2并且HMD 104的位置已经从位置a改变为位置b时，游戏云系统图116生成虚拟场景402A的状态，其中虚拟交叉开关的位置A改变为虚拟场景402A中的位置B。游戏云系统116在确定虚拟交叉开关的位置B时忽略HMD 104的位置从位置a到位置b的变化。尽管从位置1处的HHC 102和位置a处的HMD 104之间的相对位置到位置2处的HHC102和位置b处的HMD 104之间的相对位置有变化，但是游戏云系统116不考虑HMD 104的位置变化来确定虚拟交叉开关的位置B。

图4C是系统200的实施方案的图，用于示出当HHC 102处于位置3时，HMD 104相对于真实世界环境的参考坐标系的位置c。相机108捕获HHC 102在位置3处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。此外，真实世界环境的相机捕获HMD 104在位置c处的一个或多个图像，并且经由有线或无线连接将图像发送到计算单元112。计算单元112经由计算机网络114将HHC 102在位置3处的图像和HMD 104在位置c处的图像发送到游戏云系统116。游戏云系统116基于从图像标识的位置3和位置c来确定在HMD104的显示屏上显示的虚拟场景的状态的变化，以生成具有待显示在HMD 104上的虚拟场景402B的状态的一个或多个帧。

具有虚拟场景402B的状态的一个或多个帧被游戏云系统116编码以输出一个或多个经编码帧。具有虚拟场景402B的状态的一个或多个经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置112对具有虚拟场景402B的状态的经编码帧进行解码以输出一个或多个帧，并且经由有线或无线连接将帧发送到HMD 104。HMD 104接收具有虚拟场景402B的状态的帧，并且在HMD 104的显示屏上显示虚拟场景402B。与虚拟场景402A中的虚拟房屋的部分图像相比，虚拟场景402B不具有虚拟房屋的图像。此外，与虚拟场景402A中的虚拟树的完整图像相比，虚拟场景402C具有虚拟树的部分图像。此外，与虚拟十字准线指向另一个位置的虚拟场景402A相比，虚拟场景402B具有指向虚拟场景402B中的不同位置的虚拟十字准线。虚拟十字准线在虚拟场景402B中位于位置C处并且在虚拟场景402A中位于位置B处。在虚拟场景402B中，由于与图4B中的HMD 104的位置b相比HMD 104向右移动，所以与虚拟场景402A相比，虚拟场景402B内的所有虚拟对象均向左移动。

虚拟十字准线的位置C由游戏云系统116基于HHC 102相对于相机108的参考坐标R1而不是相机108的参考坐标R3的位置3来确定。即使HMD 104已经从位置b移动至位置c，也相对于HMD 104的位置a确定HHC 102的位置3。例如，游戏云系统116根据从相机108和真实世界环境的相机接收的图像确定HHC 102的位置3和HMD 104的位置c。游戏云系统116确定HHC 102的位置2相对于HMD 104的先前位置a已经改变为位置3，并且HMD 104的位置已经从位置b改变为位置c。在确定HHC 102的位置2已经相对于HMD 104的先前位置a改变为位置3并且HMD 104的位置已经从位置b改变为位置c时，游戏云系统116生成虚拟场景402B的状态，其中虚拟交叉开关的位置B改变为虚拟场景402B中的位置C。游戏云系统116在确定虚拟交叉开关的位置C时忽略HMD 104的位置从位置b到位置c的变化。尽管从位置2处的HHC 102和位置b处的HMD 104之间的相对位置到位置3处的HHC 102和位置c处的HMD 104之间的相对位置有变化，但是游戏云系统116不考虑HMD 104的位置变化来确定虚拟交叉开关的位置C。

应当注意，虚拟交叉开关在虚拟场景中的位置由游戏云系统116相对于虚拟场景的拐角上的点确定。例如，参照虚拟场景302A的右上角的点来确定虚拟交叉开关在虚拟场景302A(图3B)中的位置。本文所述的每个虚拟场景具有多边形形状，诸如矩形或正方形。矩形或正方形具有四个角。

图5A示出了根据本公开中描述的实施方案的用于与交互式程序(诸如由游戏云系统116(图1A)执行的应用程序)对接的视频游戏控制器500的透视图。视频游戏控制器500是图1A的HHC 102的示例。视频游戏控制器500包括主体502和从主体502延伸的延伸部504A和504B。延伸部504A和504B分别由用户106(图1A)的左手和右手握持，并且因此用作使用户106能够安全地抓握视频游戏控制器500的手柄。在主体502的顶表面上，包括各种输入装置，诸如按钮506A、506B、506C和506D，操纵杆508A和508B，以及多个方向键510A、510B、510C和510D。还示出了三维(3D)控制棒512的顶部部分，该控制棒从顶部到底部延伸穿过视频游戏控制器500的主体502。提供扬声器514以播放向用户106提供反馈的声音。

另外，视频游戏控制器500包括沿主体502的背面限定的触摸面板516，当延伸部504A和504B分别由用户106的左手和右手握持时，该触摸面板面向用户106。触摸面板516以基本上垂直的方式定向并且位于延伸部504A和504B之间，使得握持延伸部504A和504B的用户106可以容易地用用户106的两只手的拇指来使用触摸面板516。触摸面板516利用触敏技术(例如，电阻式、电容式等)来检测用户106作出的触摸手势。在所示实施方案中，触摸面板516还具有从顶部到底部的稍微向外的弯曲，该弯曲由于其形状而提供触觉感知，这使得用户106能够仅基于感觉来容易地确定他/她的拇指在触摸面板516上的近似垂直位置。

视频游戏控制器500包括触摸板518。触摸板518从用户106接收触摸或选择(诸如点击)以生成输入数据。触摸板518位于操纵杆508A和508B上方，并且在一组520按钮506A、506B、506C和506D与另一组522方向键510A、510B、510C和510D之间。在触摸板518下方，存在灯条524。灯条524包括光源，诸如一串发光二极管(LED)或一串白炽灯或红外灯条。灯条524的其他示例包括反射带或标记。灯条524经由触摸板518对相机108(图1A)可见。灯条524是触摸板518的一部分，并且该部分由半透明材料或透明材料制成。灯条524由视频游戏控制器500内的电池供电。

图5B是视频游戏控制器500的实施方案的图，该视频游戏控制器具有如HMD 104(图1A)的相机108所看到的取向1。在主体502上，存在标记526，该标记位于组520和522之间。标记526的示例包括LED光源或白炽灯光源或反射带。标记526位于三角形528的顶点处。三角形528的其余两个顶点由灯条524的边缘点528和530形成。

控制器500的取向1包括相对于相机108上的X轴形成的角度、相对于相机108上的Y轴形成的角度，以及相对于相机108上的Z轴形成的角度。例如，取向1是(θ1,φ1,γ1)，其中θ1是相对于相机108上的X轴形成的角度，φ1是相对于相机108上的Y轴形成的角度，并且γ1是相对于相机108上的Z轴形成的角度。相机108捕获取向1的一个或多个图像，其中如相机108所看到的灯条524在标记526的水平高度532上方。当灯条524在水平高度532上方时，灯条524的边缘点528和边缘点530在标记526上方。

图5C是视频游戏控制器500的实施方案的图，该视频游戏控制器具有如HMD 104(图1A)的相机108所看到的取向2。取向2是(θ2,φ2,γ2)，其中θ2是相对于相机108上的X轴形成的角度，φ2是相对于相机108上的Y轴形成的角度，并且γ2是相对于相机108上的Z轴形成的角度。相机108捕获取向2的一个或多个图像，其中如相机108所看到的灯条524处于标记526的相同的水平高度532或大致相同的水平高度532。当灯条524处于相同的水平高度532或大致相同的水平高度532时，灯条524的边缘点528在标记526上方，并且灯条524的边缘点530在标记526下方。

图5D是视频游戏控制器500的实施方案的图，该视频游戏控制器具有如HMD 104(图1A)的相机108所看到的取向3。取向3是(θ3,φ3,γ3)，其中θ3是相对于相机108上的X轴形成的角度，φ3是相对于相机108上的Y轴形成的角度，并且γ3是相对于相机108上的Z轴形成的角度。相机108捕获取向3的一个或多个图像，其中如相机108所看到的灯条524在标记526的水平高度532下方。当灯条524在水平高度532下方时，灯条524的边缘点528和530在标记526的下方。

在一个实施方案中，视频游戏控制器500包括一个或多个传声器，用于从真实世界环境中捕获声音。例如，传声器被布置成传声器阵列。该布置是传声器的线性阵列。当传声器阵列中包括三个或更多个传声器时，可能基于对由传声器阵列捕获的音频数据的分析来确定声源相对于传声器阵列的位置。更具体地，可以基于由传声器阵列的每个传声器捕获的声源声音的相对时序，相对于传声器阵列来定位声源。结合视频游戏控制器500的位置和取向，并且通过扩展传声器阵列的位置和取向，可以确定声源在交互式环境内的位置。此外，可以对所捕获的声音进行处理以排除不是从真实世界环境的特定区域发出的声音。

图6是系统600的实施方案的图，用于示出具有多个相机604A和604B的HMD 602。相机604A和相机604B位于HMD 602的下部区域。HMD 602的下部区域在HMD 602的一个或多个显示屏下方。HMD 602是图1A的HMD 104的示例。例如，当相机108更靠近HMD 104的左下部区域而不是更靠近HMD 104的中下部区域时，相机604B是相机108的示例。

相机604A位于HMD 602的下部区域的一部上，并且相机604B位于下部区域的另一端处。相机604A提供具有参考坐标R4(诸如原点(0,0,0))的参考坐标系，诸如XAYAZA参考坐标系。类似地，相机604B提供具有参考坐标R5(诸如原点(0,0,0))的另一个参考坐标系，诸如XBYBZB参考坐标系。当控制器102由用户106保持在HMD 602的水平高度下方的高度时，相机604A具有向下朝向控制器102的视场606A，并且相机604B具有也向下朝向控制器102的另一个视场606B。相机604A经由有线或无线连接耦合到图1A的计算装置112，并且相机604B经由有线或无线连接耦合到计算装置112。

相机604A在视场606A内捕获HHC 102的一个或多个图像，并且相机604B在视场606B内捕获HHC 102的一个或多个图像。由相机604A和604B捕获的图像经由有线或无线连接从HMD 602被发送到图1A的计算装置112。图1A的计算装置112经由计算机网络114将由相机604A和604B捕获的图像发送到图1A的游戏云系统116。游戏云系统116根据由相机604A和604B捕获的图像确定HHC 102的位置1和取向。例如，位置1具有距参考坐标R4的距离XA1、距参考坐标R4的距离YA1，以及距参考坐标R4的距离ZA1。类似地，根据由相机604A捕获的图像确定的HHC 102的取向具有与XAYAZA参考坐标系的XA轴的角度θA1、与XAYAZA参考坐标系的YA轴的角度φA1，以及与XAYAZA参考坐标系的ZA轴的角度γA1。作为另一示例，位置1具有距参考坐标R5的距离XB1、距参考坐标R5的距离YB1，以及距参考坐标R5的距离ZB1。类似地，根据由相机604B捕获的图像确定的HHC 102的取向具有与XBYBZB参考坐标系的XB轴的角度θB1、与XBYBZB参考坐标系的YB轴的角度φB1，以及与XBYBZB参考坐标系的ZB轴的角度γB1。

游戏云系统116基于根据由相机604A和604B捕获的图像确定的HHC 102的位置1和取向来修改虚拟场景的状态。应当注意，当HHC 102在相机604A的视场606A之外时，相机604B捕获HHC 102的图像。类似地，当HHC 102在相机604B的视场606B之外时，相机604A捕获HHC 102的图像。与相机108相比，相机604A和604B两者对HHC 102的移动的覆盖范围更大。

图7A是HMD 700的仰视等距视图的实施方案的图，该HMD是图1A的HMD 104或本文所述的任何其他HMD的示例。HMD 700具有眼罩703，该眼罩包括前部区域704和下部区域702，该下部区域是HMD 700的眼罩703的底表面。前部区域704是眼罩703的前表面，并且该前表面被放置在用户106的眼睛前面以覆盖用户106的眼睛。HMD 700具有头带706，该头带在本文中有时被称为顶部头带条。头带706被联接到眼罩703，并且围绕用户106的头部缠绕或延伸(图1A)。眼罩703包括由橡胶或塑料制成的框架705，并且框架705装配在用户106的眼睛周围。下部区域702未连接到头带706，并且通过框架705与头带706分开。此外，下部区域702无法覆盖用户106的眼睛并且在用户106的眼睛下方。框架705联接(诸如装配或连接)到下部区域702，并且前部区域704联接到下部区域702。例如，框架705被胶粘到或拧紧到下部区域702，并且前部区域704被拧紧到下部区域702。下部区域702与前部区域704相邻，并且框架705与下部区域702相邻。头部穿过在框架705和头带706之间形成的空间。

HMD 700的一个或多个显示屏位于前部区域704内。此外，相机710被装配到下部区域702，使得相机710的镜头延伸穿过下部区域702的外表面。相机710位于前部区域704和框架705之间。相机710是图1A的相机108的示例。镜头被嵌入下部区域702的外表面内或者从外表面延伸。相机710位于嵌入下部区域702的外表面内的多个光源708A和708B之间。光源708A和708B是用于确定HMD 700的位置和取向的标记的示例。例如，图1A的相机118捕获HMD700的表面上的灯708A和708B以及任何其他光源的一个或多个图像，以确定HMD 700在真实世界环境中的位置和取向。本文所述的标记的其他示例包括逆反射带或反射带或荧光色。光源的示例包括红外光源或LED光源。相机710位于下部区域702的前部部分，并且该前部部分距前部区域704比距框架705更近。

在前部区域704和框架705之间存在光源707B。类似地，在前部区域704和框架705之间存在另一个光源707A。与前部区域704的另一侧相比，光源707A在前部区域704的相对侧上。前部区域704的另一侧与光源707B相邻。

在一个实施方案中，前部区域704被扩展为包括光源707A和707B。光源707A位于前部区域704的一侧，但不是前部区域704的光源707B所在的一侧。

在一个实施方案中，相机710位于HMD 700的前部区域704或任何其他区域上。

在一个实施方案中，相机710位于下部区域702的后部部分，并且该后部部分距框架705比距前部区域704更近。

图7B是HMD 700的俯视等距视图的实施方案的图。HMD 700的眼罩703包括与前部区域704相邻的上部区域712，诸如顶部区域。上部区域712是眼罩703的顶表面。上部区域712被联接到前部区域704。例如，上部区域712被拧紧到或装配到前部区域704。前部区域712位于上部区域712和下部区域702之间。上部区域712与前部区域704相邻，诸如紧挨着该前部区域，并且面向图7A的下部区域702。上部区域712、前部区域704和下部区域702形成HMD 700的眼罩703的各部分。上部区域712与框架705相邻并且联接到框架705。例如，上部区域712被拧紧到或胶粘到框架705。眼罩703与框架705相邻。头带706被联接到(诸如被拧紧到或装配到或胶粘到)上部区域712。在上部区域712内，存在嵌入上部区域712的外表面内的光源708C和708D。

图7C是HMD 750的实施方案的仰视图的图，用于示出多个相机710、752A和752B。HMD 750在结构和功能上与图7A的HMD 700相同，不同之处在于HMD 750不具有光源707A、707B、708A、708B、708C和708D(图7A和图7B)。替代地，HMD 750包括相机752A和752B。HMD750是HMD 104(图1A)的示例。相机752A和752B具有面向地板F的镜头以接收从地板F和HHC102反射的光，以捕获HHC 102相对于地板F的移动的一个或多个图像。

相机752A位于下部区域702内并且在相机710的一侧。此外，相机752B位于下部区域702内并且在相机710的与相机752A所处的一侧相对的一侧。相机752B具有与相机710的FOV 110和相机752A的视场不同的视场。FOV 110与相机752A的视场不同。HHC 102的不在相机710的FOV 110内的任何移动通过相机752A的FOV捕获或者在相机752B的FOV内捕获。

每个相机752A和752B经由有线或无线连接耦合到计算装置112(图1A)。由相机752A和752B捕获的图像被发送到HMD 750的处理器。HMD 750的处理器经由HMD 750的短距离通信模块(诸如Bluetooth^TM模块或Wi-FI^TM模块)将图像发送到计算装置112。计算装置112经由计算机网络114将由相机752A和752B捕获的图像发送到游戏云系统116(图1A)。游戏云系统116根据由相机710捕获的图像和/或由相机752A捕获的图像和/或由相机752B捕获的图像来确定HHC 102的位置和取向，以改变虚拟场景的状态。

图7D是HMD 750的实施方案的俯视图的图，用于示出多个相机754A、754B和754C。HMD 750在HMD 750的上部区域712处包括相机754A、754B和754C。相机754B位于相机754A和754C之间。相机754A、754B和754C具有面向真实世界环境的天花板的镜头，以接收从天花板和HHC 102反射的光，以捕获HHC 102相对于天花板的移动的一个或多个图像。天花板位于与地板F相对的位置，并且基本上垂直于或垂直于墙壁W1和W2(图1D)。天花板平行于或基本上平行于地板F。

相机754B具有与相机754B和相机752C不同的视场。此外，相机752B具有与相机752C不同的视场。HHC 102的不在相机754A的FOV内的任何移动通过相机754B的FOV或相机752C的FOV捕获。

每个相机754A、754B和754C经由有线或无线连接耦合到计算装置112(图1A)。由相机754A、754B和754C捕获的图像被发送到HMD 750的处理器。HMD 750的处理器经由HMD 750的短距离通信模块将图像发送到计算装置112。计算装置112经由计算机网络114将由相机754A、754B和754C捕获的图像发送到游戏云系统116(图1A)。游戏云系统116根据由相机754A捕获的图像和/或由相机754B捕获的图像和/或由相机754C捕获的图像来确定HHC 102的位置和取向，以改变虚拟场景的状态。

应当注意，当HHC 102处于高于眼罩703的高度时，相机754A、754B和754C捕获HHC102的移动的图像。当HHC 102处于高于眼罩703的高度时，相机710、相机752A和相机752C(图7C)不捕获HHC 102的移动。类似地，当HHC 102处于低于眼罩703的高度时，相机710、752A和752B捕获HHC 102的移动的图像。当HHC 102处于低于眼罩703的高度时，相机754A、754B和754C不捕获HHC 102的移动。

在一个实施方案中，一个或多个相机位于头带706上以捕获HMD 750相对于真实世界环境的移动的图像。头带706的一个或多个相机将图像提供给HMD 750的处理器，并且处理器将图像发送到HMD 750的短距离通信模块。HMD 750的短距离通信模块将图像发送到计算装置112，该计算装置经由计算机网络114将图像发送到游戏云系统116。游戏云系统116根据所述图像确定HMD 750的移动，并且参照图像中捕获的真实世界环境的参考坐标系来确定该移动。然后，该移动被游戏云系统116使用以改变虚拟场景的状态。

在一个实施方案中，HMD 750包括比图7C和图7D中所示的相机更少或更多的相机。例如，HMD 750不具有相机752A、752B、754A和754C。作为另一示例，HMD 750不具有相机710和754B。

图8A是HMD 800的实施方案的仰视图，该HMD是图7A和图7B的HMD 700的示例。HMD800具有前部区域804，该前部区域是图7A和图7B的前部区域704的示例。HMD 800还具有下部区域802，该下部区域是图7A的下部区域702的示例。相机108被装配到下部区域802。例如，相机108被装配在图7A的光源708A和708B之间，并且距前部区域804比距框架705更近。相机108具有参考坐标R1。

图8B是HMD 820的实施方案的仰视图。HMD 820是图7A和图7B的HMD 700的示例，不同之处在于HMD 820的相机108被装配到与HMD 700上的相机108不同的位置。HMD 820具有前部区域804和下部区域802。HMD 820的相机108被装配到HMD 820的下部区域802。例如，相机108被装配在图7A的光源708A和708B之间，并且距前部区域804的距离与距框架705的距离大致相同。为了说明，相机108距前部区域804的距离与距框架705的距离相同。相机108具有参考坐标R6，该参考坐标是相机108的XYZ参考坐标系的原点(0,0,0)。

图8C是HMD 822的实施方案的仰视图。HMD 822是图7A和图7B的HMD 700的示例，不同之处在于HMD 822的相机108被装配到与HMD 700上的相机108不同的位置。HMD 822具有前部区域804和下部区域802。HMD 822的相机108被装配到HMD 822的下部区域802。例如，相机108被装配在图7A的光源708A和708B之间，并且距图7A的框架705比距前部区域804更近。相机108具有参考坐标R7，该参考坐标是相机108的XYZ参考坐标系的原点(0,0,0)。

图8D是HMD 824的实施方案的仰视图。HMD 824是图7A和图7B的HMD 700的示例，不同之处在于HMD 824的相机108被装配到与HMD 700上的相机108不同的位置。HMD 824具有前部区域804和下部区域802。HMD 824的相机108被装配到HMD 824的下部区域802。例如，相机108被装配成距图7A的光源708B比距光源708A更近，并且距前部区域804的距离与距框架705的距离大致相同。相机108具有参考坐标R8，该参考坐标是相机108的XYZ参考坐标系的原点(0,0,0)。

在一个实施方案中，HMD 824的相机108被定位成距框架705比距前部区域804更近。在一个实施方案中，HMD 824的相机108被定位成距前部区域804比距框架705更近。

图8E是HMD 826的实施方案的仰视图。HMD 8206是图7A和图7B的HMD 700的示例，不同之处在于HMD 826的相机108被装配到与HMD 700上的相机108不同的位置。HMD 826具有前部区域804和下部区域802。HMD 826的相机108被装配到HMD 826的下部区域802。例如，相机108被装配成距图7A的光源708A比距光源708B更近，并且距前部区域804的距离与距框架705的距离大致相同。相机108具有参考坐标R9，该参考坐标是相机108的XYZ参考坐标系的原点(0,0,0)。

在一个实施方案中，HMD 826的相机108被定位成距框架705比距前部区域804更近。在一个实施方案中，HMD 826的相机108被定位成距前部区域804比距框架705更近。

图9A是HMD 902的实施方案的仰视图的图，用于示出相机604A和604B在HMD 902的下部区域802处的位置。HMD 902是图7A和图7B的HMD 700的示例，并且具有下部区域802和前部区域804，不同之处在于HMD 902具有两个相机604A和604B，而不是一个相机。

相机604A位于图7A的光源708B和相机604B之间。另外，相机604A被定位成距光源708B比距光源708A更近。类似地，相机604B位于图7A的光源708A和相机604A之间。另外，相机604B被定位成距光源708A比距光源708B更近。相机604A和604B两者均被定位成距前部区域804比距图7A的框架705更近。参考坐标R4在HMD 902的相机604A处，并且参考坐标R5在HMD 902的相机604B处。

图9B是HMD 904的实施方案的仰视图的图，用于示出相机604A和604B在HMD 902的下部区域802处的位置。HMD 904是图7A和图7B的HMD 700的示例，并且具有下部区域802和前部区域804，不同之处在于HMD 904具有两个相机604A和604B，而不是一个相机。

相机604A和604B的位置与以上参照图9A所述相同，不同之处在于相机604A和604B两者被定位成距前部区域804的距离与距图7A的框架705的距离大致相同或大致相同。例如，相机604A和604B被定位成距前部区域804的距离与距图7A的框架705的距离相同。参考坐标R8在HMD 904的相机604A处，并且参考坐标R9在HMD 904的相机604B处。

图9C是HMD 906的实施方案的仰视图的图，用于示出相机604A和604B在HMD 902的下部区域802处的位置。HMD 906是图7A和图7B的HMD 700的示例，并且具有下部区域802和前部区域804，不同之处在于HMD 906具有两个相机604A和604B，而不是一个相机。

相机604A和604B的位置与以上参照图9A所述的位置相同，不同之处在于相机604A和604B两者被定位成距图7A的框架705比距前部区域804更近。参考坐标R10(诸如原点(0,0,0))位于HMD 906的相机604A处，并且参考坐标R11位于HMD 906的相机604B处。参考坐标R11是HMD 906的相机604B处的原点(0,0,0)。

图10A是系统1000的实施方案的图，用于示出参照参考坐标系(诸如具有参考坐标RC的xyz坐标系)确定HMD 1002的位置。参考坐标RC是原点(0,0,0)。参考坐标RC位于墙壁W2上的一个点。具有参考坐标RC的参考坐标系具有x轴、y轴和z轴。

HMD 1002是图7的HMD 700的示例。HMD 1002具有相机108和另一个相机1004。相机1004位于HMD 1002的前部区域1006上。例如，相机1004的镜头延伸穿过前部区域1006以面向HMD 1002前方的真实世界环境。相机1004是朝向外部的相机。前部区域1006是图7A的前部区域704的示例。相机1004和108两者经由相同的有线或无线连接耦合到计算装置112。

相机1004捕获在HMD 1002前方的真实世界环境的一个或多个图像。例如，相机1004捕获墙壁W2或墙壁W1的图像。相机1004经由有线连接将图像发送到计算装置112。计算装置112经由计算机网络114(图1A)将图像传送到游戏云系统116(图1A)。游戏云系统116从相机1004接收图像，并且参照具有参考坐标RC的参考坐标系来确定HMD 1002的位置和取向。例如，游戏云系统116确定相机1004在x方向上距参考坐标RC的距离、相机1004在y方向上距参考坐标RC的距离，以及相机1004在z方向上距参考坐标RC的距离。游戏云系统116确定相机1004相对于参考坐标RC的x轴的角度、相机1004相对于参考坐标RC的y轴的角度，以及相机1004相对于参考坐标RC的z轴的角度。游戏云系统116参照具有参考坐标RC的参考坐标系，根据HMD 1002的位置和取向来改变虚拟场景的状态。

图10B是系统1020的实施方案的图，用于示出使用投影仪A和B以及HMD 1024上的检测器来确定HMD 1024的位置和取向。系统1020具有HMD 1024，并且相机108被装配到HMD1024的下部区域。HMD 1024是图7A和图7B的HMD 700的示例。系统1020还包括计算装置112、HHC 102以及投影仪A和B。如本文所用的投影仪的示例是包括激光光源和反射镜的投影仪。激光光源生成投射到反射镜上的光，该反射镜相对于多个轴移动，从而以预定图案(诸如Lissajous图案)反射光。被反射的光在真实世界环境中的体积内形成预定图案。

HMD 1024具有多个检测器D1、D2、D3、D4、D5和D6。检测器位于HMD 1024的前部区域。如本文所用，检测器的示例是光电传感器或具有将光转换为电流(其是电信号的示例)的p-n结的传感器。HMD 1024经由有线或无线连接耦合到计算装置112。类似地，HMD 1024经由有线或无线连接耦合到投影仪A，并且HMD 1024经由有线或无线连接耦合到投影仪B。

投影仪A和B发射光以在真实世界环境内形成预定图案的体积。检测器D1至D6检测体积内的光以输出多个电信号。例如，每个检测器D1至D6输出对应的电信号。HMD 1024将电信号内的信息(诸如光亮度)发送到计算装置112。计算装置112经由计算机网络114(图1A)将从HMD 1024接收的信息发送到游戏云系统116(图1A)。游戏云系统116处理该信息以确定HMD 1024相对于投影仪A的参考坐标系(诸如xayaza坐标系)的取向。类似地，游戏云系统116处理该信息以确定HMD 1024相对于投影仪B的参考坐标系(诸如xbybzb坐标系)的取向。xayaza参考坐标系具有xa轴、ya轴和za轴。ya轴垂直于xa轴，并且za轴垂直于ya轴和xa轴。类似地，xbybzb参考坐标系具有xb轴、yb轴和zb轴。yb轴垂直于xb轴，并且zb轴垂直于yb轴和xb轴。游戏云系统116根据由检测器D1至D6输出的电信号的强度确定HMD 1024相对于xayaza参考坐标系的取向，该取向包括HMD 1024相对于xa轴的角度、HMD 1024相对于ya轴的角度，以及HMD 1024相对于za轴的角度。此外，游戏云系统116根据由检测器D1至D6输出的电信号的强度确定HMD 1024相对于xbybzb坐标系的取向，该取向包括HMD 1024相对于xb轴的角度、HMD 1024相对于yb轴的角度，以及HMD 1024相对于zb轴的角度。

此外，游戏云系统114根据HMD 1024相对于参考坐标系xayaza和xbybzb的取向确定HMD 1024距参考坐标系xayaza的参考坐标(诸如原点)的位置，以及HMD 1024距参考坐标系xbybzb的参考坐标(诸如原点)的位置。例如，游戏云统系114应用三角测量，以基于HMD1024相对于参考坐标系xayaza的取向和HMD 1024相对于参考坐标系xbybzb的取向来确定HMD 1024的位置。确定HMD 1024相对于投影仪A的位置和HMD 1024相对于投影仪B的位置的示例在美国专利申请第15/472,193号中提供，该专利申请现在发布为美国专利第9,983,692号，其全部内容以引用方式并入本文。

游戏云系统114根据HMD 1024相对于参考坐标系xayaza或参考坐标系xbybzb的取向以及HMD 1024相对于参考坐标系xayaza和xbybzb的位置确定改变虚拟场景的状态。此外，游戏云系统114根据经由计算装置112和计算机网络114从相机108接收的图像确定HHC102相对于HMD 1024的位置和取向。由游戏云系统116处理HHC 102相对于HMD 1024的参考坐标系(诸如XYZ坐标系)的位置和取向，以改变虚拟场景的状态。

游戏云系统116生成具有虚拟场景的状态变化的一个或多个帧，并且对所述帧进行编码以输出经编码帧。经编码帧经由计算机网络114从游戏云系统116被发送到计算装置112。计算装置112对经编码帧进行解码以输出图像帧，并且经由有线或无线连接将图像帧发送到HMD 1024。HMD 1024将渲染程序应用于从计算装置112接收的图像帧，以在HMD 1024的显示屏上显示虚拟场景的一个或多个图像。

在一个实施方案中，HMD 1024具有另一数量的(诸如五个或四个或十个)检测器。

在一个实施方案中，除了位于HMD 1024的前部区域上之外，多个检测器还位于HMD1024的头带上。

图11是系统1100的实施方案的图，用于示出航位推算法。系统110包括HMD 104、HHC 102和计算装置112。当HHC 102在HMD 104的相机108的FOV 110之外时，HHC 102的一个或多个惯性传感器(诸如磁力计、加速器和陀螺仪)生成惯性数据，诸如HHC 102的加速度的测量结果、HHC 102的位置的测量结果、HHC 102的角速度的测量结果，以及HHC 102相对于惯性传感器的坐标系的取向的测量结果。例如，HHC 102的陀螺仪测量HHC 102相对于陀螺仪的坐标系的取向的角速度。HHC 102的陀螺仪的坐标系具有自旋轴。HHC 102的惯性传感器的坐标系是真实世界环境的坐标系的示例。由HHC 102的传感器生成的惯性数据是由HHC102生成的输入数据的示例。

HHC 102包括通信装置，该通信装置经由有线或无线连接将来自HHC 102的输入数据传送到计算装置112。例如，HHC 102的Wi-Fi^TM通信装置或Bluetooth^TM通信装置被耦合到HHC 102的惯性传感器，并且传送从惯性传感器接收的输入数据。输入数据经由无线连接从HHC 102的Wi-Fi^TM通信装置或Bluetooth^TM通信装置被传送到计算装置112。

此外，相机108经由有线或无线连接将由相机108在FOV 110内捕获的一个或多个图像发送到计算装置112。例如，HHC 102的通信装置从相机108接收图像，并且经由无线连接将图像发送到计算装置112。计算装置112经由计算机网络114将从相机108接收的图像发送或引导并且将从HHC 102接收的输入数据发送或引导到游戏云系统116。

游戏云系统116根据从HMD 104的相机108接收的图像确定是否可以确定控制器102的位置和取向。例如，游戏云系统116将HHC 102的形状与手持式控制器的预定形状进行比较，以确定在HHC 102的形状和预定形状之间是否存在匹配。在确定未发生匹配时，游戏云系统116确定无法根据图像确定HHC 102相对于相机108的当前位置和当前取向。在确定无法根据图像确定HHC 102的当前位置和当前取向时，游戏云系统116根据从HHC 102接收的输入数据以及根据HHC 102的先前确定的位置和先前确定的取向，确定HHC 102在真实世界环境中的当前位置和当前取向。例如，游戏云系统116根据在HHC 102处于FOV 110外之前由相机108捕获并且被接收的一个或多个图像来确定先前确定的位置。游戏云系统116还根据HHC 102的加速度、先前确定的位置、用于确定先前确定的位置的图像被相机108捕获的先前时间以及用于HHC 102的当前位置的输入数据被HHC 102生成的当前时间来确定HHC102的当前位置。HHC 102将经由计算装置112和计算机网络114生成输入数据的当前时间提供给游戏云系统116。游戏云系统116经由计算装置112和计算机网络114从相机108接收用于确定先前确定的位置的图像被相机108捕获的先前时间。作为另一示例，游戏云系统116根据在HHC 102处于FOV 110外之前由相机108捕获并且被接收的一个或多个图像来确定先前确定的取向。游戏云系统还根据HHC 102的角速度、先前确定的取向、用于确定先前确定的取向的图像被相机108捕获的先前时间以及用于确定HHC 102的当前取向的输入数据被HHC 102输出的当前时间来确定HHC 102的当前取向。HHC 102发送用于确定HHC 102的当前取向的输入数据被输出的当前时间。当前时间经由计算装置112和计算机网络114从HHC102被发送到游戏云系统116。经由计算装置112和计算机网络114从相机108接收用于确定先前确定的取向的图像被相机108捕获的先前时间。一旦HHC 102在离开FOV 110之后回到FOV 110中，游戏云系统116就根据从相机108接收的图像确定HHC 102相对于相机108的参考坐标系的位置和取向。

应当注意，在一个实施方案中，HMD 104内的时钟源与HHC 102内的时钟源同步。例如，虚拟场景的状态由游戏云系统116基于在时间t1处HHC 102相对于相机108的位置和取向以及在同一时间t1处HMD 104相对于真实世界环境的位置和取向来生成。时钟源的示例包括数字时钟源，诸如时钟发生器、时钟振荡器和处理器。如果HMD 104和HHC 102的时钟源之间的计时存在差异，则基于HMD 104在真实世界环境中的位置和取向以及HHC 102相对于相机108的位置和取向来确定状态时，存在不准确性。如果状态不正确，则在HMD 104上显示的虚拟场景不准确。这样，HMD 104的时钟源与HHC 102的时钟源同步。

在一个实施方案中，HMD 104的时钟源与HHC 102的时钟源同步。例如，HMD 104的时钟源经由计算装置112从计算机网络114接收时钟信号，并且使由HMD 104的时钟源生成的时钟信号与从计算机网络114接收的时钟信号同步。类似地，HHC 102的时钟源经由计算装置112从计算机网络114接收时钟信号，并且使由HHC 102的时钟源生成的时钟信号与从计算机网络114接收的时钟信号同步。作为另一示例，游戏云系统114经由计算机网络114和计算装置112向HMD 104和HHC 102两者发送指示时钟信号的高逻辑状态或低逻辑状态的同步信号以使HMD 104的时钟信号与HHC 102的时钟信号同步。

在一个实施方案中，使HMD 104、HHC 102和游戏云系统116的时钟信号同步。例如，HMD 104的时钟源经由计算装置112从计算机网络114接收时钟信号，并且使由HMD 104的时钟源生成的时钟信号与从计算机网络114接收的时钟信号同步。类似地，HHC 102的时钟源经由计算装置112从计算机网络114接收时钟信号，并且使由HHC 102的时钟源生成的时钟信号与从计算机网络114接收的时钟信号同步。此外，游戏云系统116的时钟源从计算机网络114接收时钟信号，并且使由游戏云系统116的时钟源生成的时钟信号与从计算机网络114接收的时钟信号同步。

在一个实施方案中，惯性数据由HHC 102的惯性传感器测量，而与HHC 102是否在HMD 104的相机108的FOV 110内无关。例如，当HHC 102在FOV 110内时，由HHC 102的惯性传感器测量惯性数据。

在一个实施方案中，由HMD 104的惯性传感器测量到的惯性数据经由有线或无线连接被发送到计算装置112。此外，由HHC 102的惯性传感器测量到的惯性数据经由有线或无线连接被发送到计算装置112。计算装置112经由网络114将从HMD 104接收的惯性数据和从HHC 102接收的惯性数据发送到游戏云系统116。游戏云系统116根据由HHC 102测量到的惯性数据和由HMD 104测量到的惯性数据确定HHC 102相对于HMD 104的位置和取向。例如，游戏云系统116确定HMD 104相对于真实世界环境的y轴的取向为角度M1，并且HHC 102相对于真实世界环境的y轴的取向为角度N1。游戏云系统116确定HHC 102相对于HMD 104的Y轴的取向是角度M1和N1之和。作为另一示例，游戏云系统116参照真实世界环境的参考坐标来确定HMD 104沿真实世界环境的x轴的位置是位置A1。游戏云系统116还参照真实世界环境的参考坐标来确定HHC 104沿真实世界环境的x轴的位置是位置B1。游戏云系统116确定HHC102相对于HMD 104的位置的位置是位置A1和B1之和。

图12是系统1200的实施方案的图，用于示出基于HHC 102的图像被HMD 1204的不同相机108、1202A和1202B捕获的时间来拼接图像帧。HMD 1204是图7A的HMD 700的示例。相机1202A位于前部区域704(图7A)的一部分上，并且相机1202B位于前部区域704的另一部分上。例如，相机1202A被装配到前部区域704的右半部分，并且相机1202B被装配到前部区域74的左半部分。为了进一步说明，与光源707A相比，相机1202A更靠近光源707B(图7A)，并且与光源707B相比，相机1202B更靠近光源707A。

相机1202A具有面向用户106的右侧的FOV 1208A，并且相机1202B具有面向用户106的左侧的FOV 1208B。比较而言，FOV 110向下面向地板F。用户106将HHC 102从FOV 110内的位置2移动至在FOV 110之外且在FOV 1208A之内的位置4。

相机108捕获FOV 110内的HHC 102的一个或多个图像，并且经由有线或无线连接将图像发送到计算装置112。另外，HMD 1204的时钟源被耦合到相机108以确定相机1208A捕获图像的时间tx并且经由有线或无线连接将时间tx发送到计算装置112。计算装置112经由计算机网络114将FOV 110内的HHC 102的图像和时间tx发送到游戏云系统116。

类似地，相机1202A捕获FOV 1208A内的HHC 102的一个或多个图像，并且经由有线或无线连接将图像发送到计算装置112。另外，HMD 1204的时钟源被耦合到相机1202A以确定相机1202A捕获图像的时间ty并且经由有线或无线连接将时间ty发送到计算装置112。计算装置112经由计算机网络114将FOV 1208A内的HHC 102的图像和时间ty发送到游戏云系统116。

游戏云系统116确定时间ty与时间tx是连续的。例如，游戏云系统116确定时间tx在时间ty之前，并且在时间tx和时间ty之间没有相机108和1202A捕获的其他图像。游戏云系统116根据从相机108接收的图像确定针对时间tx的HHC 102的位置和取向，并且根据从相机1202A接收的图像确定针对时间ty的HHC 102的位置和取向。游戏云系统116还确定无法根据在时间ty处由相机108输出的图像确定HHC 102的位置和取向。游戏云系统116根据从HHC 102的位置和取向确定的虚拟场景的状态变化来生成图像帧X，并且该位置和取向根据由相机108捕获的图像确定。此外，游戏云系统116根据从HHC 102的位置和取向确定的虚拟场景的另外的状态变化来生成图像帧Y，并且该位置和取向根据由相机1202A捕获的图像确定。

游戏云系统116基于时间tx和时间ty将图像帧Y与图像帧X拼接。例如，游戏云系统116确定首先根据图像帧X然后根据图像帧Y来改变虚拟场景。游戏云系统116以图像帧X和Y将经由计算机网络114显示在HMD 1204上的顺序将所述图像帧发送到计算装置112。图像帧X将在显示图像帧Y之前进行显示。计算装置112经由有线或无线连接将图像帧X和Y发送到HMD 1204。HMD 1204在显示图像帧Y之前显示图像帧X。以类似的方式，当HHC 102在FOV1208B之内并且在FOV 110和1208A之外时，由相机1202B捕获的图像被游戏云系统116用来确定HHC 102的位置和取向以进一步改变虚拟场景的状态。

应当注意，本文所述的由游戏云系统114执行的功能由游戏云系统114的一个或多个服务器或一个或多个服务器的一个或多个处理器执行。类似地，应当注意，本文所述的由计算装置112执行的功能由计算装置112的一个或多个处理器执行。

在一个实施方案中，本文所述的由游戏云系统116执行的一个或多个功能替代地由计算装置112执行。

在一个实施方案中，游戏云系统116以与以上参照相机1202A和108所述的方式类似的方式将由相机752A、108、752B(图7C)、754A、754B和754C(图7D)中的两个或更多个相机捕获的图像拼接在一起以改变虚拟场景的状态。

图13是HMD 1300的等距视图，HMD 1300是HMD 104(图1A)的示例。HMD 1300包括带1302和1304，当被用户106佩戴时，所述带在用户106(图1A)的头部的后面。此外，HMD 1300包括耳机1306A和1306B(例如扬声器等)，所述耳机发出与通过应用程序(例如,游戏程序、交互式环境生成程序等)的执行呈现的交互式环境(例如，游戏环境、虚拟场景、虚拟场景中的对象、交互式游览环境等)相关联的声音。HMD 1300包括镜头1308A和1308B，所述镜头允许用户106观看在HMD 1300的显示屏上显示的交互式环境。凹槽1380搁置在用户106的鼻子上以将HMD 1300支撑在鼻子上。

在一些实施方案中，用户106以与用户106佩戴太阳镜、眼镜或老花镜类似的方式来佩戴HMD 1300。

图14示出了根据本公开中描述的实施方案的用于视频游戏的交互式玩游戏过程的系统。用户106被示出正在佩戴HMD 104。HMD 104以类似于眼镜、护目镜或头盔的方式佩戴，并且被配置为向用户106显示视频游戏或其他内容。HMD 104通过在用户眼睛附近提供显示机构(例如，光学器件和显示屏)以及递送至HMD 104的内容格式，为用户106提供沉浸式体验。在一个示例中，HMD 104向用户106的每只眼睛提供显示区域，并且所述显示区域占据用户106的眼睛的大部分或甚至整个视场。作为另一示例，用户106感觉好像他/她处于HMD 104上显示的交互式环境中，例如作为其一部分等等。

在一个实施方案中，HMD 104连接到计算机1402，该计算机是计算装置112(图1A)的示例。与计算机1402的连接是有线或无线的。在一个实施方案中，计算机1402是任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板计算机、移动装置、智能电话、平板计算机、瘦客户端、机顶盒、媒体流装置、智能电视等。在一些实施方案中，HMD 104直接连接到互联网，这可以允许进行云游戏而无需单独的本地计算机。例如，计算机1402的功能性被集成到HMD 104的一个或多个处理器中。在一个实施方案中，计算机1402执行视频游戏(和其他数字内容)，并且从视频游戏输出视频和音频数据以供HMD 104渲染。

在一个实施方案中，计算机1402是本地或远程计算机，并且计算机1402运行仿真软件。在云游戏实施方案中，计算机1402是远程计算机，诸如在游戏云系统116内，并且由在数据中心中实现的多个计算服务来表示，其中采用游戏系统/逻辑并且通过计算机网络114将其分发给用户106。

用户106操作HHC 102以提供用于交互式环境的输入数据。在一个示例中，相机C1捕获用户106所处的真实世界环境的图像。相机C1是相机118(图1A)的示例。分析这些捕获的图像以确定用户106、HMD 104和HHC 102的位置和移动。在一个实施方案中，HHC 102包括一个或多个灯，对该一个或多个灯进行跟踪以确定其位置和取向。另外，在一个实施方案中，HMD 104包括一个或多个灯，这些灯作为标记被跟踪以在交互式环境的显示期间基本上实时地确定HMD 104的位置和取向。

在一个实施方案中，相机C1包括传声器阵列中的一个或多个传声器，以捕获来自真实世界空间的声音。处理由相机C1的传声器阵列捕获的声音以标识声源的位置。选择性地利用或处理来自所标识位置的声音，以排除不是来自所标识位置的其他声音。此外，在一个实施方案中，相机C1包括多个图像捕获装置，例如立体相机对、红外(IR)相机、深度相机，以及它们的组合。

在一些实施方案中，计算机1402在计算机1402的处理硬件(诸如一个或多个处理器)上在本地执行游戏。游戏或内容以任何形式获得，诸如以物理介质形式(例如，数字光盘、磁带、卡、拇指驱动器、固态芯片或卡等)获得，或者通过从计算机网络114下载的方式获得。在一个实施方案中，计算机1402用作通过计算机网络114与游戏云系统116通信的客户端。游戏云系统116维护并且执行用户106正在玩的视频游戏。计算机1402将从HMD 104和HHC 102接收的输入数据和/或从相机C1接收的图像传输到游戏云系统116，该游戏云系统处理所述输入数据和图像以影响虚拟场景的游戏状态。来自执行视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)被传输到计算机1402。计算机1402在传输之前进一步处理数据，或者将数据直接传输到相关装置。例如，将视频和音频流提供给HMD 104，而将振动反馈命令提供给HHC 102。

在一个实施方案中，HMD 104、HHC 102和相机C1是连接到计算机网络114以与游戏云系统116通信的联网装置。例如，计算机1402是本地网络装置(诸如路由器)，该本地网络装置不以其他方式执行视频游戏处理，但是促进网络流量的通过，诸如发送和接收。HMD104、HHC 102和相机C1与计算机网络114的连接是有线或无线的。在一些实施方案中，从内容源1416中的任何内容源获得在HMD 104上显示或者在显示装置1414(例如，电视机、液晶显示器(LCD)显示装置、发光二极管(LED)显示装置、等离子显示装置、计算机监视器等)上显示的内容。示例性内容源包括例如提供可下载内容和/或流媒体内容的互联网网站。在一些示例中，内容包括任何类型的多媒体内容，诸如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站、交互式游览内容、卡通内容等。

在一个实施方案中，用户106正在HMD 104上玩游戏，其中此类内容是沉浸式三维交互式内容。当用户106正在玩时，HMD 104上的内容被共享给显示装置1414。在一个实施方案中，共享给显示装置1414的内容允许靠近用户106的其他用户或远程的其他用户在用户106的玩游戏过程时进行观看。在另外的实施方案中，在显示装置1414上观看用户106的玩游戏过程的另一个玩家以与用户106互动的方式参与。例如，在显示装置1414上观看玩游戏过程的用户控制游戏场景中的角色，提供反馈，提供社交互动并且/或者(经由文本、经由语音、经由动作、经由手势等)提供评论，这使得未佩戴HMD 104的用户能够与用户106进行社交互动。

在一个实施方案中，本文所指的计算机1402包括个人计算机、或游戏控制台、或平板计算机、或智能电话、或机顶盒、或信息亭、或无线装置，或数字小键盘、或独立装置、或手持式玩游戏装置等。在一个实施方案中，计算机1402接收经编码视频流，对视频流进行解码，并且将所得的视频呈现给用户106，例如游戏玩家。接收经编码视频流和/或对视频流进行解码的过程通常包括将各个视频帧存储在计算机1402的接收缓冲器中。视频流在与计算机1402集成的显示器上或者在单独装置(诸如监视器或电视或HMD)上呈现给用户106。

在一个实施方案中，计算机1402支持一个以上的游戏玩家。例如，游戏控制台支持两个、三个、四个或更多的同时玩家(例如，P1、P2、......、Pn)。这些玩家中的每一个玩家接收或共享视频流，或者单个视频流包括针对每个玩家专门生成的(例如，基于每个玩家的视角生成的)帧的区域。任何数量的计算机是本地的(例如，位于相同的位置)或者在地理上分散。游戏系统中包括的计算机的数量从一至两台到数千台、数万台、甚至更多。如本文所用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的装置。

在一些实施方案中，玩游戏装置是指多个计算装置，所述多个计算装置协作以向用户提供游戏体验。例如，游戏控制台和HMD与视频服务器系统协作以递送通过HMD观看的游戏。作为另一示例，游戏控制台从视频服务器系统接收视频流，并且游戏控制台将视频流或对视频流的更新转发到HMD和/或电视以进行渲染。

更进一步地，HMD用于观看所产生或使用的任何类型的内容和/或与之交互，所述内容例如视频游戏内容、电影内容、视频剪辑内容、web内容、广告内容、竞赛内容、游戏内容、电话会议/开会内容、社交媒体内容(例如，发布、消息、媒体流、好友事件和/或玩游戏)、视频部分和/或音频内容，以及为了通过互联网经由浏览器和应用程序从来源消费而制作的内容和任何类型的流媒体内容。当然，内容的前述列表不是限制性的，因为只要在HMD中被观看或被渲染到屏幕或HMD的屏幕上，任何类型的内容都被渲染。

在一个实施方案中，计算机还包括修改所接收的视频的系统。例如，计算机执行其他渲染、将一个视频图像覆盖在另一个视频图像上、裁剪视频图像，等等。作为另一示例，计算机接收各种类型的视频帧，诸如I帧、P帧和B帧，并且将这些帧处理成用于向用户显示的图像。在一些实施方案中，计算机的一部分对视频流执行进一步的渲染、着色、转换为3-D、转换为二维(2D)图像、失真消除、设定大小等操作。在一个实施方案中，计算机的一部分接收一个以上的音频或视频流。

计算机的输入装置包括例如单手游戏控制器、或双手游戏控制器、或手势识别系统、或视线识别系统、或语音识别系统、或键盘、或操纵杆、或指向装置、或力反馈装置、或运动和/或位置感测装置、或鼠标、或触摸屏、或神经接口、或相机、或它们中的两种或多于两种的组合等。

视频源包括渲染逻辑，例如存储在计算机可读介质(诸如存储装置)上的硬件、固件和/或软件。渲染逻辑基于游戏状态来创建视频流的视频帧。渲染逻辑的全部或一部分任选地被设置在一个或多个图形处理单元(GPU)内。渲染逻辑包括用于基于游戏状态和视角来确定对象之间的三维空间关系以及/或者应用适当纹理等的处理阶段。渲染逻辑产生经编码的原始视频。例如，原始视频根据Adobe标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、realvideo、mp3等进行编码。编码过程产生视频流，任选地将该视频流打包以递送至装置上的解码器。视频流通过帧大小和帧速率来表征。典型的帧大小包括800×600像素、1280×720像素、1024×768像素、1080像素，但是可以使用任何其他帧大小。帧速率是每秒的视频帧数。在一个实施方案中，视频流包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示装置上的所有宏块/像素的信息，而P帧包括用于刷新其子集的信息。P帧的数据大小通常比I帧小。如本文所使用的，术语“帧大小”意在指帧内的像素的数量。术语“帧数据大小”用于指代存储帧所需的字节数。

在一些实施方案中，计算机是通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算装置、便携式游戏装置、蜂窝电话、机顶盒、流媒体接口/装置、智能电视机、或联网显示器、或能够被配置为实现本文所定义的计算机的功能性的任何其他计算装置。在一个实施方案中，云游戏服务器被配置为检测用户106正在使用的计算机的类型，并且提供适合于用户计算机的云游戏体验。例如，图像设置、音频设置和其他类型的设置已针对用户的计算机进行了优化。

图15示出了根据本公开中描述的实施方案的头戴式显示器(HMD)1500。HMD 1500是HMD 104(图1A)的示例，其长度1504从HMD 1500的正面1506的一端延伸至HMD 1500的正面1506的相对端。正面1506是前部区域704(图7A)的示例。如图所示，HMD 1500包括多个光源1502A至1502H、1502J和1502K(例如，其中1502K和1502J被定位成朝向HMD头带的背部或后侧)。这些灯中的每一个灯都具有特定的形状和/或位置，并且具有相同或不同的颜色。灯1502A、1502B、1502C和1502D被布置在HMD 1500的前表面上。灯1502E和1502F被布置在HMD1500的侧表面上。并且灯1502G和1502H被布置在HMD 1500的拐角处，以便跨越HMD 1500的前表面和侧表面。应当理解，在用户106使用HMD 1500的交互式环境的所捕获的图像中标识灯。

基于对HMD 1500的灯的标识和跟踪，确定HMD 1500在交互式环境中的位置和取向。还应当理解，根据HMD 1500相对于图像捕获装置(例如，相机、数码相机、深度相机、红外相机等)的特定取向，一些灯是可见的或不可见的。此外，根据HMD 1500相对于图像捕获装置的取向，暴露灯的不同部分(例如，灯1502G和灯1502H)以用于图像捕获。在一些实施方案中，惯性传感器被设置在HMD 1500中，所述惯性传感器提供关于定位的反馈，而不需要灯。在一些实施方案中，HMD 1500的灯和惯性传感器一起工作，以使得能够混合和选择位置/运动数据。

在一个实施方案中，HMD 1500的灯被配置为向真实空间中的其他用户指示HMD1500的当前状态。例如，一些或所有灯具有颜色布置、亮度布置、闪烁，具有开/关配置或指示HMD 1500的当前状态的其他布置。例如，HMD 1500的灯在视频游戏的活动的玩游戏过程(通常为在活动时间线期间或在游戏场景内发生的玩游戏过程)期间显示与视频游戏的其他非活动的玩游戏过程方面不同的配置，诸如导航菜单界面或者配置游戏设置(在此期间，游戏时间线或场景不活动或暂停)。

在一个实施方案中，灯指示玩游戏过程的相对强度水平。例如，当玩游戏过程的强度增加时，灯的亮度或闪烁的速率将增加。

在一个实施方案中，HMD 1500另外包括一个或多个传声器。在所示实施方案中，HMD 1500包括位于HMD 1500的前表面上的传声器1504A和1504B以及位于HMD 1500的侧表面上的传声器。通过利用传声器阵列，处理来自每个传声器的声音以确定声源的位置。以各种方式利用该信息，包括排除不想要的声源、将声源与视觉识别相关联，等等。

HMD 1500包括一个或多个图像捕获装置，诸如相机。在所示实施方案中，HMD 1500被示为包括图像捕获装置1506A和1506B。在一个实施方案中，通过利用一对立体图像捕获装置，从HMD 1500的角度捕获HMD 1500前方的真实世界环境的3D图像和视频。在佩戴HMD1500时将此类视频呈现给用户以向用户106提供“视频透视”能力。即，尽管从严格意义上来说用户106不能透视HMD 1500，但是由图像捕获装置1506A和1506B捕获的视频仍然可以提供能够看到HMD 1500外部的真实世界环境的等效功能，就像透视HMD 1500一样。

在一个实施方案中，此类视频用交互式元素进行增强以提供增强现实体验，或者可以其他方式与交互式元素组合或混合。尽管在所示实施方案中，在HMD 1500的前表面上示出了两个相机，但应当理解，在HMD 1500上可以安装有任意数量的面向外部的相机或单个相机，并且沿任意方向定向。例如，在另一个实施方案中，可以在HMD 1500的侧面上安装相机以提供环境的附加全景图像捕获。

图16示出了使用计算机1402的玩游戏过程的一个示例，该计算机能够生成视频游戏内容并且将其提供给用户106所佩戴的HMD 104，以在HMD 104上进行渲染。在该图示中，提供给HMD 104的虚拟对象(例如，游戏内容等)的状态处于丰富的交互式3D空间中。如上所述，在一个实施方案中，交互式对象的状态被下载到计算机1402或由游戏云系统116执行。游戏云系统116包括用户的用户标识符1604的数据库，所述用户被允许访问特定的游戏1630、与其他好友共享经验、发表评论，以及管理他们的账户信息。

游戏云系统116存储针对特定用户标识符的游戏数据1606，并且游戏数据1606可在玩游戏过程期间使用，用于将来的玩游戏过程中，用于共享给社交媒体网络或者用于存储奖品、奖励、状态、排名等。社交数据1608由游戏云系统116管理。在一个实施方案中，社交数据1608由单独的社交媒体网络管理，该单独的社交媒体网络通过计算机网络114与游戏云系统116对接。通过计算机网络114，包括计算机1402的任意数量的计算机1610被连接以访问内容并且与其他用户进行交互。

继续图16的示例，在HMD 104中观看的三维交互式场景包括玩游戏过程，诸如在3D视图中示出的角色或另一个交互式环境。一个角色(例如P1等)由佩戴HMD 104的用户106控制。该示例示出了两个玩家之间的打篮球场景，其中由HMD用户106控制的角色(诸如虚拟形象)正在将球扣向3D视图中的另一个角色。另一个角色是游戏的AI(人工智能)角色，或者由另一个或多个玩家(Pn)控制。相机1612被示出为定位在房间中的显示屏上方，但是供HMD使用。在一个实施方案中，相机1612被放置在捕获HMD 104的图像的任何位置。相机1612是相机C1(图14)的一个示例。这样，用户106被示出为转动成与相机1612成约90度。从相机1612的角度来看，显示装置1613显示在HMD 104中渲染的内容，并且显示装置1613内的场景取决于HMD 104被定位的方向。当然，在HMD使用期间，用户106根据需要来回走动、转动头部、看向各个方向，以利用由HMD 104渲染的动态交互式场景。

参照图17，示出了例示根据本公开中描述的实施方案的HMD 1700的示例性部件的图。HMD 1700是以下各项的示例：HMD 104(图1)、或HMD 602(图6)、或HMD 700(图7A和图7B)、或HMD 800(图8A)、或HMD 820(图8B)、或HMD 822(图8C)、或HMD 824(图8D)、或HMD 826(图8E)、或HMD 902(图9A)、或HMD 904(图9B)、或HMD 906(图9C)、或HMD 1002(图10A)、或HMD 1024(图10B)、或HMD 1204(图12)、或HMD 1300(图13)、或HMD 1500(图15)。应当理解，在一个实施方案中，根据启用的配置和功能，HMD 1700包括或不包括更多或更少的部件。HMD 1700包括用于执行程序指令的处理器1702。存储器1704被提供用于存储目的，并且在一个实施方案中，包括易失性存储器和非易失性存储器两者。包括显示器1706，该显示器提供用户106观看的视觉界面。显示器1706的示例包括具有一个或多个显示屏的一个或多个显示装置。

显示器1706由单个显示器或以针对每只眼睛的单独显示屏的形式限定。当提供两个显示屏时，有可能单独地提供左眼和右眼视频内容。将视频内容分别呈现给每只眼睛例如会提供对3D内容的更好的沉浸式控制。如本文所述，在一个实施方案中，通过使用用于一只眼睛的输出，然后将内容格式化以用于以2D格式显示，来向第二屏幕提供HMD 1700的第二屏幕内容。在一个实施方案中，一只眼睛是左眼视频馈送，但在其他实施方案中，是右眼视频馈送。

电池1708被设置为HMD 1700的部件的电源。在其他实施方案中，电源可以包括至电源的插座连接。在其他实施方案中，提供了至电源和电池1708的插座连接。运动检测模块1710包括各种运动敏感硬件中的任一种，诸如磁力计1712、加速度计1714和陀螺仪1716。

如本文所述，加速度计是用于测量加速度和重力感应反作用力的装置。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量值和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中，三个加速度计用于提供重力方向，所述重力方向给出了两个角度(世界空间俯仰角和世界空间滚转角)的绝对基准。

如本文所述，磁力计测量HMD附近的磁场的强度和方向。在一个实施方案中，在HMD内使用三个磁力计，以确保世界空间偏航角的绝对基准。在一个实施方案中，磁力计被设计为跨越±80微特斯拉的地球磁场。磁力计受金属影响，并且提供随实际偏航单调变化的偏航测量结果。磁场由于环境中的金属而发生翘曲，从而导致偏航测量结果发生翘曲。如有必要，使用来自诸如陀螺仪或相机之类的其他传感器的信息来校准这种翘曲。在一个实施方案中，加速度计1714与磁力计1712一起使用以获得HMD 1700的倾斜度和方位角。

如本文所用，陀螺仪是用于基于角动量原理来测量或维持取向的装置。在一个实施方案中，三个陀螺仪基于惯性感测提供关于跨相应的轴(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪在没有绝对基准的情况下随时间漂移。为了减少漂移，定期重置陀螺仪，这使用其他可用信息进行，所述其他可用信息诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/取向确定。

相机1718被提供用于捕获真实世界环境的图像和图像流。相机1718是以下各项的示例：HMD 104的相机108、或HMD 602的相机604A(图6)、或HMD 602的相机604B、或HMD 700的相机710(图7A)、或相机752A(图7C)、或相机752B(图7C)、或相机754A(图7D)、或相机754B(图7D)、或相机754C(图7D)。在一个实施方案中，HMD 1700中(任选地)包括一个以上的相机，包括面向背部(例如面向外部(当用户106正在观看HMD 1700的显示器时远离用户106指向)等)的相机，以及面向前部(当用户正在观看HMD 1700的显示器时朝向用户106指向)的相机。另外，在一个实施方案中，在HMD 1700中包括深度相机1720，用于感测真实世界环境中的对象的深度信息。深度相机1720是面向外部的相机。深度相机1720是以下各项的另一个示例：HMD 104的相机108、或HMD 602的相机604A(图6)、或HMD 602的相机604B、或HMD700的相机710(图7)、或相机752A(图7C)、或相机752B(图7C)、或相机754A(图7D)、或相机754B(图7D)、或相机754C(图7D)。

HMD 1700包括用于提供音频输出的扬声器1722。此外，在一个实施方案中，包括传声器1724，用于捕获来自真实世界空间的音频，包括来自周围环境的声音、用户106的语音等。在一个实施方案中，HMD 1700包括触觉反馈模块1726(例如触觉反馈装置等)，用于向用户106提供触觉反馈。在一个实施方案中，触觉反馈模块1726能够引起HMD 1700的移动和/或振动，以便向用户106提供触觉反馈。

提供LED 1730作为HMD 1700的状态的视觉指示器。例如，LED指示电池电量、通电等。提供读卡器1732以使得HMD 1700能够从存储卡读取信息和向存储卡写入信息。USB接口1734被包括作为用于实现外围装置的连接或与诸如其他便携式装置、计算机等其他装置的连接的接口的一个示例。在HMD 1700的各种实施方案中，可以包括各种接口中的任一者以实现HMD 1700的更大连接性。

在一个实施方案中，包括Wi-Fi^TM模块1736，以使得能够经由无线联网技术连接到计算机网络114或计算装置112。同样，在一个实施方案中，HMD 1700包括Bluetooth^TM模块1738，用于实现与其他装置(例如，游戏控制台、计算装置112等)的无线连接。包括通信链路1740，用于连接到其他装置。在一个实施方案中，通信链路1740利用红外传输进行无线通信。在其他实施方案中，通信链路1740利用各种无线或有线传输协议中的任一者来与其他装置进行通信。

包括输入按钮/传感器1742来为用户106提供输入接口。可以包括各种类型的输入接口中的任何一种，诸如按钮等。在一个实施方案中，HMD 1700中包括超声通信模块1744，用于促进经由超声技术与其他装置的通信。

在一个实施方案中，包括生物传感器1746以使得能够检测来自用户106的生理数据，例如生物识别信息等。在一个实施方案中，生物传感器1746包括一个或多个干电极，用于通过用户的皮肤、语音检测、眼睛视网膜检测来检测用户106的生物电信号以标识用户/配置文件等。

HMD 1700的一个或多个处理器(诸如处理器1702)耦合到存储器1704、显示器1706、电池1708、运动检测模块1710、相机1718、深度相机1720、扬声器1722、传声器1724、触觉反馈模块1726、LED1730、读卡器1732、USB接口1734、Wi-Fi^TM模块1736、Bluetooth^TM模块1738、通信链路1740、输入按钮/传感器1742、超声通信模块1744，以及生物传感器1746。

HMD 1700的前述部件仅被描述为可以包括在HMD 1700中的示例性部件。在本公开中描述的各种实施方案中，HMD 1700可以包括或可以不包括各种上述部件中的一些部件。HMD 1700的实施方案可以另外包括当前未描述但所属领域已知的其他部件，以有助于如本文所述的本发明的各方面的目的。

在一个实施方案中，HMD 1700包括无线接入卡(WAC)，诸如网络接口控制器(NIC)或网络接口卡，以与计算机网络114通信。

图18示出了信息服务提供商架构的实施方案。信息服务提供商(ISP)1802向地理上分散并且经由网络114连接的用户1800-1、1800-2、1800-3、1800-4等提供大量的信息服务。在一个实施方案中，ISP提供一种类型的服务，诸如股票价格更新，或者提供多种类型的服务，诸如广播媒体、新闻、体育、游戏等。另外，每个ISP所提供的服务都是动态的，即在任何时间点添加或移除服务。因此，向特定个人提供特定类型的服务的ISP随时间变化。例如，当用户106在她的家乡时，由靠近用户106的ISP为用户106提供服务，并且当用户106前往不同城市时，由不同的ISP为用户106提供服务。家乡ISP将信息和数据传送到新的ISP，使得有关用户106的信息“跟随”用户106到新的城市，从而使数据更接近用户106并且更易于访问。在另一个实施方案中，在为用户106管理信息的主ISP和在主ISP的控制下直接与用户106对接的服务器ISP之间建立主-服务器关系。在另一个实施方案中，当计算机在世界范围内移动时，数据从一个ISP传输到另一个ISP，以使处在更好地为用户106提供服务的位置的ISP成为提供这些服务的ISP。

ISP 1802包括应用服务提供商(ASP)1806，该应用服务提供商通过网络114向客户提供基于计算机的服务。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问的简单形式是使用标准协议，诸如超文本传送协议(HTTP)。该应用程序软件驻留在供应商的系统上，并且由用户使用超文本标记语言(HTML)通过web浏览器进行访问、通过由供应商提供的专用客户端软件进行访问、或通过其他远程接口(诸如瘦客户端)进行访问。

在广泛的地理区域内提供的服务通常使用云计算。云计算是一种计算方式，其中动态可扩展的资源通过网络114作为服务提供。用户不需要成为支持他们的“云”中技术基础设施方面的专家。在一个实施方案中，云计算被划分为不同的服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供在线的从web浏览器访问的通用业务应用，而软件和数据则存储在服务器上。基于计算机网络图中互联网的描绘方式，术语云被用作互联网的隐喻(例如，使用服务器、存储装置和逻辑)，并且是对它所隐藏的复杂基础设施的抽象概念。

此外，ISP 1802包括游戏处理服务器(GPS)1808，游戏计算机使用该游戏处理服务器来玩单玩家和多玩家视频游戏。互联网上进行的大多数视频游戏都是通过与游戏服务器的连接来运行的。通常，游戏使用专用的服务器应用，该应用从玩家收集数据并将其分发给其他玩家。这比对等布置更有效且高效，但它需要单独的服务器来托管服务器应用。在另一个实施方案中，GPS 1808在玩家之间建立通信，并且玩家的相应的玩游戏装置在不依赖于集中式GPS 1808的情况下交换信息。

专用GPS是独立于计算机运行的服务器。这样的服务器通常在位于数据中心内的专用硬件上运行，从而提供更多的带宽和专用的处理能力。对于大多数基于PC的多玩家游戏，专用服务器是托管游戏服务器的优选方法。大型多玩家在线游戏在专用服务器上运行，所述服务器通常由拥有游戏名称的软件公司托管，从而允许它们控制和更新内容。

广播处理服务器(BPS)1810将音频或视频信号分发给观众。向很小范围的观众广播有时称为窄播。广播分发的最后一站是信号如何到达听众或观察者，并且它可能像广播电台或电视台一样从空中传播到天线和接收器，或可能通过有线电视或有线广播(或“无线电缆”)通过工作站或直接从网络传播。互联网也可以将广播或电视带给接收者，特别是通过多播可以共享信号和带宽。历史上，广播已经由地理区域界定，诸如国家广播或区域广播。然而，随着快速互联网的普及，广播不受地理条件的限制，因为内容到达几乎世界的任何国家。

存储服务提供商(SSP)1812提供计算机存储空间和相关的管理服务。SSP还提供定期备份和存档。通过提供存储即服务，用户根据需要订购更多存储。另一个主要优点是SSP包括备份服务，并且如果计算机的硬盘驱动器发生故障，用户将不会丢失其所有数据。此外，在一个实施方案中，多个SSP具有用户数据的全部或部分副本，从而允许用户以有效的方式访问数据，而与用户所在的位置或用于访问数据的装置无关。例如，用户106在家用计算机以及移动电话中(当用户106移动时)访问个人文件。

通信提供商1814向用户提供连接性。一种通信提供商是互联网服务提供商(ISP)，其提供对互联网的访问。ISP使用适合于递送互联网协议数据报的数据传输技术来连接其客户，诸如拨号、数字订户线(DSL)、电缆调制解调器、光纤、无线或专用高速互连。通信提供商还提供消息传递服务，诸如电子邮件、即时消息传递和短消息服务(SMS)短信。另一种类型的通信提供商是网络服务提供商(NSP)，其通过提供对互联网的直接主干访问来出售带宽或网络访问。在一个实施方案中，网络服务提供商可以包括电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视运营商等。

数据交换1804互连ISP 1802内部的几个模块，并且经由网络114将这些模块连接到用户1600。数据交换1804覆盖ISP 1802的所有模块都非常靠近的小区域，或者当不同的模块在地理上分散时覆盖大的地理区域。例如，数据交换1688包括数据中心的机柜内的快速千兆以太网(或更快的千兆以太网)，或洲际交互式区域网络(VLAN)。

每个用户1800-1、1800-2、1800-3和1800-4通过客户端装置1820访问远程服务，该客户端装置包括至少CPU、显示器和输入/输出接口(I/O)。在一个实施方案中，客户端装置是个人计算机(PC)、移动电话、上网本、平板计算机、游戏系统、个人数字助理(PDA)、HMD、计算装置、HMD和计算装置的组合等。在一个实施方案中，ISP 1802识别客户端装置的类型并且调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如HTML)来访问ISP 1802。

参照图19，示出了例示根据本公开中描述的实施方案的HHC 1900的示例性部件的图。HHC 1900是HHC 102(图1A)或HHC 500(图5A)的示例。应当理解，在一个实施方案中，根据启用的配置和功能，HHC 1900包括或不包括更多或更少的部件。HHC 1900包括用于执行程序指令的处理器1902。存储器1904被提供用于存储目的，并且在一个实施方案中，包括易失性存储器和非易失性存储器两者。包括显示器1906，该显示器提供用户106观看的视觉界面。

电池1908被设置为HHC 1900的电源。在其他实施方案中，电源可以包括至电源的插座连接。在其他实施方案中，提供了至电源和电池1908的插座连接。运动检测模块1910包括各种运动敏感硬件中的任一种，诸如磁力计1912、加速度计1914和陀螺仪1916。

磁力计测量HHC附近磁场的强度和方向。在一个实施方案中，在HHC内使用三个磁力计，以确保世界空间偏航角的绝对基准。在一个实施方案中，加速度计1914与磁力计1912一起使用以获得HHC 1900的倾斜度和方位角。

相机1918被提供用于捕获HHC 1900周围的真实世界环境的图像和图像流。例如，相机1918捕获HMD 104(图1A)或本文所述的任何其他HMD(诸如HMD 700(图7A))的图像。在一个实施方案中，在HHC 1900中(任选地)包括一个以上的相机，包括面向外部的(远离HHC1900指向)的相机。另外，在一个实施方案中，在HHC 1900中包括深度相机1920，用于感测真实世界环境中的对象的深度信息。深度相机1920是面向外部的相机。例如，深度相机1920捕获HMD 104(图1A)或本文所述的任何其他HMD(诸如HMD 700(图7A))的图像。

HHC 1900包括用于提供音频输出的扬声器1922。此外，在一个实施方案中，包括传声器1924，用于捕获来自真实世界空间的音频，包括来自周围环境的声音、用户106的语音等。在一个实施方案中，HHC 1900包括触觉反馈模块1926(例如触觉反馈装置等)，用于向用户106提供触觉反馈。在一个实施方案中，触觉反馈模块1926能够引起HHC 1900的移动和/或振动，以便向用户106提供触觉反馈。

提供LED 1930作为HHC 1900的状态的视觉指示器。例如，LED指示电池电量、通电等。USB接口1934被包括作为用于实现外围装置的连接或与诸如其他便携式装置、计算机等其他装置的连接的接口的一个示例。在HHC 1900的各种实施方案中，可以包括各种接口中的任一者以实现HHC 1900的更大连接性。

在一个实施方案中，包括Wi-Fi^TM模块1936，以使得能够经由无线联网技术连接到计算装置112以经由计算装置112连接到计算机网络114。此外，在一个实施方案中，HHC1900包括Bluetooth^TM模块1938，用于实现与其他装置(例如计算装置112等)的无线连接。包括通信链路1940，用于连接到其他装置，诸如HMD 104或本文所述的任何其他HMD。在一个实施方案中，通信链路1940利用红外传输进行无线通信。在其他实施方案中，通信链路1940利用各种无线或有线传输协议中的任一者来与其他装置进行通信。

包括输入按钮/传感器1942来为用户106提供输入接口。可以包括各种类型的输入接口中的任何一种，诸如按钮、电容性装置、触摸板、操纵杆、轨迹球等。在一个实施方案中，HHC 1900中包括超声通信模块1944，用于促进经由超声技术与其他装置的通信。

在一个实施方案中，包括生物传感器1946以使得能够检测来自用户106的生理数据，例如生物识别信息等。在一个实施方案中，生物传感器1946包括一个或多个干电极，用于通过用户的皮肤、语音检测、眼睛视网膜检测来检测用户106的生物电信号以标识用户/配置文件等。

HHC 1900的一个或多个处理器(诸如处理器1902)耦合到存储器1904、显示器1906、电池1908、运动检测模块1910、相机1918、深度相机1920、扬声器1922、传声器1924、触觉反馈模块1926、LED 1930、USB接口1934、Wi-Fi^TM模块1936、Bluetooth^TM模块1938、通信链路1940、输入按钮/传感器1942、超声通信模块1944，以及生物传感器1946。

在一个实施方案中，HHC 1900包括WAC，诸如NIC或网络接口卡，以与计算机网络114通信。

HHC 1900的前述部件仅被描述为可以包括在HHC 1900中的示例性部件。在本公开中描述的各种实施方案中，HHC 1900可以包括或可以不包括各种上述部件中的一些部件。HHC 1900的实施方案可以另外包括当前未描述但所属领域已知的其他部件，以有助于如本文所述的本发明的各方面的目的。

在一个实施方案中，计算装置112和/或游戏云系统116的一个或多个服务器在本文中有时被称为处理装置。例如，计算装置112的一个或多个处理器和/或游戏云系统116的一个或多个处理器在本文中有时被称为处理装置。

本公开描述的实施方案可以用包括手持式装置、微处理器系统、基于微处理器的或可编程的消费性电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。还可以在分布式计算环境中实践本公开描述的实施方案，在所述分布式计算环境中，通过基于有线或无线网络链接的远程处理装置执行任务。

考虑到以上实施方案，应理解，本公开描述的实施方案可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要物理地操纵物理量的那些操作。本文描述的形成本公开描述的实施方案的一部分的任何操作都是有用的机器操作。本公开描述的一些实施方案还涉及用于执行这些操作的装置或设备。可以针对所需目的专门构造所述设备，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可以与根据本文的教导编写的计算机程序一起使用，或者构造更专门的设备来执行所需的操作可能更方便。

本公开描述的一些实施方案还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，该数据随后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、NAS、ROM、RAM、CD-ROM、CD-R、CD-RW、磁带、光学数据存储装置、非光学数据存储装置等。计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

应当注意，在一个实施方案中，可以将在本公开的实施方案中描述的一个或多个特征与在本公开描述的另一个实施方案中描述的一个或多个特征进行组合。

此外，尽管关于游戏环境描述了一些上述实施方案，但是在一些实施方案中，代替游戏，使用其他环境，例如视频会议环境等。

虽然以特定的顺序描述了方法操作，但是应当理解，可以在操作之间执行其他内务操作，或者可以调整操作，使得它们在稍微不同的时间发生，或者可以将操作分布在系统中，只要以期望的方式执行叠加操作的处理，所述系统便允许以与处理相关联的各种间隔发生处理操作。

虽然为了清楚理解的目的而略微详细地描述了本公开描述的前述实施方案，但显而易见的是，可以在所附权利要求的范围内做出某些变化和修改。因此，本实施方案被认为是说明性的而非限制性的，并且所述实施方案不限于本文给出的细节，而是可以在所附权利要求的范围和等效范围内进行修改。