具体实施方式

图1描绘了实施例中的信息处理系统1的配置的示例。信息处理系统1包括信息处理设备10、记录设备11、HMD 100、由用户的手指操作的输入设备16以及输出图像和声音的输出设备15。输出设备15可以是电视机。信息处理设备10通过接入点(AP)17连接到诸如因特网的外部网络2。AP 17具有无线接入点和路由器的功能，并且信息处理设备10可以用电缆连接到AP17，或者可以用已知的无线通信协议连接到AP 17。

记录设备11记录系统软件和诸如游戏软件的应用。信息处理设备10可以通过网络2从内容服务器将游戏软件下载到记录设备11。信息处理设备10执行游戏软件，并将游戏的图像数据和声音数据提供给HMD 100。信息处理设备10和HMD 100可以使用已知的无线通信协议彼此连接，或者可以使用电缆彼此连接。

HMD 100是由用户安装到头部的显示设备，用于在位于眼睛前面的显示面板上显示图像。HMD 100分别地在用于左眼的显示面板上显示用于左眼的图像，并且在用于右眼的显示面板上显示用于右眼的图像。这些图像形成从左视点和右视点看到的视差图像，以实现立体视图。为了使用户通过光学透镜观看显示面板，信息处理设备10向HMD 100提供通过校正由透镜引起的光学畸变而获得的视差图像数据。

尽管佩戴HMD 100的用户不需要输出设备15，但是准备输出设备15使得另一用户能够看到输出设备15的显示图像。尽管信息处理设备10可以在输出设备15上显示与佩戴HMD 100的用户看到的图像相同的图像，但是也可以显示另一图像。例如，当佩戴HMD 100的用户与另一用户一起玩游戏时，可以从输出设备15显示从另一用户的角色的视点上的游戏图像。

信息处理设备10和输入设备16可以使用已知的无线通信协议彼此连接，或者可以使用电缆彼此连接。输入设备16包括多个操作部件，例如操作按钮，并且用户在抓握输入设备16的同时用手指操作操作部件。当信息处理设备10执行游戏时，输入设备16被用作游戏控制器。输入设备16配备有包括三轴加速度传感器和三轴陀螺传感器的姿势传感器，并且以预定周期(例如，1600hz)向信息处理设备10发送传感器数据。

本实施例的游戏不仅处理输入设备16中的操作部件的操作信息，而且还处理输入设备16的位置、姿势、运动等的操作信息，并且将操作信息反映在玩家角色在虚拟三维空间内的运动上。例如，操作部件的操作信息可以用作用于移动玩家角色的信息，并且输入设备16的位置、姿势、移动等的操作信息可以用作用于移动玩家角色的手臂的信息。在游戏内的战斗场景中，输入设备16的移动反映在手持武器的玩家角色的移动上，因此实现了用户的直观操作，结果是增强了用户在游戏中的沉浸感。

为了跟踪输入设备16的位置和姿势，在输入设备16上提供了可通过安装在HMD100上的图像传感设备14成像的多个标记(发光部分)。信息处理设备10分析通过对输入设备16成像而获得的图像，以估计输入设备16在真实空间中的位置信息和姿势信息，并将估计的位置信息和姿势信息提供给游戏。

在HMD 100上，安装了多个图像传感设备14。多个图像传感设备14以不同姿势连接到HMD 100的前表面的不同位置，使得通过将图像传感设备14的成像范围相加而获得的整体成像范围包括用户的整个视野。图像传感设备14优选为可获取输入装置16中多个标记的图像的图像传感器。例如，当标记发射可见光时，图像传感设备14包括在一般数字摄像机中使用的可见光传感器，例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。当标记器发射不可见光时，图像传感设备14包括不可见光传感器。多个图像传感设备14以同步时间和预定间隔(例如，60帧/秒)对用户面前的空间进行成像，并将通过成像输入设备16获得的图像数据发送到信息处理设备10。

信息处理设备10识别包括在捕获图像中的输入设备16的多个标记图像的位置。注意，虽然在同一时刻可以用多个图像传感设备14对一个输入设备16进行成像，但是由于图像传感设备14的连接位置和连接姿势是已知的，因此信息处理设备10组合多个捕获的图像以识别标记图像的位置。

输入设备16的三维形状和布置在其表面上的多个标记的位置坐标是已知的，因此，信息处理设备10基于捕获图像中的标记图像的分布来估计输入设备16的位置坐标和姿势。输入设备16的位置坐标可以是以参考位置为原点的三维空间中的位置坐标，并且参考位置可以是在游戏开始之前设置的位置坐标(经度和纬度)。

注意，信息处理设备10还可以通过使用输入设备16中的姿势传感器检测到的传感器数据来估计输入设备16的位置坐标和姿势。因此，本实施例的信息处理设备10使用基于使用图像传感设备14获得的捕获图像的估计结果和基于传感器数据的估计结果，以便以高精度对输入设备16执行跟踪处理。

图2描绘了HMD 100的外部形状的示例。HMD 100包括输出机构部分102和装配机构部分104。装配机构部分104包括由用户戴上的装配带106，该装配带将被佩戴在头部周围，以便将HMD 100固定到头部。装配带106具有可根据用户的头围调整其长度的材料或结构。

输出机构部分102包括壳108，其具有在用户佩戴HMD 100的状态下覆盖左眼和右眼的形状，并且在其中还包括当佩戴HMD 100时与眼睛直接相对的显示面板。显示面板可以是液晶面板、有机电致发光(EL)面板等。在壳108内，还包括位于显示面板和用户眼睛之间的用于放大用户视角的一对左右光学透镜。HMD 100还可以在与用户的耳朵相对应的位置包括扬声器和耳机，或者可以被配置成与外部耳机连接。

多个图像传感设备14a、14b、14c和14d设置在壳108前侧的外表面上。相对于用户视线的方向，图像传感设备14a连接到前侧外表面的右上角，使得相机光轴沿对角线向上指向右侧，图像传感设备14b连接到前侧外表面的左上角，使得相机光轴沿对角线向上指向左侧，图像传感设备14c连接到前侧外表面的右下角，使得相机光轴沿对角线向下指向右侧，并且，图像传感设备14d被连接到前侧外表面的左下角，使得相机光轴沿对角线向下指向左侧。以这种方式安装多个图像传感设备14，因此，通过将图像传感设备14的成像范围相加而获得的总体成像范围包括用户的整个视野。上述用户的视野可以是用户在虚拟三维空间中的视野。

HMD 100向信息处理设备10发送通过姿势传感器检测到的传感器数据和通过图像传感设备14成像获得的图像数据，并接收在信息处理设备10中生成的游戏图像数据和游戏声音数据。

图3描绘HMD 100的功能块。控制部分120是主处理器，其处理和输出各种类型的数据，例如图像数据、声音数据以及传感器数据和命令。存储部分122临时存储由控制部分120处理的数据、命令等。姿势传感器124获取关于HMD 100的移动的传感器数据。姿势传感器124至少包括三轴加速度传感器和三轴陀螺传感器。

通信控制部分128通过有线或无线通信通过网络适配器或天线将从控制部分120输出的数据发送到外部信息处理设备10。此外，通信控制部分128从信息处理设备10接收数据，并将其输出到控制部分120。

当控制部分120从信息处理设备10接收游戏图像数据或游戏声音数据时，控制部分120将游戏图像数据提供给显示面板130并使显示面板130显示该图像，或者将游戏声音数据提供给声音输出部分132并使声音输出部分132输出该声音。显示面板130包括用于左眼的显示面板130a和用于右眼的显示面板130b，并且在显示面板上显示视差图像对。此外，控制部分120使得来自姿势传感器124的传感器数据、来自麦克风126的声音数据以及来自图像传感设备14的捕获图像数据从通信控制部分128发送到信息处理设备10。

图4描绘了输入设备16的外部形状。图4(a)描绘了输入设备16的正面形状，图4(b)描绘了输入设备16的背面形状。输入设备16包括壳体20、由用户操作的多个操作部件22a、22b、22c和22d(当它们不特别区分时，以下称为“操作部件22”)和用于向壳体20的外部发光的多个标记30a至30t(当它们不特别区分时，以下称为“标记30”或“多个标记30”)。操作部件22布置在壳体20的头部，并且包括用于执行倾斜操作的模拟杆、按钮、用于输入牵引量的触发按钮等。指示输入设备16的状态的指示器32布置在壳体20的头部。指示器32可以包括显示输入设备16的电池充电状态的LED设备。

壳体20包括抓握部分21和弯曲部分23，弯曲部分23连接壳体头部分和壳体底部分，并且用户将从食指到小指的手指穿过抓握部分21和弯曲部分23之间，以便抓住抓握部分21。在用户握住抓握部分21的状态下，用户用拇指操作操作部件22a、22b和22c，并用食指操作操作部件22d。尽管标记30h、30i和30j设置在抓握部分21上，但是它们被布置在即使在用户握住抓握部分21的状态下也不会被手隐藏的位置。在抓握部分21上提供至少一个或多个标记30，从而提高跟踪的准确性。

标记30是向壳体20的外部发光的发光部分，并且包括树脂部分，该树脂部分在壳体20的表面上从诸如LED元件的光源向外部漫射发光。标记30与图像传感设备14一起成像，以便用于关于输入设备16的位置信息和姿势信息的估计处理。优选地，由于图像传感设备14以预定间隔(例如，60帧/秒)对输入设备16进行成像，标记30与图像传感设备14的周期性成像时间同步地发光，并且在图像传感设备14的非曝光时间段中不发光，以减少不必要的功耗。图像传感设备14和输入设备16基于各自的时钟进行操作，并且在本实施例中，对图像传感设备14的曝光时间段和点亮标记30的时间段进行如下同步处理。

图5描绘了用于识别图像传感设备14的成像时间的同步处理的发光模式的示例。水平方向上的长度表示对应于一帧的成像间隔(16.7毫秒)，并且以通过分割成像间隔获得的时间网格为单位执行标记30的点亮控制。在本例中，成像间隔分为32个部分，一个时间网格为521μs。在图5中，着色的时间网格指示第一亮度下的点亮时间段，而未着色的时间网格指示第二亮度下的点亮时间段。注意，第一亮度不同于第二亮度，并且第一亮度可以高于第二亮度。在当以第一亮度发射光时对标记30成像的情况下，高亮度标记图像包括在捕获图像中，而在当以第二亮度发射光时对标记30成像的情况下，低亮度标记图像包括在捕获图像中。确定发光模式，使得当以与一帧对应的成像间隔连续成像标记30以获得六个捕获图像时，以第一亮度发射光和以第二亮度发射光的顺序取决于时间网格而不同。

在同步处理中，使用图5所示的发光模式对使用图像传感设备14成像的一个或多个标记30进行点亮控制。假设标记30是在这样的点亮控制下成像的，即在同步处理开始之后，对于第一捕获图像(帧0)，标记30以“第一亮度”点亮，对于第二捕获图像(帧1)，标记30以“第二亮度”点亮，对于第三捕获图像(帧2)，标记30以“第一亮度”点亮，对于第四捕获图像(帧3)，标记30以“第二亮度”点亮，对于第五捕获图像(帧4)，标记30以“第二亮度”点亮，对于第六捕获图像(帧5)，标记30以“第一亮度”点亮。对应于六个连续捕获图像中的第一亮度和第二亮度的组合的时间网格是网格编号为14的时间网格。因此，此后，输入设备16以网格编号为14的定时周期性地点亮标记30，并由此可以执行这样的控制，以使标记30被点亮的时间段与图像传感设备14的曝光时间段同步，以防止标记30在图像传感设备14的非曝光时间段中被点亮。

图6描绘了输入设备16的功能块。控制部分50接收输入到操作部件22的操作信息，并且还接收使用姿势传感器52获取的传感器数据。姿势传感器52获取关于输入设备16的移动的传感器数据，并且至少包括三轴加速度传感器和三轴陀螺传感器。控制部分50将接收到的操作信息和传感器数据提供给通信控制部分54。通信控制部分54通过有线或无线通信，通过网络适配器或天线将从控制部分50输出的操作信息和传感器数据发送到信息处理设备10。此外，通信控制部分54从信息处理设备10获取用于同步处理的发光模式和/或发光指令。

输入设备16包括用于点亮指示器32的光源56和用于点亮标记30的光源58。光源56和光源58中的每一个都可以是LED元件。标记30包括在壳体20的表面上向外部漫射发光的树脂部分，并且由光源58照亮的标记30的树脂部分可以是用于密封LED元件的树脂。在此，标记30和光源58可以具有一个LED设备的形式。

指示器32的作用是通知用户输入设备16中电池的充电状态。光源56可以发射多种颜色的光，并且指示器32可以通过点亮颜色表示充电状态。例如，当指示器32以绿色点亮时，这表示充电状态为充足，然而，当指示器32以红色点亮时，表明电池中的剩余电量小。用户可以从指示器32的点亮颜色识别电池的充电状态。

图7示出了通过成像输入设备16获得的图像的部分的示例。如图所示，捕获的图像包括发光的标记30的图像。在HMD 100中，通信控制部分128将通过图像传感设备14成像获得的图像数据发送到信息处理设备10，并且信息处理设备10从图像数据中提取标记30的图像。在同步处理中，信息处理设备10可以区分标记30以第一亮度发光的情况和标记30以第二亮度发光的情况。

当在游戏开始之前执行对图像传感设备14的曝光时间段和标记30点亮的时间段的同步处理时，可以在正在玩游戏时执行同步处理。因为图像传感设备14在同步丢失时不能成像标记30的图像，在同步丢失的情况下，则必须立即执行同步处理。

在同步处理中，控制部分50使一个或多个光源58以由信息处理设备10提供的用于同步处理的发光模式发射光(参见图5)。如图5所示，在发光模式中，在多个帧时间段中确定标记30以第一亮度点亮的时间段和标记30以第二亮度点亮的时间段。信息处理设备10识别包括在多个连续捕获图像中的标记30的亮度值的变化模式，以便识别包括在图像传感设备14的曝光时间段中的时间网格号。例如，曝光时间段可以设置为大约为时间网格的两倍的长度。

图8描绘了在图像传感设备14的曝光时间段内设置的标记30被点亮的时间段。当信息处理设备10识别时间网格号时，信息处理设备10生成在时间网格号的时间发光的指令并将其发送到输入设备16。在输入设备16中，基于发光指令，控制部分50周期性地使所有标记30在网格编号14的时间位置发光。在建立同步后，控制部分50仅开启光源一次网格(521微秒)在一个帧时间段内，并在非一次网格的时间段内关闭光源，从而可以减少浪费的功耗。

尽管在本实施例中，指示器32使用点亮颜色通知用户电池的充电状态，但由于指示器32不是标记30，因此不希望在捕获图像中包括指示器32的图像。因此，在建立同步后，在以预定的间隔点亮多个标记30的同时，控制部分50在标记30未点亮的时间段中点亮指示器32。

图9示出了标记被点亮的时间段和指示器被点亮的时间段之间的关系。同样如图8所示，控制部分50在图像传感设备14的曝光时间段内设置标记30被点亮的时间段。在另一方面，控制部分50控制光源56的发光，以防止指示器32点亮的时间段与标记30点亮的时间段重叠。具体地说，控制部分50使光源56在标记30未点亮的时间段发光，以点亮指示器32。换言之，控制部分50在标记30点亮的时间段不点亮指示器32。

参考图像传感设备14的曝光时间段，控制部分50在图像传感设备14对输入设备16成像的曝光时间段内不点亮指示器32。这样，图像传感设备14不对点亮的指示器32成像。注意，由于图像传感设备14和输入设备16基于各自的时钟进行操作，图像传感设备14开始曝光的准确时间对于控制部分50来说仍然不清楚。然而，由于控制部分50拥有曝光时间段的长度，控制部分50可以在标记30被点亮的时间段周围建立额外的预定时间段，从而设置指示器禁止点亮的时间段，该时间段当然包括曝光时间段。控制部分50可以确定指示器32被点亮的时间段，使其落在除指示器禁止点亮的时间段之外的时间段内。可以参考时间网格来确定预定时间段，并且控制部分50可以在标记30点亮的时间段周围建立与两个或多个时间网格相对应的附加时间段，以便设置指示器禁止点亮的时间段，并且可以由此确定指示器32将被点亮的时间段。

在HMD 100中，当通信控制部分128将通过图像传感设备14的成像获得的图像数据发送到信息处理设备10时，信息处理设备10从图像数据中提取标记30的图像。由于输入设备16的三维形状和布置在其表面上的标记30的位置坐标是已知的，信息处理设备10从捕获图像内的标记30的图像的分布来解决透视n点(PnP)问题，以便估计输入设备16相对于图像传感设备14的位置和姿势。

以上基于该实施例描述了本发明。上述实施例是说明性的，并且本领域技术人员应当理解，其组成元素的各种变化和处理过程的组合是可能的，并且这些变化也在本发明的范围内。

尽管在该实施例中描述了包括操作部件22的输入设备16中的多个标记30的布置，但是要跟踪的设备不一定需要包括操作部件22。此外，尽管在该实施例中，图像传感设备14连接到HMD 100，但是只要图像传感设备14可以对标记图像进行成像，就可以图像传感设备14连接到除HMD 100之外的位置。

[工业适用性]

本发明可用于包括多个标记的设备。

[参考符号列表]

1：信息处理系统

10：信息处理设备

14：图像传感设备

16：输入设备

30：标记

32：指示器

50：控制部分

56、58：光源。

权利要求书(按照条约第19条的修改)

1.一种设备，包括：

壳体；以及

多个标记，其被配置为向所述壳体的外部发射光，

其中，所述设备包括：

指示器，其被配置为指示所述设备的状态；以及

控制部分，所述控制部分被配置为以预定间隔点亮所述多个标记，

所述指示器的光源不同于所述多个标记的光源，并且所述控制部分在所述多个标记未被点亮的时间段点亮所述指示器。

2.根据权利要求1所述的设备，

其中，所述控制部分在所述多个标记被点亮时间段不点亮所述指示器。

3.根据权利要求1或2所述的设备，

其中，所述控制部分在图像传感设备对所述设备进行成像的曝光时间段不点亮所述指示器。

4.根据权利要求1至3中任一权利要求所述的设备，

其中，所述设备是包括由用户操作的操作部件的输入设备。

5.根据权利要求1至4中任一权利要求所述的设备，

其中，通过连接到头戴式显示器的图像传感设备对所述设备进行成像。