具体实施方式

在传统的虚拟现实(VR)或增强现实(AR)系统中，通过包含策略性地放置在用户的AR头戴装置、腰包和/或其它辅助设备(例如，图腾、触觉设备、游戏工具等)上的一系列电磁传感器和发射器来实现对外围设备的六个自由度跟踪。通常，电磁跟踪系统包括至少一个电磁场发射器和至少一个电磁场传感器。由于发射的电磁场具有已知的分布，因此可以分析检测到的场以确定外围设备的位置和/或取向。尽管这样的系统提供了对定位问题的简单解决方案，但是需要提供更高精度定位的另外的解决方案。本发明的实施例可以代替或补充电磁跟踪系统。

本发明的实施例提供了一种用于执行手持设备(例如，图腾)相对于可穿戴设备(例如，头戴式设备)的高精度定位的视觉跟踪系统。成像设备被安装在其中一个设备上，并且可以捕获被固定到另一设备的一个或多个基准点的图像。可以将另外的成像设备安装在手持设备上以捕获各种环境标记。基于所捕获的图像中的基准点数量，可以实现不同地利用基准数据(即，基于基准点图像的具有本地参考的数据)和手持数据(从被安装在手持设备上的传感器收集的具有世界参考的数据)的不同数据处理方案。本文中被称为操作状态的每个数据处理方案使得能够准确地估计手持设备相对于可穿戴设备的位置和/或取向。跟踪系统可以通知AR系统估计的定位，并且AR系统可以使用定位信息来生成令用户感觉舒适的虚拟内容。

图1示出了根据本文描述的实施例的通过可穿戴AR设备观看的AR场景。描绘了AR场景100，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台120为特征的真实世界公园状设置106。除了这些物品之外，AR技术的用户还感知到他“看到”站在真实世界平台120上的机器人雕像110，以及看起来是大黄蜂的化身的飞过的卡通式化身角色102，即使这些元素(角色102和雕像110)在真实世界中不存在。由于人类的视觉感知和神经系统极其复杂，因此产生促进除其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适的、感觉自然的、丰富的呈现的VR或AR技术是具有挑战性的。

图2示出了AR系统的各种可能的部件。在所示实施例中，AR系统用户260被示出为穿戴着头戴式部件258，其以耦合到位于用户眼睛前方的显示系统262的框架264结构为特征。扬声器266以所示的配置耦合到框架264并且定位在用户耳道附近(在一个实施例中，另一未示出的扬声器定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。显示器262例如通过有线引线或无线连接可操作地耦合(如268所示)到本地处理和数据模块270，本地处理和数据模块270可以以各种配置安装，例如固定地附接到框架264，固定地附接到头盔或帽子，以背包式配置可移除地附接到用户260的躯干上，或者以带耦接式配置可移除地附接到用户260的髋部。

本地处理和数据模块270可以包括功率有效的处理器或控制器，以及数字存储器(诸如闪速存储器)，两者都可用于辅助处理、缓存和存储以下数据：a)从可操作地耦合到框架264的传感器捕获的数据，所述传感器例如包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪；和/或b)使用远程处理模块272和/或远程数据储存库274获取和/或处理的数据，这些数据可以在这样的处理或检索之后传送到显示器262。

本地处理和数据模块270例如通过有线或无线通信链路可操作地耦合(如276、278所示)到远程处理模块272和远程数据储存库274，使得这些远程模块272、274彼此可操作地耦合并且作为资源可用于本地处理和数据模块270。在一个实施例中，远程处理模块272可以包括一个或多个相对强大的处理器或控制器，所述处理器或控制器被配置为分析和处理数据和/或图像信息。在一个实施例中，远程数据储存库274可以包括相对大规模的数字数据存储设施，其可以通过因特网或“云”资源配置中的其它网络配置获得。在一个实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从任何远程模块完全自主地使用。

图3示出了视觉跟踪系统如何并入到具有可穿戴设备302(例如，头戴式装置)和手持设备304(例如，控制器)的AR系统中的示例。在一些实施例中，手持设备304可以是手持控制器，其允许用户向AR系统提供输入。例如，手持设备304可以是在游戏场景中使用的图腾。手持设备304可以是触觉设备，并且可以包括利用各种传感器类型的一个或多个触觉表面。在AR系统的操作期间，用户可以通过主动抓握手持设备304和/或通过将附接装置(例如，缠绕带)固定到用户手上来将手持设备304保持在他/她的左手或右手中。

手持设备304可以包括一个或多个基准点(本文中被称为手持基准点322)，其沿着手持设备304的一个或多个外表面定位，使得基准点可以位于手持设备的外部的成像设备的视野内。手持基准点322可以具有已知的相对于彼此的关系，使得成像设备可以通过捕获一个或多个手持基准点322的图像来确定其相对于手持设备304的位置和/或取向。手持基准点322可以是动态的、静态的、电动的、无动力的，并且在一些实施例中，可以彼此区分。例如，第一基准点可以是具有第一波长的发光二极管(LED)，第二基准点可以是具有第二波长的LED。替代地或附加地，不同的基准点可以具有不同的亮度和/或可以以不同的频率脉动(例如，第一基准点可以以100Hz脉动，并且第二基准点可以以150Hz脉动)。

手持设备304可以包括一个或多个成像设备(本文中被称为手持成像设备326)，其被定位以使得当手持设备304被用户握持时，手持设备304周围的某个特征和/或可穿戴设备302在成像设备的视野内。例如，前部手持成像设备326A可以被定位成使得其视野被取向为远离用户朝向手持设备304的周围环境中的一个或多个特征，后部手持成像设备326B可以被定位成使得其视野被取向为朝向可穿戴设备302。手持成像设备326可以包括一个或多个前向成像设备和/或一个或多个后向成像设备，以产生所需的累积视野。在一些实施例中，手持成像设备326可以是诸如相机之类的光学设备，并且可以捕获静止或运动图像。

手持设备304可以包括惯性测量单元(IMU)(本文中被称为手持IMU324)，其被刚性地固定在手持设备304内，使得手持设备304的旋转和线性运动由手持IMU 324类似地经历。在一些情况下，手持IMU 324可以包括一个或多个加速度计(例如，三个)、一个或多个陀螺仪(例如，三个)、一个或多个磁力计(例如，三个)，和/或数字信号处理硬件和软件，以将原始测量转换为处理数据。例如，手持IMU 324可以包括用于三个轴中每一者的加速度计、陀螺仪和磁力计。对于每个轴，手持IMU 324可以输出以下一项或多项：线性位置、线性速度、线性加速度、旋转位置、旋转速度和/或旋转加速度。替代地或附加地，手持IMU 324可以输出原始数据，可从该原始数据计算出上述任何形式的处理数据。

手持设备304可以包括可再充电的和/或可更换的电池328或为手持基准点322、手持成像设备326、手持IMU 324和手持设备304的任何其它部件供电的其它电源。尽管图3未示出，但是手持设备304可以包括用于实现与可穿戴设备302和/或腰包340的无线通信的电路。例如，在使用手持成像设备326和手持IMU 324检测或捕获数据时，手持设备304可以将原始数据或处理数据发送到可穿戴设备302和/或腰包340。

可穿戴设备302可以包括一个或多个基准点(本文中被称为可穿戴基准点306)，其沿着可穿戴设备302的一个或多个外表面定位，使得基准点可以位于后部手持成像设备326B的视野内。可穿戴基准点306可以具有已知的相对于彼此的关系，使得成像设备可以通过捕获一个或多个可穿戴基准点306的图像来确定其相对于可穿戴设备302的位置和/或取向。在一些实施例中，可穿戴基准点306可以是动态的、静态的、电动的、无动力的，并且可以彼此区分。例如，第一基准点可以是具有第一波长的LED，第二基准点可以是具有第二波长的LED。替代地或附加地，不同的基准点可以具有不同的亮度和/或可以以不同的频率脉动。

可穿戴设备302可以包括一个或多个成像设备(本文中被称为可穿戴成像设备310)，其定位成使得当用户握持手持设备304时，手持设备304(特别是手持基准点322)在成像设备的视野内。例如，一个或多个可穿戴成像设备310可以面向前方定位在可穿戴设备302上，位于可穿戴设备302的光学透视部件的上方、下方和/或侧面。在一个实施例中，两个可穿戴成像设备310可以定位在可穿戴设备302的光学透视部件的相反两侧。在一些实施例中，可穿戴成像设备310可以是诸如相机之类的光学设备，并且可以捕获静止或运动图像。

可穿戴设备302可以包括IMU(本文中被称为可穿戴IMU 308)，其被刚性地固定在可穿戴设备302内，使得可穿戴设备302的旋转和线性运动由可穿戴IMU 308类似地经历。在一些情况下，可穿戴IMU 308可以包括一个或多个加速度计(例如，三个)、一个或多个陀螺仪(例如，三个)、一个或多个磁力计(例如，三个)，和/或数字信号处理硬件和软件，以将原始测量转换为处理数据。例如，可穿戴IMU308可以包括用于三个轴中每一者的加速度计、陀螺仪和磁力计。对于每个轴，可穿戴IMU 308可以输出以下一项或多项：线性位置、线性速度、线性加速度、旋转位置、旋转速度和/或旋转加速度。替代地或附加地，可穿戴IMU 308可以输出原始数据，可从该原始数据计算出上述任何形式的处理数据。

在一些实施例中，AR系统可以包括腰包340，其可以包括用于执行手持设备304相对于可穿戴设备302的定位的计算装置(例如，一个或多个处理器和相关联的存储器)。替代地或附加地，计算装置可以驻留在可穿戴设备302本身中，或甚至驻留在手持设备304中。计算装置可以(经由有线和/或无线连接)从可穿戴IMU 308、可穿戴成像设备310、手持IMU324和手持成像设备326中的每一者接收原始数据或处理数据，并且可以计算手持设备304的地理空间位置(相对于可穿戴设备302的地理空间位置)和手持设备304的取向(相对于可穿戴设备302的取向)。在一个或多个实施例中，计算装置又可以包括映射数据库342(例如，可传递的世界模型、坐标空间等)以检测姿势，确定真实对象和虚拟对象的坐标，并且甚至可以连接到云资源和可传递的世界模型。在一些实施例中，使用可穿戴成像设备310和/或手持成像设备326捕获的图像可用于构建可传递的世界模型。例如，可以在捕获的图像中检测到特征，并且可以使用收集的数据(例如稀疏点)构建可传递的世界模型或环境地图。

图4示出了由AR系统执行的定位任务的图，其中确定手持设备304相对于可穿戴设备302的位置和取向。在所示的图中，可穿戴设备302具有地理空间位置(“可穿戴位置”)和取向(“可穿戴取向”)，所述地理空间位置相对于世界参考被定义为(X_WP，Y_WP，Z_WP)，所述取向相对于世界参考被定义为(X_WO，Y_WO，Z_WO)。在一些情况下，可穿戴设备302的地理空间位置以经度、纬度和高程值表示，并且可穿戴设备302的取向以俯仰角、偏航角和翻滚角值表示。

如图所示，手持设备304具有相对于可穿戴设备302的地理空间位置(X_WP，Y_WP，Z_WP)的被定义为(X'_HP，Y'_HP，Z'_HP)的地理空间位置(“手持位置”)以及相对于可穿戴设备302的取向(X_WO，Y_WO，Z_WO)的被定义为(X'_HO，Y'_HO，Z'_HO)的取向(“手持取向”)。在一些情况下，手持设备304的地理空间位置以X，Y和Z笛卡尔值表示，并且手持设备304的取向以俯仰角、偏航角和翻滚角值表示。作为一个特定示例，当用户握持手持设备304时，手持设备304的地理空间位置可以等于(0.7m，-0.5m，0.1m)，并且手持设备304的取向可以等于(10.2°，-46.2°，15.2°)。

图5示出了AR系统500的示例配置，其中可穿戴设备302包括一个或多个可穿戴基准点306，并且手持设备304包括一个或多个后向手持成像设备326，当用户在正常操作中握持手持设备304时，后向手持成像设备326的视野至少部分地且至少暂时地包括可穿戴基准点306。AR系统500可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这种配置的一个优点可以是手持设备304具有相对于可穿戴设备302执行其自身的定位时所需的全部数据，从而减少了可穿戴设备302上的处理负载。AR系统500可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。

图6示出了使用AR系统500执行手持设备304相对于可穿戴设备302的定位的方法600。方法600的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法600的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。

在步骤602，由手持成像设备326捕获图像(“基准点图像”)。基准点图像可以包含可穿戴基准点306中的若干基准点。例如，如果存在三个可穿戴基准点306，则可以分析基准点图像以确定其包含零个、一个、两个还是三个基准点。

在步骤604，例如基于基准点图像而计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，可以分析基准点图像以确定可穿戴基准点306中的任何基准点的定位，并且可以基于基准点图像内的基准点的位置以及可穿戴基准点306之间的已知物理关系而确定位置和/或取向。手持设备304的位置和/或取向可被用于确定手持设备304相对于可穿戴设备302的姿势。步骤604的输出被称为基准数据630。

在步骤610，由手持IMU 324检测至少指示手持设备304相对于世界(和/或相对于可穿戴设备302)的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或从其计算线性加速度的原始数据。

在步骤612，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些其它实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。

在步骤614，基于基准数据630和/或手持数据632而计算手持设备304相对于可穿戴设备302的位置和/或取向。基准数据630可以包括基准点图像和/或在步骤604中执行的基于基准点图像的位置和/或取向计算。手持数据632可以包括IMU数据和/或在步骤612中执行的基于IMU数据的位置和/或取向计算。步骤614处的位置和取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据630和手持数据632，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。

在步骤616，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统500的处理。例如，位置和/或取向可以被输出到AR系统500以生成和显示虚拟内容。

图7示出了AR系统700的示例配置，其中可穿戴设备302包括一个或多个可穿戴成像设备310，当用户在正常操作中握持手持设备304时，可穿戴成像设备310的视野至少部分地且至少暂时地包括手持基准点322，并且手持设备304包括一个或多个手持基准点322。AR系统700可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这种配置的一个优点可以是手持设备304的简单性和低功耗性。AR系统700可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。

图8示出了使用AR系统700执行手持设备304相对于可穿戴设备302的定位的方法800。方法800的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法800的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。

在步骤802，由可穿戴成像设备310捕获图像(“基准点图像”)。基准点图像可以包含手持基准点322中的若干基准点。例如，如果存在三个手持基准点322，则可以分析基准点图像以确定其包含零个、一个、两个或三个基准点。

在步骤804，例如基于基准点图像计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，可以分析基准点图像以确定手持基准点322中的任何基准点的位置，并且可以基于基准点图像内的基准点的位置以及手持基准点322之间的已知的物理关系而确定位置和/或取向。手持设备304的位置和/或取向可用于确定手持设备304相对于可穿戴设备302的姿势。步骤804的输出被称为基准数据830。

在步骤810，由手持IMU 324检测至少指示手持设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或从其计算线性加速度的原始数据。

在步骤812，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。步骤812的输出可以被称为手持数据832。

在步骤814，基于基准数据830和/或手持数据832而计算手持设备304相对于可穿戴设备302的位置和/或取向。基准数据830可以包括基准点图像和/或在步骤804中执行的基于基准点图像的位置和/或取向计算。手持数据832可以包括IMU数据和/或在步骤812中执行的基于IMU数据的位置和/或取向计算。步骤814处的位置和/或取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据830和手持数据832，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。

在步骤816，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统700的处理。例如，位置和/或取向可以被输出到AR系统700以生成和显示虚拟内容。

图9示出了AR系统900的示例配置，其中手持设备326包括前部手持成像设备326A和后部手持成像设备326B，当用户握持手持设备304时，前部手持成像设备326A的视野至少部分地且至少暂时地包括一个或多个周围特征344，当用户在正常操作中握持手持设备304时，后部手持成像设备326B的视野至少部分地且至少暂时地包括一个或多个可穿戴基准点306。在示例配置中，多个可穿戴基准点322被固定到可穿戴设备302。AR系统900可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这种配置的一个优点可以是由多个成像设备提供的增加的准确度。AR系统900可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。

图10示出了使用AR系统900执行手持设备304相对于可穿戴设备302的定位的方法1000。方法1000的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法1000的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。

在步骤1002，由后部手持成像设备326B捕获图像(“基准点图像”)。基准点图像可以包含可穿戴基准点306中的若干基准点。例如，如果存在三个可穿戴基准点306，则可以分析基准点图像以确定其包含零个、一个、两个或三个基准点。

在步骤1004，例如基于基准点图像计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，可以分析基准点图像以确定可穿戴基准点306中的任何基准点的位置，并且可以基于基准点图像内的基准点的位置以及可穿戴基准点306之间的已知的物理关系确定位置和/或取向。手持设备304的位置和/或取向可用于确定手持设备304相对于可穿戴设备302的姿势。步骤1004的输出被称为基准数据1030。

在步骤1006，由前部手持成像设备326A捕获图像(“世界图像”)。世界图像可以包含周围特征344。

在步骤1008，基于世界图像计算手持设备304相对于世界的位置和/或取向。在一些情况下，将世界图像与先前的世界图像进行比较以使用视觉测距技术估计手持设备304的运动，视觉测距技术可以包括在每个世界图像中执行特征检测以建立世界图像之间的对应关系。然后可以计算与世界图像中检测到的特征的运动最一致的手持设备304的运动矢量。步骤1008的输出被称为手持数据1032。

在步骤1010，由手持式IMU 324检测至少指示手持式设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或可从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或可从其计算线性加速度的原始数据。

在步骤1012，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。步骤1012的输出被称为手持数据1032。

在步骤1014，基于基准数据1030和/或手持数据1032计算手持设备304相对于可穿戴设备302的位置和/或取向。基准数据1030可以包括基准点图像和/或在步骤1004中执行的基于基准点图像的位置和/或取向计算。手持数据1032可以包括世界图像、在步骤1008中执行的基于世界图像的位置和/或取向计算、IMU数据、和/或在步骤1012中执行的基于IMU数据的位置和/或取向计算。步骤1014处的位置和取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据1030和手持数据1032，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。

在步骤1016，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统900的处理。例如，位置和/或取向可以被输出到AR系统900以生成和显示虚拟内容。

图11A示出了AR系统1100A的示例配置，其中可穿戴设备302包括一个或多个可穿戴成像设备310，当用户在正常操作中握持手持设备304时，可穿戴成像设备310的视野至少部分地且至少暂时地包括手持基准点322，并且其中手持设备304包括一个或多个手持成像设备326，当用户在正常操作中握持手持设备304时，手持成像设备326的视野至少部分地且至少暂时地包括一个或多个周围特征344。在图11A所示的示例配置中，单个手持基准点322被固定到手持设备304。AR系统1100可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。图11A所示的配置的优点包括由多个成像设备提供的增加的准确度，以及在受单个基准点位置约束的同时计算位置和取向的计算效率。AR系统1100A可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。

图11B示出了AR系统1100B的示例配置，其中可穿戴设备302包括一个或多个可穿戴成像设备310，当用户在正常操作中握持手持设备304时，可穿戴成像设备310的视野至少部分地且至少暂时地包括手持基准点322，并且其中手持设备304包括一个或多个手持成像设备326，当用户在正常操作中握持手持设备304时，手持成像设备326的视野至少部分地且至少暂时地包括一个或多个周围特征344。在图11B所示的示例配置中，多个手持基准点322被固定到手持设备304。AR系统1100B可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这样的配置的优点包括由多个成像设备提供的增加的准确度，以及通过组合基于基准点的跟踪与视觉测距技术而增加的稳健性。AR系统1100B可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU。

图12示出了使用图11A的AR系统1100A或图11B的AR系统1100B执行手持设备304相对于可穿戴设备302的定位的方法1200。方法1200的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法1200的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。

在步骤1202，由可穿戴成像设备310捕获图像(“基准点图像”)。基准点图像可以包含若干手持基准点322。例如，对于图11A，如果存在一个手持基准点322，则可以分析基准点图像以确定其包含零个或一个基准点。例如，对于图11B，如果存在三个手持基准点322，则可以分析基准点图像以确定其包含零个、一个、两个或三个基准点。

在步骤1204，例如基于基准点图像计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，对于图11A，可以分析基准点图像以确定基准点的位置，并且可以基于基准点图像内的基准点位置确定位置和/或取向的约束。例如，对于图11B，可以分析基准点图像以确定任何基准点的位置，并且可以基于基准点图像内的基准点的位置以及可穿戴基准点306之间的已知的物理关系而确定位置和/或取向。

在步骤1206，由手持成像设备326捕获图像(“世界图像”)。世界图像可以包含周围特征344。

在步骤1208，基于世界图像计算手持设备304相对于世界的位置和/或取向。在一些情况下，将世界图像与先前的世界图像进行比较以使用视觉测距技术估计手持设备304的运动，视觉测距技术可以包括在每个世界图像中执行特征检测以建立世界图像之间的对应关系。然后可以计算与世界图像中检测到的特征的运动最一致的手持设备304的运动矢量。步骤1208的输出被称为手持数据1232。

在步骤1210，由手持式IMU 324检测至少指示手持式设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或可从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或可从其计算线性加速度的原始数据。

在步骤1212，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。步骤1212的输出被称为手持数据1232。

在步骤1214，基于基准数据1230和/或手持数据1232计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，对于图11A，基准数据1230可以包括基准点图像和/或在步骤1204中执行的基于基准点图像的位置和/或取向计算的约束。例如，对于图11B，基准数据1230可以包括基准点图像和/或在步骤1204中执行的基于基准点图像的位置和/或取向计算。手持数据1232可以包括世界图像、在步骤1208中执行的基于世界图像的位置和/或取向计算、IMU数据和/或在步骤1212中执行的基于IMU数据的位置和/或取向计算。步骤1214处的位置和取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据1230和手持数据1232，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。

在步骤1216，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统1100的处理。例如，位置和/或取向可以被输出到AR系统1100以生成和显示虚拟内容。

图13示出了使用AR系统500、700、900、1100中的任一者或其任何组合执行手持设备304相对于可穿戴设备302的定位的方法1300。方法1300的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法1300的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。

在步骤1302，使用成像设备获得指示手持设备304相对于可穿戴设备302的运动的数据(“基准数据”)。执行步骤1302可以包括执行步骤1304、1306中的一者或全部两者。在步骤1304，由后部手持成像设备326B捕获包含若干可穿戴基准点306的图像(“基准点图像”)。在步骤1306，由可穿戴成像设备310捕获包含若干手持基准点322的图像(“基准点图像”)。

在步骤1308，检测至少指示手持设备304相对于世界的旋转运动的数据(“手持数据”)。执行步骤1308可以包括执行步骤1310、1312中的一者或全部两者。

在步骤1310，由前部手持成像设备326A捕获包含周围特征344的图像(“世界图像”)。在步骤1312，由手持IMU 324检测至少指示手持设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或可从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或可从其计算线性加速度的原始数据。

在步骤1314，确定基准点图像中包含的基准点数量以及观察到的基准点的位置(例如，像素位置)。

在步骤1316，根据三种操作状态之一计算/估计/更新手持设备304相对于可穿戴设备302的位置和/或取向。基于在基准点图像中观察到的基准点数量来选择操作状态。在所示实施例中，当在基准点图像中观察到三个或更多个基准点时，选择第一操作状态(“状态1”)，当在基准点图像中观察到一个或两个基准点时，选择第二操作状态(“状态2”)，当在基准点图像中观察到零个基准点时，选择第三操作状态(“状态3”)。状态之间的切换可以在每次捕获新的基准点图像时发生或者以预定时间间隔发生。例如，可以基于基准数据(例如，基准点图像)和手持数据(例如，世界图像和IMU取向)中的一者或全部两者，在每个相机帧处执行步骤1316。步骤1316可以进一步包含先前的位置和/或取向计算以提高估计准确度。

根据第一操作状态(“状态1”)，可以例如仅基于基准数据高准确度地计算位置和/或取向(完整的六个自由度)。当观察到四个或更多个基准点时，位置可以被完全解算。当恰好观察到三个基准点时，存在两个可能的位置解，其中一个可以基于附加处理和/或与先前计算的位置的比较而被丢弃。在一些实施例中，手持数据可用于补充和提高计算准确度。在一些实施例中，可以采用扩展卡尔曼滤波器来基于先前的位置和/或取向计算提高准确度。

根据第二操作状态(“状态2”)，例如可以使用基准数据和手持数据二者来计算位置和/或取向。当观察到两个基准点时，基准数据使得能够计算受约束的位置和/或取向，并且手持数据可用于在基准数据施加的约束的情况下完成计算。在一些实施例中，可以采用扩展卡尔曼滤波器来基于先前的位置和/或取向计算而提高准确度。在第二操作状态下执行的计算总体上可能不如在第一操作状态下执行的计算准确。

根据第三操作状态(“状态3”)，例如可以仅基于手持数据(即，航位推算(deadreckoning))计算位置和取向。在一些实施例中，可以采用扩展卡尔曼滤波器来基于先前的位置和/或取向计算提高准确度。在第三操作状态下执行的计算总体上可能不如在第一或第二操作状态下执行的计算准确。

在步骤1318，执行IMU偏差校正以增加作为步骤1316处的输入提供的IMU数据的准确度。由于IMU数据可能随时间漂移，因此定期更新可以重新校准IMU数据。在一些实施例中，仅在选择第一操作状态时提供偏差更新，并且可以提供高准确度偏差更新。在一些实施例中，在选择第一操作状态或第二操作状态时提供偏差更新，因为两种状态在其计算中均利用基准数据。偏差更新可以在每个相机帧处提供或以预定时间间隔提供。

图14示出了根据本文描述的一些实施例的简化计算机系统1400。图14提供了可以执行由各种实施例提供的方法的部分或所有步骤的计算机系统1400的一个示例的示意图。应当注意，图14仅用于提供各种部件的概括说明，可以适当地使用其中的任何或所有部件。因此，图14广泛地示例了如何以相对分离或相对更集成的方式实现各个系统元件。

计算机系统1400被示出为包括可以通过总线1405电耦接，或者可以适当地以其它方式进行通信的硬件元件。这些硬件元件可以包括：一个或多个处理器1410，其包括但不限于一个或多个通用处理器和/或一个或多个专用处理器，例如数字信号处理芯片、图形加速处理器和/或类似物；一个或多个输入设备1415，其可以包括但不限于鼠标、键盘、相机和/或类似物；一个或多个输出设备1420，其可以包括但不限于显示设备、打印机和/或类似物。

计算机系统1400可以进一步包括一个或多个非暂时性存储设备1425，和/或与一个或多个非暂时性存储设备1425通信，该存储设备1425可以包括但不限于本地和/或网络可访问存储器，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备，诸如可编程的、可闪速更新的随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，和/或类似物。这样的存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构和/或类似物。

计算机系统1400可以还包括通信子系统1419，其可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组，例如Bluetooth^TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等等，和/或类似物。通信子系统1419可以包括一个或多个输入和/或输出通信接口，以允许与诸如下面举例描述的网络之类的网络、其它计算机系统、电视和/或本文描述的任何其它设备交换数据。取决于所需的功能和/或其它实施方式问题，便携式电子设备或类似设备可以经由通信子系统1419传送图像和/或其它信息。在其它实施例中，诸如第一电子设备之类的便携式电子设备可以被并入到计算机系统1400中，例如作为输入设备1415的电子设备。在一些实施例中，计算机系统1400还包括工作存储器1435，其可以包括上述RAM或ROM设备。

计算机系统1400还可以包括软件元件，其被示出为当前位于工作存储器1435内，工作存储器1435包括操作系统1440、设备驱动程序、可执行库和/或其它代码，例如一个或多个应用程序1445，如本文所述，这些应用程序1445可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由其它实施例提供的方法和/或配置系统。仅作为示例，参考上述方法描述的一个或多个过程可以被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令；然后，在一方面，这样的代码和/或指令可被用于配置和/或调整通用计算机或其它设备以根据所描述的方法执行一个或多个操作。

一组这些指令和/或代码可以被存储在非暂时性计算机可读存储介质上，例如上述存储设备1425上。在一些情况下，存储介质可以被并入计算机系统中，例如计算机系统1400中。在其它实施例中，存储介质可以与计算机系统分离，例如可移除的介质，例如光盘，和/或在安装包中被提供，使得存储介质可被用于编程、配置和/或调整其上存储有指令/代码的通用计算机。这些指令可以采用可由计算机系统1400执行的可执行代码的形式，和/或可以采用源代码和/或可安装代码的形式，当例如使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等在计算机系统1400上编译和/或安装时，该源代码和/或可安装代码然后采用可执行代码的形式。

对于本领域技术人员显而易见的是，可以根据具体要求进行实质性变化。例如，也可以使用定制硬件，和/或特定元件可以用硬件和/或包括便携式软件(例如小应用程序等)的软件实现。此外，可以采用与诸如网络输入/输出设备之类的其它计算设备的连接。

如上所述，在一方面，一些实施例可以采用诸如计算机系统1400之类的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例，这些方法的部分或全部过程由计算机系统1400执行，以响应于处理器1410执行一个或多个指令的一个或多个序列，这些指令可以被并入到操作系统1440和/或诸如应用程序1445之类的包含在工作存储器1435中的其它代码中。可以将这样的指令从另一计算机可读介质(例如一个或多个存储设备1425)读入工作存储器1435中。仅作为示例，包含在工作存储器1435中的指令序列的执行可以使处理器1410执行本文描述的方法的一个或多个过程。附加地或替代地，本文描述的方法的一部分可以通过专用硬件来执行。

如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统1400实现的实施例中，各种计算机可读介质可以涉及向处理器1410提供指令/代码以供执行，和/或可以被用于存储和/或携带这样的指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形的存储介质。这样的介质可以采用非易失性介质或易失性介质的形式。非易失性介质例如包括光盘和/或磁盘，例如存储设备1425。易失性介质包括但不限于动态存储器，例如工作存储器1435。

物理和/或有形的计算机可读介质的常见形式例如包括软盘、柔性盘、硬盘、磁带或任何其它磁介质、CD-ROM、任何其它光介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁带，或计算机可以从中读取指令和/或代码的任何其它介质。

各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列传送到处理器1410以供执行。仅作为示例，指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中，并将指令作为信号通过传输介质发送，以由计算机系统1400接收和/或执行。

通信子系统1419和/或其部件通常将接收信号，然后总线1405可以将信号和/或信号所携带的数据、指令等传输到工作存储器1435，处理器1410从工作存储器1435检索并执行指令。由工作存储器1435接收的指令可以可选地在由处理器1410执行之前或之后被存储在非暂时性存储设备1425上。

以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替换或添加各种过程或组件。例如，在备选配置中，可以以不同于所描述的顺序执行方法，和/或可以添加、省略和/或组合各种阶段。而且，针对特定配置描述的特征可以以各种其它配置组合。配置的不同方面和元件可以以类似的方式组合。此外，技术是发展的，因此许多元件是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实施方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了众所周知的电路、处理、算法、结构和技术而没有不必要的细节，以避免混淆配置。该描述仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能说明。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，配置可以被描述为过程，该过程能够被描绘为示意性流程图或框图。尽管每个过程可以将操作描述为顺序过程，但是许多操作可以并行或同时被执行。另外，可以重新排列操作的顺序。一过程可能具有附图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当通过软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以被存储在诸如存储介质之类的非暂时性计算机可读介质中。处理器可以执行所描述的任务。

已经描述了若干示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同物。例如，上述元件可以是更大系统的组件，其中其它规则可能优先于本技术的应用或以其它方式修改本技术的应用。而且，可以在考虑上述元件之前、期间或之后执行许多步骤。因此，以上描述不限制权利要求的范围。

如本文和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另有明确说明。因此，例如，对“一用户”的提及包括多个这样的用户，并且对“该处理器”的提及包括提及本领域技术人员公知的一个或多个处理器及其等同物等等。

此外，当在本说明书和先的权利要求中使用时，词语“包括”、“包含”、“含有”、“内含”、“具有”、“涵盖”和“带有”旨在指定所声明的特征、整体、组件或步骤的存在，但它们不排除一个或多个其它特征、整体、组件、步骤、动作或其组的存在或添加。

还应理解，本文描述的实例和实施例仅用于说明目的，根据这些实例和实施例进行的各种修改或改变将被暗示给本领域技术人员，并且这些修改或改变将被包括在本申请的精神和范围以及所附权利要求的范围内。