阅读说明：本技术 物体跟踪系统 (Object tracking system ) 是由 I·雅尼奇 J·W·蔡 F·吴 于 2019-06-26 设计创作，主要内容包括：公开了一种物体跟踪系统。跟踪系统被设计用于全球定位系统(GPS)、射频(RF)和/或蜂窝通信信号不可用的环境。该系统经配置以使用周围环境的相机捕获的图像以及惯性测量来执行视觉和/或传统测距。物体检测算法和/或跟踪方案可用于检测捕获的图像内的物体,以帮助确定相对于物体的用户位置。检测器架构可以经配置以允许与目标(和/或物体)无关的相机检测和/或跟踪,其根据要检测和/或跟踪的物体的类型而容易地配置和/或可重新配置。(An object tracking system is disclosed. Tracking systems are designed for environments where Global Positioning System (GPS), Radio Frequency (RF), and/or cellular communication signals are not available. The system is configured to perform visual and/or conventional ranging using images captured by cameras of the surrounding environment and inertial measurements. Object detection algorithms and/or tracking schemes may be used to detect objects within captured images to help determine a user's position relative to the objects. The detector architecture may be configured to allow target (and/or object) independent camera detection and/or tracking, which is easily configured and/or reconfigurable according to the type of object to be detected and/or tracked.)

物体跟踪系统

技术领域

本公开涉及一种物体跟踪系统，并且更具体地涉及针对对全球定位系统(GPS)、射频(RF)和/或蜂窝通信信号不可用的环境设计的物体跟踪系统。

背景技术

人类对秩序有一种基本愿望，并经常寻求理解他们的过去、现在和未来的位置。对于军事、安全和/或调查人员来说，这种本地化的基本愿望可能至关重要；特别地当第一次在一个区域内操作时。如果没有用于定位的已知地标和/或基础设施选项，则很容易迷路和/或迷失方向，这可能导致升高的压力水平和/或其他潜在危险。

现有的跟踪系统，包括可穿戴式跟踪系统，通常依赖于全球定位系统(GPS)、预先部署的射频(RF)基础设施和/或其他定位基础设施。例如，在城市，室内和/或地下环境中，GPS可能变得不可用(即，拒绝GPS的环境)。GPS的丢失会导致这种跟踪系统的定位出现重大问题。虽然已经开发了各种基于RF的跟踪系统来跟踪室内人员或物体的位置(例如，使用蜂窝塔和Wi-Fi信号)，但是这种跟踪系统倾向于依赖于预先部署和/或可能昂贵的RF基础设施。因此，需要针对对GPS、RF和/或蜂窝通信信号不可用的环境设计的物体跟踪系统。

发明内容

本公开涉及一种物体跟踪系统，包括为对GPS、RF和/或蜂窝通信信号不可用的环境设计的物体跟踪系统。

根据第一方面，一种物体追踪系统，包括：相机，其经配置以根据第一相机配置捕获周围环境的图像，其中，相机经配置以采用第二相机配置；以及与相机操作地耦合的计算机，其中计算机经配置以：处理来自相机的图像，使用从检测算法库中选择的检测算法检测图像内的可移动物体，估计可移动物体的当前位置，估计用户相对于可移动物体的当前位置的当前位置，预测可移动物体的未来位置，以及至少部分地基于可移动物体的未来位置确定第二相机配置。

在某些方面，物体跟踪系统还包括惯性测量单元(IMU)，其中计算机经配置以测量用户的角速度或线性加速度中的至少一个。

在某些方面，计算机经配置以：(1)至少部分地基于IMU的测量来估计用户的当前位置；以及(2)至少部分地基于IMU的测量来预测可移动物体的未来位置。

在某些方面，计算机经配置以创建或更新地图以反映可移动物体的当前位置和用户相对于可移动物体的当前位置。

在某些方面，相机耦合到与用户相关联的可穿戴物或与和用户相关联的可穿戴物集成。

在某些方面，使用卡尔曼滤波器确定可移动物体的当前位置、用户的当前位置或可移动物体的未来位置中的至少一个。

在某些方面，计算机操作地与全球定位系统(GPS)耦合，其中计算机经配置以在拒绝GPS的环境中确定用户相对于可移动物体的当前位置。

根据第二方面，一种定位系统，包括：相机，其中相机根据当前的横向转动、纵向倾斜和/或变焦(PTZ)配置被定向，并且其中相机经配置以在根据当前的PTZ配置定向时捕获图像；处理器，其经配置以使用计算机视觉技术处理图像；控制器，其经配置以从相机接收当前PTZ配置，开发新的PTZ配置，并将新的PTZ配置传递到相机；检测器，其经配置以检测图像内的可移动物体，其中使用边界框和从物体检测算法库中选择的检测算法来检测可移动物体，其中选择是基于被检测物体的类型，并且其中检测器经配置以如果检测算法不再与被检测物体的类型兼容则停用检测算法；以及状态估计器，其经配置以存储用户的当前估计位置，并基于物体的类型、可移动物体的估计位置和存储的地图计算用户的新估计位置，其中，存储的地图包括可移动物体相对于当前估计位置的估计位置。

在某些方面，相机耦合到与用户相关联的可穿戴物或与和用户相关联的可穿戴物集成。

在某些方面，控制器至少部分地基于以下内容中的至少一个来开发新的PTZ配置：被检测的物体的类型，用户的新估计位置或由外部设备共享的信息。

在某些方面，相机是全方位相机。

在某些方面，定位系统还包括经配置以捕获图像的第二相机。

在某些方面，定位系统还包括惯性测量单元(IMU)。

在某些方面，状态估计器至少部分地使用测距来计算用户的新估计位置。

在某些方面，状态估计器使用卡尔曼滤波器。

在某些方面，定位系统还包括经配置以接收用户输入的界面，其中输入用于帮助确定被检测的物体的类型。

根据第三方面，一种用于视觉定位个体的方法包括以下步骤：使用第一横向转动、纵向倾斜和/或变焦(PTZ)配置经由相机捕获图像；处理图像以确定适当的检测算法；从检测算法库中选择适当的检测算法；使用检测算法检测图像内的物体，其中，检测算法用边界框包围物体；确定物体是移动还是静止的；响应于确定物体是静止的：估计物体相对于用户或其他物体中的一个的位置，其中使用卡尔曼滤波器和来自惯性测量单元(IMU)的惯性测量来估计位置，并且将物体的位置存储在地图存储器中；确定第二PTZ配置；并根据第二PTZ配置定向相机。

在某些方面，计算机视觉用于以下步骤中的至少一个步骤：处理图像、选择适当的检测算法、检测图像内的物体以及确定物体是移动还是静止的。

在某些方面，相机包括多个相机，它们之间具有全方位覆盖。

在某些方面，该方法还包括与外部设备共享估计的位置和/或地图信息中的至少一个的步骤。

附图说明

如附图中所图示说明的，本文所描述的设备、系统和方法的前述和其他目的、特征和优点将从以下对其特定实施例的描述中容易理解，其中相同的附图标记指代相同的结构。附图不一定按比例绘制，重点在于说明本文所描述的设备、系统和方法的原理。

图1图示说明示例物体跟踪系统的部件。

图2图示说明合适于和物体跟踪系统一起使用的示例相机。

图3图示说明用于物体跟踪系统的示例系统架构的块图。

图4图示说明反映物体跟踪系统的操作的流程图。

图5a图示说明可由物体跟踪系统捕获和/或处理的场景的示例图像。

图5b图示说明图5a的图像的放大部分。

图6a和图6b图示说明可以由图1的物体跟踪系统生成和/或维护的示例地图。

具体实施方式

在下文中将参考附图描述本公开的优选实施例。附图中的部件不一定按比例绘制，重点在于清楚地说明本实施例的原理。例如，为了清楚和方便描述，可夸大元件的尺寸。此外，在任何可能的地方，在整个附图中使用相同的附图标记来指代实施例的相同或相似的元件。在以下描述中，没有详细描述公知的功能或构造，因为它们可能以不必要的细节模糊本公开。说明书中的任何语言都不应被解释为指示任何未要求保护的元素对于实施例的实践是必不可少的。对于本申请，以下术语和定义应适用：

如本文所用，术语“约”和“近似”在用于修饰或描述值(或值的范围)时，意指合理地接近该值或值的范围。因此，本文中描述的实施例不仅限于所列举的值和值的范围，而是应该包括合理可行的偏差。

如本文中所使用的，术语“和/或”意指由“和/或”所联合的列表中的任何一个或更多个项。作为示例，“x和/或y”意指三元素集{(x)，(y)，(x，y)}中的任何元素。换句话说，“x和/或y”意指“x和y中的一个或两个”。作为另一个例子，“x、y和/或z”意指七元素集{(x)，(y)，(z)，(x，y)，(x，z)，(y，z)，(x，y，z)}中的任何元素。换句话说，“x、y和/或z”意指“x、y和z中的一个或更多个”。

如本文中所使用的，术语“电路”和/或“电路系统”指代物理电子部件(即，硬件)，例如模拟和/或数字部件、电源和/或控制元件，和/或微处理器以及可以配置硬件、由硬件执行和/或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。

如本文中所使用的，术语“通信”和“与……通信”指代(1)从源发射或以其他方式传送数据到目的地，和/或(2)将数据传递到要被传送到目的地的通信介质、系统、信道、网络、设备、电线、电缆、光纤、电路和/或链路。

如本文中所使用的，本文中使用的术语“耦合”、“耦合到”和“与……耦合”均意指结构和/或电气连接，无论是附接、附加、连接、联合、紧固、链接和/或以其他方式固定。如本文中所使用的，术语“附接”意指附加、耦合、连接、联合、紧固、链接和/或以其他方式固定。如本文中所使用的，术语“连接”意指附接、附加、耦合、联合、紧固、链接和/或以其他方式固定。

如本文中所使用的，术语“数据库”意指相关数据的有组织的主体，而不管以何种方式表示数据或其有组织的主体。例如，相关数据的有组织的主体可以是表、地图、网格、数据包、数据报、帧，文件、电子邮件、消息、文档、报告、列表或以任何其他形式呈现的数据中的一个或更多个的形式。

如本文所使用的，术语“示例性”意指用作非限制性示例、实例或说明。如本文中所使用的，术语“例如(e.g.和example)”引出一个或更多个非限制性示例、实例或说明的列表。

如本文中所使用的，术语“存储器”意指计算机硬件或电路系统，用于存储处理器和/或其他数字设备使用的信息。存储器可以是任何合适类型的计算机存储器或任何其他类型的电子存储介质，例如，只读存储器(ROM)、随机存取存储器(RAM)、高速缓冲存储器、光盘只读存储器(CDROM)、电光存储器、磁光存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、计算机可读介质等。

如本文中所使用的，本文中使用的术语“网络”包括所有类型的网络和互联网络，包括因特网，并且不限于任何特定网络或互联网络(inter-network)。

如本文中所使用的，术语“操作地耦合”意指多个元件或组件被耦合在一起，使得当第一元件/组件从一个状态(和/或配置、定向、位置等)移动到另一个时，操作地耦合到第一元件/组件的第二元件/组件也在一个状态(和/或配置、定向、位置等)到另一个状态之间移动。应注意，第一元件可以“操作地耦合”到第二元件，而相反的情况并非如此。

如本文中所使用的，术语“处理器”意指处理设备、装置、程序、电路、部件、系统和子系统，无论它们是以硬件、有形地体现的软件还是两者实施的，以及它是否是可编程的。本文中使用的术语“处理器”包括但不限于一个或更多个计算设备、硬连线电路、信号修改设备和系统，用于控制系统的设备和机器、中央处理单元、可编程设备和系统、现场可编程门阵列、专用集成电路、片上系统、包括分立元件和/或电路的系统、状态机、虚拟机、数据处理器、处理设施以及任何前述的组合。处理器可以是例如任何类型的通用微处理器或微控制器、数字信号处理(DSP)处理器、专用集成电路(ASIC)。处理器可以耦合到存储器设备或与存储器设备集成。

本文公开了物体跟踪系统，诸如与物体无关的跟踪系统，其可以帮助识别个体(例如，可能穿着可穿戴物的用户)或物体(例如，可移动物体)的位置。物体跟踪系统还可以协调个体或物体的位置与(一个或更多个)其他个体或物体的位置，以帮助在未知的、不确定的和复杂的环境中导航个体或物体。换句话说，如下面将更全面地描述的，物体跟踪系统可以提供对移动和/或静止物体(例如，相对于被跟踪物体或人)的检测和处理，以便于帮助在拒绝GPS、拒绝RF或其他拒绝跟踪的环境中导航和映射，从而基于周围物体提供对个体(例如，用户)或物体(例如，交通工具、仪器等)的位置(例如，定位)的估计。

即使在没有GPS和/或任何部署的RF基础设施的情况下，基于视觉的位置跟踪也可以有效地工作。例如，基于视觉的位置跟踪提供定位自身(例如，光学器件所附接的人或物体)的能力，并以与人类似的方式创建地图。虽然对独立于GPS的个体跟踪的研究已经导致高度准确的基于视觉惯性测距的算法解决方案，但是这些算法解决方案被后处理并且通常限于单个核心计算机处理单元(CPU)。然而，例如，横向转动、纵向倾斜和变焦(PTZ)网络相机可以帮助解决在拒绝GPS的环境中的位置跟踪问题。一些跟踪算法可以与商用现成(COTS)PTZ网络相机相关联，大多数PTZ相机跟踪算法本质上耦合到物体的检测和/或实施为跟踪物体的控制方案。与物体检测相关的复合错误可能导致跟踪不准确。这可以限制目标跟踪系统可以准确地跟踪的物体的数量，或者需要对整个系统进行再训练，以便准确地跟踪不同类型的物体。此外，可能不会为快速适应现有目标跟踪平台而构造算法。

为了解决至少前述问题，本公开提出了一种物体跟踪系统，其经配置以在不需要GPS和/或RF可部署的基础设施的情况下，跟踪用户(或物体)的位置和/或定位。物体跟踪系统可以通过开发更强大的硬件和移植算法以利用通用图形处理单元(GPGPU)架构，以高准确性，例如在总行进距离的0.2％内，在拒绝GPS和/或拒绝RF的环境中操作。GPGPU指代配置为执行通常由CPU实行的非专用计算的图形处理单元(GPU)。

物体跟踪系统的目标是促进与物体无关的PTZ跟踪，其对于要跟踪的物体或人的类型是容易配置的，并且可高度扩展到其他物体域，而用户方面几乎不需要任何工作。在某些方面，物体跟踪系统可以经配置以支持驻留在由人工神经网络训练的一组标准化软件模块内的通用参数化物体检测器的定义。该系统架构的设计可以最大化跨所有检测域的架构的可扩展性。物体跟踪系统还可以包括这样的物体检测器的库，其可以在可重新配置的设计中容易地针对各种使用情况进行定制，该可重新配置的设计仅采用必要的算法和模块，同时还能够根据需要快速激活或停用算法。

相应地，本公开描述了一种完整的、可扩展的、可重新配置的并且与物体无关的系统，用于控制联网的PTZ相机以用于物体跟踪和/或导航的任务。因此，物体跟踪系统可以使用一个或更多个可穿戴式传感器和计算机(例如移动设备)提供完整的解决方案，通过开发用于在计算机上使用的GPGPU计算机视觉算法来实现。在某些方面，物体跟踪系统可以是可穿戴的但不显眼的，从而将可穿戴物(例如，衣服制品)与一个或更多个小型和/或不引人注意的相机和计算机组合。物体跟踪系统可以经配置以尤其：(1)在两小时的耐力任务中以低于20米精度的最坏情况性能实现低于5米精度，(2)经由便携式用户设备处理每秒50万次浮点操作(FLOPS)，并将包含超过100GB的本地存储空间，用于存储映射区域上的信息；(3)使用本地通信基础设施(诸如Wi-Fi、蓝牙或蜂窝网络)转发信息；(4)不需要依赖(a)可部署的GPS/RF基础设施进行位置测定，而是使用来自相机的图像和/或(b)事先调查该区域；(5)提供与本地命令和控制(C2)映射工具兼容的输出数据，诸如目标上的光标；(6)在拒绝GPS的环境中，从GPS的初始丢失或类似精确定位起，在最多2小时的定位漂移和数据存储限制内操作。

图1图示说明物体跟踪系统100的部件。如所说明的，物体跟踪系统100可包括可操作地与一个或更多个传感器，例如相机104、温度传感器106、惯性测量单元(IMU)110、麦克风(例如，其可以与相机104集成)等耦合的控制系统108。如所示出的，物体跟踪系统100可以包括或体现为可穿戴物102，例如无边帽子、有边帽子、头盔、衬衫、夹克、毛衣、鞋、靴子、手套、裙子、裤子、短裤、眼镜和/或任何其他合适的衣服制品、衣服配件和/或其他类型的可穿戴物。

在某些方面，物体跟踪系统100可以调整商用可用的现成可穿戴小型监视相机104，以便不显眼地嵌入到可穿戴物102中。相机104可以经由可与可穿戴物102集成的控制系统108与计算机112可操作地耦合。物体跟踪系统100可以实施多状态约束卡尔曼滤波器(MSCKF)以使用执行同时定位和映射(SLAM)的一个或更多个间谍相机104来维持导航精度，以改善在拒绝GPS情况下惯性测量单元(IMU)110的性能。在操作中，即使在拒绝GPS(诸如城市或地下环境)的情况下，相机104和/或计算机112可用于捕获视觉数据(图像数据)并执行实时视觉测距和/或跟踪空间中识别的物体。

虽然将主要结合用于跟踪用户(例如，人或动物)的可穿戴物102来描述物体跟踪系统100，但是物体跟踪系统不需要体现在可穿戴物中。相反，物体跟踪系统100可以用于促进几乎任何可移动物体的定位和/或导航，包括例如交通工具(例如，汽车、飞机、船舶等)、仪器和其他物体。例如，物体跟踪系统100可以集成到可移动物体或交通工具中(例如，作为其控制或导航系统的一部分)以提供所公开的特征。

控制系统108和一个或更多个传感器可以附接到(和/或嵌入到)可穿戴物102(图示为无边帽)。例如，相机104可以嵌入到可穿戴物102的半刚性无边帽衬里中。在某些方面，当组合考虑时，相机104可以提供全方位覆盖。也就是说，组合的相机104可以具有在笛卡尔坐标系中的x、y和z平面中的每个中从佩戴和/或操作相机104的用户周围的基本360度区域捕获图像和/或视频的一些能力。类似地，一个或更多个温度传感器106也可以附接到(和/或嵌入到)可穿戴物102。在一些示例中，温度传感器106中的一个或更多个可以经配置以测量热膨胀系数(CTE)。在一些示例中，温度传感器106中的一个或更多个可包括热敏电阻、恒温器等。

物体跟踪系统100还可以包括计算机112，或者可以与计算机112操作地耦合。例如，物体跟踪系统100可以包括经配置以与计算机112通信的收发器126，该计算机112相对于控制系统108和/或可穿戴物102可以位于本地或远程位置。在某些方面，计算机112可以是商用现成的(COTS)移动设备，诸如智能电话、平板计算机、个体数字助理(PDA)、智能手表、智能眼镜、膝上型计算机、便携式游戏设备和/或其他类似设备；虽然计算机112也可以是远程计算机或其他配备处理器的设备，包括例如位于指挥中心的固定计算机。在某些方面，计算机112可包括定制设备和/或定制微芯片。在某些方面，物体跟踪系统100可以包括多个计算机112，或者操作地与多个计算机112耦合。

计算机112可包括处理器120、显示器116、一个或更多个存储器设备122(例如，RAM、ROM、闪存等)、收发器124和/或用户界面(UI)114。计算机112可以经配置以直接或经由通信网络118(例如，因特网或另一网络)与控制系统108通信。例如，控制系统108可以经配置以经由收发器124、126(例如，无线收发器)与计算机112通信，收发器124、126可以经配置以经由诸如蓝牙(例如，从2.4至2.485GHz的ISM频带中的短波长、UHF无线电波)、NFC、Wi-Fi(例如，IEEE802.11标准)等的一个或更多个无线标准进行通信。然而，还预期计算机112可以经配置以经由有线连接与控制系统108通信。

在某些方面，显示器116可以提供用户界面114的至少一部分。例如，显示器116可以配置为触摸屏显示器，由此用户界面114是重叠LCD显示器的触摸屏数字转换器。在该示例中，显示器116可以显示图形用户界面(GUI)，其可以经由触摸屏选择。在其他示例中，用户界面114是或包括麦克风以便于语音识别技术。(一个或更多个)相机104、(一个或更多个)温度传感器106、控制系统108和/或计算机112可以经由导线、电缆、导体和/或本领域普通技术人员已知的其他电气装置操作地彼此耦合。在某些方面，(一个或更多个)相机104、(一个或更多个)温度传感器106、控制系统108和/或计算机112可以使用无线技术操作地耦合，例如通过蜂窝电话网络(例如，TDMA、GSM和/或CDMA)、Wi-Fi(例如，802.11a、b、g、n、ac)、蓝牙、近场通信(NFC)、光通信、无线电通信和/或其他适当的无线通信技术。

图2图示说明可以在物体跟踪系统100中使用的示例相机104。在某些方面，相机104可以包括可以相对容易隐藏的小型、不引人注意的、监视相机，使得它相对不显眼。在某些方面，相机104可以包括光学传感器，其经配置以捕获摄影、视频和/或视听图像。相机104可以经配置以以不同的模式操作，例如，正常模式、夜视模式、热模式、红外模式等。在某些方面，用户可以通过用户界面114选择适当的相机104模式。在某些方面，(一个或更多个)相机104可以自动检测环境的最适当模式，并向用户建议最适当的模式(和/或一个或更多个其他模式)或自动切换到最适当的模式。

相机104可以操作地耦合到相机模块200，相机模块200可以支持相机104并向相机104提供电输入并且从相机104提供电输出(例如，电力和/或诸如视频馈送的数据)。在某些方面相机模块200可以体现为电路板。相机模块200可以经由电缆202操作地耦合到物体跟踪系统100的其他部件，从而避免了对收发器和/或本地电池的需求。电缆202可以承载电力、数据或电力和数据两者。在某些方面，可以省略电缆202，并且可以经由集成到相机模块200中的发射器、接收器和/或收发器将数据发送到控制系统108或从控制系统108发送数据。相应地，相机模块200可以包括或耦合到无线收发器和/或本地电池，用于向相机104供应电力。

相机104可以经配置以经由相机模块200和/或电缆202与控制系统108发送和/或接收信息。这样的信息可以包括例如图像数据(视频馈送、静止图像等)、捕获图像/视频馈送的命令、已捕获图像的通知、图像信息、采用特定配置的命令(例如，横向转动、纵向倾斜和/或变焦配置)、已采用特定配置的通知和/或其他适当的信息、数据或命令。

相机104可以是例如横向转动、纵向倾斜和变焦(PTZ)相机，其经配置以围绕Y轴横向转动(和/或转、旋转、旋动、扭转等)。在某些方面，相机104可以经配置以横向转动整个360度。在其他方面，相机104可以经配置以横向转动小于360度，诸如270度或180度。相机104还可以经配置以围绕X轴纵向倾斜(转、旋转、旋动、扭转等)。在某些方面，相机104可以经配置以倾斜整个360度。在其他方面，相机104可以经配置以倾斜小于360度，诸如270度或180度。在某些方面，相机模块200能够以某些倾斜角度阻挡图像捕获。在某些方面，相机104可以与控制单元集成或实施到控制单元(例如，横向转动、纵向倾斜或变焦的控制)。

相机104还可以经配置以使用变焦镜头204放大和缩小，由此变焦镜头204经配置以改变其焦距长度来放大(和/或扩大)场景的图像。在某些方面，变焦镜头204可以是超广角镜头，诸如鱼眼镜头。在某些方面，变焦镜头204可以包括220度百万像素(MP)质量的鱼眼镜头，并且相机104可以包括1800万像素通用串行总线(USB)相机。在使用多个相机的示例中，每个相机104可以具有相同的PTZ能力或不同的PTZ能力。

图3图示说明控制系统108相对于物体跟踪系统100的其他部件的各种部件。如所说明的，控制系统108通常包括处理电路系统300、物体检测器306、检测器库308、状态估计器310和/或数据管理单元312。数据管理单元312可以是例如数据分发服务(DDS)。处理电路系统300可以包括例如图形处理单元(GPU)302和逻辑控制器304。虽然被说明为单独的部件，但是GPU 302和逻辑控制器304可以集成到单个部件中，诸如处理器或CPU。在某些方面，IMU 110可以与(例如，经由单个板或芯片提供的)控制系统108集成。

在操作中，物体跟踪系统100的部件移动通过以下过程：(1)从相机104获取(一个或更多个)场景的图像数据和当前相机104配置；(2)经由处理电路系统300预处理捕获的图像；(3)经由物体检测器306检测场景图像内的物体；(4)经由物体检测器306和/或检测器库308过滤找到的边界框；(5)经由状态估计器310从这些边界框估计系统的状态；以及(6)经由处理电路系统300确定控制输出(横向转动、纵向倾斜、变焦)以发送回相机104。附加地，可以从状态估计器310和/或处理电路系统300将各种类型的信息发送到数据管理单元312。数据管理单元312可以经由收发器124、126与计算机112(无论是经由天线系统通过有线还是无线地)通信。在某些方面，通信可以是通过外部界面/接口层314(例如，通信总线)的过程。

控制系统108可以作为单个微芯片提供，诸如片上系统(SoC)或板上系统(SoB)。例如，GPU 302、数据管理单元312、逻辑控制器304、物体检测器306和/或状态估计器310都可以经由单个微芯片包含在内(或被提供)。在一些方面，检测器库308也可以集成到单个微芯片中。在某些方面，控制系统108的部件可以用硬件、软件和/或两者的组合来实施。在某些方面，控制系统108的部件可以遍及多个微芯片和/或其他设备来实施。虽然控制系统108被说明为独立于计算机112的独立部件，但是控制系统108可以依据应用与计算机112集成。

在操作中，GPU 302可以经配置以处理从相机104接收的图像(即，图像数据)。GPU302可以通过有线和/或无线通信连接操作地耦合到相机104。在某些方面，GPU 302可以经配置以实施实时计算机视觉技术，诸如特征提取。GPU 302可以附加地或替代地经配置以协助物体跟踪系统100的视觉测距。例如，视觉测距方法可以包括基于扩展卡尔曼滤波器(EKF)的算法，诸如多状态约束卡尔曼滤波器(MSCKF)。视觉测距方法可以至少部分地使用矢量化计算机编程语言(诸如OpenCL)来实施。

在某些方面，GPU 302可以操作地耦合到显示器(例如，本地显示器或计算机112的显示器116)和/或用户界面(例如，本地用户界面或计算机112的用户界面114)。可以通过数据管理单元312和/或界面层314或通过其他合适的方法来促进通信。GPU 302可以经配置以将图像数据(例如，图形、图像、摄影和/或视频)呈现到显示器116。例如，GPU 302可以将一个或更多个用户和/或相对于用户的一个或更多个物体的地图和/或相对位置呈现到显示器116，其示例在图6a和图6b中说明。GPU 302还可以操作地耦合到数据管理单元312、相机104和逻辑控制器304。在某些方面，GPU 302也可以操作地耦合到其他部件。

逻辑控制器304可以经配置以单独地或与物体跟踪系统100的其他部件组合地执行物体跟踪系统100的某些编程和/或逻辑处理。在某些方面，逻辑控制器304可以是处理器，诸如CPU。在某些方面，逻辑控制器304可以是例如具有以2.45Hz运行的四个核和以1.9GHz运行的四个核的八核CPU。如上所述，GPU 302可以与逻辑控制器304集成。

相机104可以经配置以通过采用一个或更多个相机配置，根据多个相机配置(例如，PTZ配置)来捕获周围环境的图像。例如，相机104可以使用第一相机配置捕获第一图像(或第一视频馈送)，然后使用第二相机配置捕获第二图像(或第二视频馈送)。逻辑控制器304可以经配置以依据第一PTZ配置(例如，当前或先前的PTZ配置)确定用于相机104的适当的第二PTZ配置(例如，新的PTZ配置)。例如，逻辑控制器304可以在选择第二PTZ配置时使用关于当前PTZ相机104配置的信息。当前PTZ相机配置可以由GPU 302提供，其还可以协助进行确定。逻辑控制器304还可以使用来自状态估计器310的信息来进行选择。例如，逻辑控制器304可以使用关于被检测和/或跟踪的某些物体的预测和/或估计信息，以及物体跟踪系统100的用户和/或其他物体跟踪系统的用户来确定(一个或更多个)新的PTZ相机配置。例如，新的PTZ配置可以对应于引导相机104朝向在图像的场景内被跟踪的物体的近似估计和/或预测的边界框中心/质心的配置。逻辑控制器304(和/或GPU 302)可以针对每个相机104确定新的PTZ配置。在一些情况下，新的PTZ配置可以与当前的PTZ配置相同或基本相似。

逻辑控制器304还可以经配置以向GPU 302和/或相机104发送其他命令。例如，逻辑控制器304可以发送命令以立即捕获图像，诸如经由用户界面114响应于来自用户的类似命令。在某些方面，逻辑控制器304可以在每次相机104要捕获新图像时向GPU 302和/或相机104发送命令来捕获图像。在某些方面，捕获图像的命令可以是新PTZ配置的一部分。在某些方面，即使在没有来自逻辑控制器304的特定命令的情况下，GPU 302和/或相机104也可以连续地捕获图像。在某些方面，GPU 302和/或相机104可以避免捕获图像，除非收到特定命令。在一些示例中，用户可以经由界面114选择相机104是否应该在捕获图像之前等待特定命令，或者相机104是否应该连续捕获图像。

物体检测器306可以经配置以检测图像的场景内的物体，诸如由相机104捕获的图像。物体检测器306可以是参数化物体检测器，使得物体检测器306可以与各种域兼容。物体检测器306可以实施为硬件、软件或其组合。在某些方面，物体检测器306可以是类和/或类实例，诸如当使用面向对象的编程语言实施物体检测器306时。在某些方面，可以使用OpenCL、C、C++、Java、Python、Perl、Pascal和/或其他适用的方法来实施物体检测器306。物体检测器306可以操作地耦合到GPU 302和/或状态估计器310。物体检测器306可以附加地与检测器库308通信。物体检测器306和检测器库308之间的耦合可以经由人机界面。例如，可以经由人机界面(例如，计算机112的显示器116)选择检测器并从检测器库308加载检测器。

检测器库308可以采用一种或更多种算法(和/或方法、模块等)，用于依据图像数据检测物体。检测器库308可以附加地或替代地包括用于跟踪物体的控制方案的集合。一般而言，检测器库308可以用作算法的集合和/或库(例如，已知/获知图像的集合)。检测器库308协助物体跟踪系统100确定场景中的哪些物体正在移动而哪些物体不移动。

当用户(或物体)和/或相机104移动时，检测器库308创建环境地图。可以了解的是，物体跟踪系统100应该区分哪些物体在移动。例如，标志可以归类为静态，而面部可以归类为移动。物体跟踪系统100可以获知静态物体的属性和/或可以经由检测器库308从已知属性开始。在其他方面，还预期物体跟踪系统100可以在两个类别之间创建图像库。为了识别图像内的物体，可以采用一种或更多种图像处理技术。例如，一种或更多种图像处理技术可以包括2D和3D物体识别、图像分割、运动检测(例如，单粒子跟踪)、视频跟踪、光流、3D姿态估计等。

在某些方面，检测算法和跟踪控制方案可以链接和/或以其他方式相关联。在某些方面，检测算法和跟踪控制方案可以被构造成符合特定的模块化格式，以便容易地在物体检测器306内外交换。在某些方面，检测算法和/或跟踪方案可以针对可重构设计中的各种使用进行定制。在某些方面，可以通过人工神经网络的机器学习来训练检测算法和跟踪控制方案。在一些示例中，某些检测算法和/或跟踪控制方案可能比其他方法更合适于检测和/或跟踪物体的特定类、分类、类型、种类、类别、组和/或等级。检测器库308可以用硬件和/或软件实施。在某些方面，检测器库308可以包括数据库。

物体检测器306可以激活适当的检测算法和/或跟踪方案，同时停用不适当的检测算法和/或跟踪方案；取决于被检测和/或跟踪的物体。在某些方面，物体检测器306可以依据被检测和/或跟踪的物体的门类、分类、类型、种类、类别、组和/或等级来激活和/或停用检测算法。在某些方面，取决于期望和/或选择的使用情况，物体检测器306可以激活适当的检测算法和/或跟踪方案和/或停用不适当的检测算法和/或跟踪方案。

在某些方面，GPU 302可以向物体检测器306提供来自相机104的预处理图像，以协助物体检测器306确定适当的检测算法和/或跟踪方案以激活和/或停用。在某些方面，用户可以通过用户界面114提供信息以协助物体检测器306确定激活和/或停用适当的检测算法和/或跟踪方案。例如，用户可以输入关于周围环境的信息，诸如近似区域，是否在室内、室外、城市、农村、高架、地下等。这可以协助物体检测器306排除不太有用的检测算法和/或跟踪方案(例如，地下城市环境中的山探测器/***、室外农村场所中的电梯探测器/***等)。在某些方面，物体检测器306可以自动检测周围环境的各方面以激活和/或停用适当的检测算法和/或跟踪方案。在物体的检测需要区分物体和各种环境线索的情况下，可以从独立于物体边界框的(一个或更多个)图像中提取特征。环境的各方面，例如前景/背景分类、环境分类、照明等。物体检测器306架构可以经配置以允许与物体无关的PTZ相机104目标跟踪系统，其可以容易地针对要被跟踪的物体的类型进行配置，并且可高度扩展到其他物体域，而用户几乎不需要做任何工作。

在某些方面，物体检测器306可以在检测期间使用边界框来包围场景内的物体。在某些方面，检测器可以使用在边界框内居中的质心来协助检测和/或跟踪物体。在某些方面，物体检测器306可以确定检测到的物体是否独立于用户和/或物体跟踪系统100的任何移动而正在移动。在某些方面，物体检测器306可以使用由状态估计器310提供的信息来协助确定物体是移动还是静止。例如，相机104可用于通过诸如光流的三维重建技术来识别物体以处理图像序列。光流可以用于确定由观察者和场景(图像)之间的相对运动引起的视觉场景中的物体、表面和边缘的视运动的模式。

在某些方面，物体检测器306可以使用来自相机104的音频信息来确定物体是移动还是静止。例如，特定声音的改变放大和/或特定声音的改变频率可以被解释为指示移动。物体检测器306可以忽略被确定为正在移动的物体(和/或对应的边界框和/或质心)。移动物体可以是例如人类、交通工具和/或动物。物体检测器306可以向状态估计器310提供对应于静止物体的边界框和/或质心信息。静止物体可以包括例如标志杆、地标、自动售货机、入口/出口门、建筑物架构、地形等。在某些方面，物体检测器306可以结合(和/或借助于)物体跟踪系统100的其他部件(例如，逻辑控制器304、GPU 302、IMU 110、数据管理单元312和/或状态估计器310)执行其操作。

IMU 110可以经配置以测量用户的特定力、角速率和/或用户周围的磁场。IMU 110可以附加地或替代地测量用户的角速度、旋转速率和/或线性加速度。IMU 110可包括加速度计、陀螺仪和/或磁力计中的一个或更多个。在某些方面，IMU 110可包括多个加速度计、陀螺仪和/或磁力计。

状态估计器310可以经配置以执行各种任务。在某些方面，状态估计器310可以估计和/或预测由相机104和/或物体检测器306检测和/或跟踪的一个或更多个物体的当前和/或未来的(一个或更多个)位置(和/或(一个或更多个)定位)。在某些方面，状态估计器310可以估计和/或预测物体跟踪系统100的一个或更多个用户的当前和/或未来的(一个或更多个)位置(和/或(一个或更多个)定位)。在某些方面，状态估计器310可以使用一个或更多个SLAM算法来执行同时定位和映射(SLAM)，以估计和/或预测本地环境中的物体和用户的当前和/或未来的(一个或更多个)位置。在某些方面，状态估计器310可以采用视觉测距，用卡尔曼滤波器来协助执行其预测和/或估计。在某些方面，卡尔曼滤波器可以是多状态约束卡尔曼滤波器(MSCKF)。在某些方面，状态估计器310还可以采用具有由IMU 110提供的信息的传统测距法来协助其预测和/或估计。在一些示例中，漂移可以在IMU 110的测量中普遍存在，并且状态估计器310使用的视觉测距可以帮助校正该漂移。在一些示例中，IMU 110可以是计算机112的一部分。到IMU 110和/或来自IMU 110的信息可以通过数据管理单元312路由。

状态估计器310可以使用来自物体检测器306和/或IMU 110的信息，结合SLAM算法、测距方法和/或视觉测距方法来估计和/或预测本地环境中的用户和/或物体的当前和/或未来的(一个或更多个)位置，并且可以利用该信息生成、维护和/或更新本地地图。该地图可以存储在存储器设备122中。在某些方面，可以使用在跟踪服务(例如，GPS、卫星和/或蜂窝通信能力)丢失之前获取的地图信息来生成地图。GPU 302可以经配置以根据用户经由用户界面114的相应选择在显示器116上呈现地图，其示例结合图6a和图6b描述。

数据管理单元312可以经配置以在物体跟踪系统100的部件和/或物体跟踪系统100外部的其他系统和/或设备之间提供接口。例如，数据管理单元312可以提供GPU 302、控制器、状态估计器310和/或物体检测器306与存储器设备122、IMU 110和/或用户界面114之间的接口。数据管理单元312还可以提供物体跟踪系统100和计算机112(或另一外部设备，诸如基站计算机或第二计算机112)之间的接口。例如，数据管理单元312可以帮助提供物体跟踪系统100和操作类似系统的其他用户之间的接口。在某些方面，数据管理单元312可以与接口层314交互以执行其操作。接口层314可以包括与物体跟踪系统100的部件和/或物体跟踪系统100外部的其他系统和/或设备的通信兼容的电路、软件、端口和/或协议。例如，数据管理单元312可以包括用于实现有线和/或无线通信的电路、软件、端口和/或协议，诸如电缆端口(例如，HDMI、CAT5、CAT5e、CAT6、USB等)、无线接收器、无线发射器、无线收发器、无线通信协议、蓝牙电路系统(和/或相应的协议)、NFC电路(和/或相应的协议)等。

图4图示说明用于物体跟踪系统100的操作400的示例方法。该示例假设物体跟踪系统100已经被手动或自动地接合，诸如当例如计算机112丢失GPS、卫星和/或蜂窝通信信号时。系统开始于步骤402，其中相机104捕获表示环境场景的图像的图像数据。图像可以是摄影、视频和/或视听图像。实际上，图像可以是由系统的多个相机104捕获的多个图像。可以联合或彼此独立地分析每个图像。当相机处于对应于当前PTZ配置的位置和/或定向时，可以捕获图像。可以响应于逻辑控制器304的特定命令、逻辑控制器304的隐含命令和/或响应于用户输入来捕获图像。在图像捕获之前，相机104和/或GPU 302可以将预处理版本的图像发送到物体检测器306，以协助激活和/或停用检测器算法和/或跟踪控制方案。

在步骤404，图像由GPU 302处理。GPU 302可以使用特征提取和/或其他计算机视觉和/或图像处理技术来处理图像。在步骤406，物体检测器306可以停用不合适的一个或更多个检测器算法和/或跟踪控制方案。在步骤408，物体检测器306可以激活合适的一个或更多个检测器算法和/或跟踪控制方案。在步骤410，物体检测器306可以使用激活的检测器算法和/或跟踪控制方案来检测捕获的图像内的静止物体。被确定正移动的物体可以被物体检测器306丢弃。如图5a和图5b的捕获的图像500中最佳说明的，当执行检测算法和/或跟踪控制方案时，可以使用包围物体的边界框。

在步骤412，针对在捕获的图像(例如，捕获的图像500)中检测到用户和一个或更多个物体，估计当前位置。用户的当前位置估计可以结合SLAM、测距和/或视觉测距方法，基于一个或更多个先前用户和/或物***置估计和/或预测、先前编译的地图信息、IMU 110信息、相机104的当前PTZ配置、在捕获的图像中检测到的(一个或更多个)物体、捕获的图像中的(一个或更多个)物体的位置和/或估计的位置和/或其他信息。每个物体的当前位置估计可以结合SLAM、测距法和/或视觉测距法，基于一个或更多个先前的用户和/或物***置估计和/或预测、先前编译的地图信息、IMU 110信息、相机104的当前PTZ配置、捕获的图像中的检测到的(一个或更多个)物体、在捕获的图像中的一个或更多个物体的位置和/或估计的位置和/或其他信息。在这种情况下，由物体检测器确定的物体的当前位置估计可以与来自其他视觉测距方法的物体的估计位置融合。

在步骤414，预测针对在捕获的图像中检测到的用户和一个或更多个物体的新位置。用户的新位置预测可以结合SLAM、测距和/或视觉测距方法，基于当前用户位置估计、一个或更多个当前物***置估计、一个或更多个先前用户和/或物***置估计和/或预测、先前编译的地图信息、IMU 110信息、相机104的当前PTZ配置、捕获的图像中的检测到的(一个或更多个)物体、捕获的图像中(一个或更多个)物体的位置和/或估计位置和/或其他信息。每个物体的新位置预测可以结合SLAM、测距和/或视觉测距方法，基于当前用户位置估计、一个或更多个当前物***置估计、一个或更多个先前用户和/或物***置估计和/或预测、先前编译的地图信息、IMU 110信息、相机104的当前PTZ配置、捕获的图像中的检测到的(一个或更多个)物体、捕获的图像中(一个或更多个)物体的位置和/或估计位置和/或其他信息。

在步骤416，物体跟踪系统100可以与物体跟踪系统100外部的其他用户和/或系统进行通信。数据管理单元312和/或接口层314可以帮助提供物体跟踪系统100和操作类似的系统和/或其他系统的其他用户之间的接口。信息可以在用户的物体跟踪系统100与物体跟踪系统100外部的其他用户和/或系统之间进行通信。例如，通信的信息可以包括其他用户和/或物体的新位置预测、其他用户和/或物体的当前位置估计、一个或更多个先前用户和/或物***置估计和/或预测、先前编译的地图信息、与外部系统有关的信息(例如，IMU信息、PTZ相机配置等)和/或其他信息。

在步骤418，可以利用用户和/或一个或更多个物体的当前位置估计来更新地图。当GPS、卫星和/或蜂窝通信仍然可用时，可先前已生成该地图，或者可由物体跟踪系统100新生成该地图。可另外更新该地图以包括在步骤416获取的信息。结合图6a和图6b更详细地描述示例地图。

在步骤420，可以用新的PTZ配置更新相机配置。此后，该过程可以重复，直到由用户手动终止或自动终止(诸如，如果恢复GPS、RF和/或蜂窝通信)。在步骤422，该过程可以用另外的捕获图像数据重复或者在步骤424终止(例如，在重新获得跟踪服务时，经由计算机112通过用户终止等)。

虽然以特定顺序描述，但是结合图4描述的步骤可以重叠、并行发生、以不同顺序发生和/或多次发生。例如，步骤402和404可以重叠，使得在正在捕获其他图像的同时正在处理一些图像，和/或在仍然捕获图像的同时处理图像的一些部分。在一些示例中，可以在图像捕获之前预处理图像的一些部分。在某些方面，步骤406和408的顺序可以颠倒、重叠和/或并行执行。在一些示例中，步骤414和412可以颠倒、重叠和/或并行执行。在一些示例中，步骤418可以在步骤416之前执行、与416并行、与416重叠和/或在步骤416之前和之后二者执行。

以下示例场景说明了物体跟踪系统100的用户如何可能使用物体跟踪系统100。当用户进入地下市场时，用户的蜂窝电话丢失GPS信号。在用户的计算机112上运行的核心软件(例如，其操作系统)经由控制系统108激活用户的可穿戴物102上的相机104，并开始定位和映射市场。

当相机104捕获图像时，计算机112上的图像处理算法跟踪容易识别的静止物体以遍及图像登记场景。该算法对诸如人类、汽车或动物之类的移动物体与静止物体之间进行了关键区分。这允许算法在早期移除移动物体。要跟踪的静止物体包括标志杆、地标、自动售货机、入口和出口门以及普通家庭物品上的字符。计算机112上的算法执行SLAM以生成和/或存储本地区域的地图以供未来使用，同时跟踪用户在地图上的位置。

图5a图示说明示例诸如可以由图1的物体跟踪系统100捕获和/或处理的图像500，而图5b是图5a的示例图像500的放大部分。如图5b中最佳说明的，边界框502、504可用于跟踪和/或处理图像500的特征。在某些方面，静止物体和移动物体可以不同地并且相对于彼此被跟踪。出于映射的目的，可以忽略可移动物体，而静止物体可以包括在地图中。出于导航目的，可以跟踪可移动和静止物体两者以减轻用户与环境中的物体之间的位置风险。如所说明的，静止物体，诸如标志上的文本/字符和/或区域中的固定装置位置使用实线边界框502标记，而移动(或可移动)物体(例如行人)使用虚线边界框504标记。可以处理和/或识别边界框502、504中的每个内的物体(例如，经由控制系统108和/或计算机112)。例如，光学字符识别(OCR)可以用于处理实线边界框502内的文本。类似地，面部识别技术可以用于识别人(或人的其他特点，诸如性别、年龄、种族等)，诸如虚线边界框504中的那些个体。

图6a和图6b图示说明示例地图602a、602b，其可以由物体跟踪系统100生成/更新以显示在显示器(例如，显示器116)上。如所说明的，可以提供用户界面114(诸如，经由显示器116，其可以是触摸屏)以使用户能够经由一个或更多个功能，诸如变焦、横向转动、旋转、保存等来操纵地图。地图602a、602b可以在二维(2D)空间(如所说明的)或三维(3D)空间中提供被环境内的被跟踪物体或人604(例如，用户)和/或一个或更多个物体606、608(例如，可移动物体608和/或静止物体608)的相对位置。可以经由检测器库308识别和/或存储物体606、608，如上所讨论的。在一些示例中，诸如图6a中所示，地图602a可以采用预先生成的区域地图(例如，显示已知的街道、建筑物等)作为起始点，例如使用GPS、RF和/或蜂窝通信系统由第三方映射服务提供的那些地图。在这样的示例中，物体跟踪系统100可以更新预先生成的地图以包括与被跟踪物体或人604和/或一个或更多个被跟踪物体606、608有关的信息(例如，物体的位置、细节等)，从而产生地图602a。可以至少部分地基于被跟踪物体或人604的最后已知位置和/或一个或更多个被跟踪物体606来更新地图602a。参考图6b，可以由物体跟踪系统100生成另一种形式的地图602b，其中一个或更多个物体606依据距离被分类(例如，近、中或远)。在某些方面，不管格式如何，可以使用来自多个传感器(例如，多个相机104)的数据来生成地图602a、602b，这些传感器可以是单个物体跟踪系统100或多个物体跟踪系统100的一部分，其可以经由一个或更多个网络(诸如通信网络118)彼此操作地耦合。

可以了解的是，本公开的各方面可以通过硬件、软件和/或其组合来实施。软件可以存储在非暂时性机器可读(例如，计算机可读)存储介质中，例如，可擦除或可重写的只读存储器(ROM)、存储器(例如，随机存取存储器(RAM))、存储器芯片、存储器设备或存储器集成电路(IC)或光学或磁性可记录的非暂时性机器可读的存储介质(例如计算机可读的存储介质，例如，光盘(CD)、数字通用光盘(DVD)、磁盘或磁带)。

虽然已经参考某些实施方式描述了本方法和/或系统，但是本领域技术人员将理解，在不脱离本方法的范围和/或系统的情况下，可以进行各种改变并且可以替换等同物。另外，在不脱离其范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。例如，可以组合、划分、重新布置和/或以其他方式修改所公开示例的系统、块和/或其他部件。因此，本方法和/或系统不限于所公开的特定实施方式。相反，本方法和/或系统将包括在字面上和在等同原则下落入所附权利要求范围内的所有实施方式。

本公开包括以下实施例中描述的主题：

1.一种物体跟踪系统(100)，包括：

相机(104)，其经配置以根据第一相机(104)配置捕获周围环境的图像(500)，其中，相机(104)经配置以采用第二相机(104)配置；以及

计算机(112)，其与相机(104)操作地耦合，其中计算机(112)经配置以：

处理来自相机(104)的图像(500)，

使用从检测算法库中选择的检测算法检测图像(500)内的可移动物体(606、608)(608)，

估计可移动物体(606、608)(608)的当前位置，

估计用户相对于可移动物体(606、608)(608)的当前位置的当前位置，

预测可移动物体(606、608)(608)的未来位置，和

至少部分地基于可移动物体(606、608)(608)的未来位置确定第二相机(104)配置。

2.根据实施例1所述的物体跟踪系统(100)，还包括惯性测量单元(IMU(110))，其中计算机(112)经配置以测量用户的角速度或线性加速度中的至少一个。

3.根据实施例2所述的物体跟踪系统(100)，其中计算机(112)经配置以：(1)至少部分地基于IMU(110)的测量来估计用户的当前位置；以及(2)至少部分地基于IMU(110)的测量来预测可移动物体(606、608)(608)的未来位置。

4.根据任一项前述实施例所述的物体跟踪系统(100)，其中，计算机(112)经配置以创建或更新地图以反映可移动物体(606、608)(608)的当前位置和用户相对于可移动物体(606、608)(608)的当前位置。

5.根据实施例2所述的物体跟踪系统(100)，其中所述相机(104)耦合到与所述用户相关联的可穿戴物或和与用户相关联的可穿戴物集成。

6.根据任一项前述实施例所述的物体跟踪系统(100)，其中可移动物体(606、608)(608)的当前位置、用户的当前位置或可移动物体的未来位置(606、608)(608)中的至少一个使用卡尔曼滤波器确定。

7.根据任一项前述实施例所述的物体跟踪系统(100)，其中，计算机(112)操作地与全球定位系统(GPS)耦合，其中计算机(112)经配置以确定在拒绝GPS的环境中用户相对于移动物体(606、608)(608)的当前位置。

8.一种定位系统，包括：

相机(104)，其中相机(104)根据当前的横向转动、纵向倾斜和/或变焦(PTZ)配置定向，并且其中相机(104)经配置以在根据当前的PTZ配置定向时捕获图像(500)；

处理器，其经配置以使用计算机(112)视觉技术处理图像(500)；

控制器，其经配置以从相机(104)接收当前PTZ配置，开发新的PTZ配置，并将新的PTZ配置通信到相机(104)；

检测器，其经配置以检测图像(500)内的可移动物体(606、608)(608)，其中使用边界框(502、504)和从物体库(606、608)检测算法中选择的检测算法检测可移动物体(606、608)(608)，其中选择基于被检测的物体(606、608)的类型，并且其中检测器经配置以如果检测算法不再与检测的物体(606、608)类型兼容则停用检测算法；以及

状态估计器，其经配置以存储用户的当前估计位置，并基于物体的类型，可移动物体(606、608)(608)的估计位置和存储的地图来计算用户的新估计位置，其中，所存储的地图包括相对于当前估计位置的可移动物体(606、608)(608)的估计位置。

9.根据实施例8所述的定位系统，其中相机(104)耦合到与用户相关联的可穿戴物或和与用户相关联的可穿戴物集成。

10.根据实施例8或实施例9所述的定位系统，其中控制器至少部分地基于以下中的至少一个来开发新的PTZ配置：被检测的物体(606、608)的类型、用户的新估计位置或由外部设备共享的信息。

11.根据实施例8到10中任一项所述的定位系统，其中，相机(104)是全方位相机(104)。

12.根据实施例8至11中任一项所述的定位系统，还包括经配置以捕获图像(500)的第二相机(104)。

13.根据实施例8至12中任一项所述的定位系统，还包括惯性测量单元(IMU(110))。

14.根据实施例8至13中任一项所述的定位系统，其中状态估计器至少部分地使用测距来计算用户的新估计位置。

15.根据实施例8到14中任一项所述的定位系统，其中状态估计器使用卡尔曼滤波器。

16.根据实施例8到15中任一项所述的定位系统，还包括经配置以接收用户输入的界面，其中输入用于帮助确定被检测的物体(606、608)的类型。

17.一种用于视觉上定位个体的方法，该方法包括以下步骤：

使用第一横向转动、纵向倾斜和/或变焦(PTZ)配置经由相机(104)捕获图像(500)；

处理图像(500)以确定适当的检测算法；

从检测算法库中选择适当的检测算法；

使用检测算法检测图像(500)内的物体(606、608)，其中检测算法用边界框(502、504)包围物体(606、608)；

确定物体(606、608)是移动还是静止；

响应于确定物体(606、608)是静止的：

估计物体(606、608)相对于用户或其他物体中的一个(606、608)的位置，其中使用卡尔曼滤波器和来自惯性测量单元(IMU(110))的惯性测量来估计位置，和

将物体(606、608)的位置存储在地图存储器中；

确定第二PTZ配置；以及

根据第二PTZ配置定向相机(104)。

18.根据实施例17所述的方法，其中计算机(112)视觉用于以下步骤中的至少一个：处理图像(500)、选择适当的检测算法、检测图像(500)内的物体(606、608)，并确定物体(606、608)是移动还是静止。

19.根据实施例17或实施例18所述的方法，其中相机(104)包括多个相机(104)，多个相机(104)在它们之间具有全方位覆盖。

20.根据实施例17到19中任一项所述的方法，还包括以下步骤：与外部设备共享估计位置和/或地图信息中的至少一个。