阅读说明：本技术 用于贯穿场景跟踪一或多个物体的多相机系统 (Multi-camera system for tracking one or more objects through a scene ) 是由 D·J·布雷迪 于 2018-03-02 设计创作，主要内容包括：本发明公开一种用于监视观察区的成像系统,其中所述成像系统包括具有不同焦距的多个相机,其中所述多个相机被布置成使得它们可以相同的地面采样距离来共同观察所述观察区中的任一点。在一些实施例中,所述相机中的每一者具有不同的有角度视野。在一些实施例中,所述相机被布置成使得各自监视所述观察区内的不同区,且使得每一相机的主光线穿过其监视的所述区的中心。在一些实施例中,所述多个相机布置成两个群组,在所述观察区的每侧上各一个。在一些实施例中,所述多个相机安装在穿越所述观察区的可移动平台上。(An imaging system for monitoring a viewing zone, wherein the imaging system comprises a plurality of cameras having different focal lengths, wherein the plurality of cameras are arranged such that they can collectively view any point in the viewing zone at the same ground sampling distance. In some embodiments, each of the cameras has a different angular field of view. In some embodiments, the cameras are arranged such that each monitors a different zone within the observation zone, and such that the chief ray of each camera passes through the center of the zone it monitors. In some embodiments, the plurality of cameras are arranged in two groups, one on each side of the viewing area. In some embodiments, the plurality of cameras are mounted on a movable platform that traverses the viewing area.)

用于贯穿场景跟踪一或多个物体的多相机系统

相关申请案的交叉参考

本申请案主张2017年2月22申请的标题为“用于改进的疗程顺应性的模块化药品壳套(Modular Medicine Case for Improved Regimen Compliance)”的第62/462,204号(代理人案号：3005-006PR1)美国临时专利申请案的权益，所述专利申请案以引用的方式并入本文中。

另外，以下文献也以引用的方式并入本文中：

·第8,861,089号美国专利；

·https://facebook360.fb.com/facebook-surround-360/；

·第20170031138号美国专利公开案；

·第CA2805079C号加拿大专利；

·卡尔(Cull)等人的“具有阿格斯传感器阵列的三维成像(Three dimensionalimaging with the argus sensor array)”，国际光学工程学会会议记录，三维TV、视频和显示器，第4864卷，第211-222页(2002)；以及

·马科斯(Marks)等人的“具有数码相机的锥形束断层重建(Cone-beamtomography with a digital camera)”，应用光学，40(11)，1795-1805(2001)。

如果在本申请案与已以引用方式并入的任何文献之间存在会影响对此案中的权利要求书的解译的语言矛盾或不一致，那么此案中的权利要求书应被解释为与此案中的语言一致。

技术领域

一般来说，本公开涉及光学，且更明确地说，涉及用于对行进穿过场景的一或多个物体进行成像、跟踪和识别的阵列相机。

背景技术

存在许多情境，其中期望在车辆、人和/或物体行进穿过场景(例如走廊(例如过道、道路等))时，跟踪所述车辆、人和/或物体。历史上，云台变焦(PTZ)相机常用于跟踪此类物体，其中相机使用云台系统来跟踪物体沿走廊的运动，从而调整光学焦点和变焦，以使移动物体保持对焦，且随着物体经过走廊，使物体在图像传感器上的标度保持大致恒定。

令人遗憾的是，此类PTZ系统是机械的，且因此，随时间过去而经受疲乏和故障。另外，相机的物理运动通常可被物体检测到，这在保证秘密观察的情境中可能是不合意的。此外，PTZ系统在任何给定时间可仅跟踪一个物体。

阵列相机系统的开发使得能够对大于单个相机的视野的场景进行成像，而无PTZ相机系统的一些缺点。多年来，阵列相机已在不同应用中找到了用途，其中包含全景成像、极高像素计数成像、数字超分辩率成像、可变分辨率成像和移动电话相机。

最近，阵列相机已涉及监视和跟踪经过场景的物体，例如第CA2805079号加拿大专利申请案中所公开的系统。使用此系统，实时监视大面积场景，使用多个相机具有极少失真，所述相机中的每一者包含多个图像传感器。向图像传感器提供随机地设定大小的立体角度来监测，这使每一图像传感器能够扫描场景的不同区域。换句话说，每一图像传感器具有不同角度的视野，使得场景的不同部分相对于相机阵列在不同范围成像。令人遗憾的是，此类先前技术监测系统的复杂性导致相当大的成本，以及必须解决来使得能够形成场景的合成图像的数据连网问题。

现有技术中仍有但尚未满足对能够同时跟踪多个物体的高度可靠系统的需要。

发明内容

本发明能够捕获类似于经由PTZ系统为经过走廊的一或多个物体获得的那些视频序列的视频序列，而不需要成像系统的机械运动。本发明的实施例使用阵列相机系统来在其相机跟踪沿走廊的一或多个物体时，对所述相机的状态空间中的点进行取样。本发明的实施例较适合在例如固定监测系统、移动监测系统、秘密监测系统、物体跟踪系统、自动驾驶车辆引导等应用程序中使用。

本发明的说明性实施例包含布置成观察沿走廊的多个区的相机阵列，其中所述阵列的相机具有不同焦距，且每一相机的主光线被设定成穿过所述相机观察到的区的中心。

在一些实施例中，互补相机阵列布置在走廊的两侧，从而使得能够收集所述物体的一组完整的视角。

在一些实施例中，阵列相机安装在沿路径相对于走廊移动的可移动交通工具上，以捕获所述走廊的图像。适合用于此类实施例中的移动车辆包含(但不限于)自动车辆、无人操纵车辆、有人操纵车辆、无人驾驶飞行器(UAV)(例如无人机等)，及类似者。

本发明的实施例是一种用于监视观察区的成像系统，所述成像系统包括第一多个相机，其中所述第一多个相机中的每一相机具有不同焦距，且其中所述第一多个相机被布置成使得其可以第一地面采样距离(GSD)观察所述观察区中的任一点。

本发明的另一实施例是一种用于监视观察区的方法，所述方法包括：提供第一多个相机，其中所述第一多个相机中的每一相机具有不同焦距；以及布置所述第一多个相机，使得其可以第一地面采样距离(GSD)观察所述观察区中的任一点。

附图说明

图1A-B描绘用于分别在物体已在走廊中的两个位置之间移动之前和之后跟踪通过观察区的物体的先前技术成像系统的示意图。

图2描绘根据根据本公开的说明性实施例的适合于在一或多个物体经过观察区时跟踪所述一或多个物体的成像系统的示意图。

图3描绘根据所述说明性实施例的适合于检测和跟踪观察区中的一或多个物体的方法的操作。

图4示出根据所述说明性实施例的能够跟踪通过走廊的整个范围的一或多个物体的七相机成像系统的定焦镜头的焦距的表。

图5描绘系统200的主光线的估计。应注意，物体106相对于每一相机的主光线的定向随着物体行进通过走廊而改变。

图6描绘根据根据本公开的替代实施例的适合于在一或多个物体经过观察区时跟踪所述一或多个物体的成像系统的示意图。

图7描绘根据根据本公开的实施例的适合于观察静止走廊的成像系统的示意图。

具体实施方式

图1A-B描绘用于分别在物体已在走廊中的两个位置之间移动之前和之后跟踪通过观察区的物体的先前技术成像系统的示意图。成像系统100包含相机102，其经配置以在物体106行进走廊108的长度时，保存所述物体的观察结果。为简单起见，仅在二维中描绘系统100的操作。

成像系统100设计成实现充足的分辨率来对位于走廊108中的可观察范围内的任一点的任何人执行面部辨识，其中所述可观察范围覆盖所述走廊的沿走廊的长度(即，沿z方向)从最小范围Rmin到最大范围Rmax的整个宽度。面部辨识通常需要所观察的空间内的任何地方的人的面部上大约2-5mm的地面采样距离(GSD)。出于本说明书的目的，包含所附权利要求书，术语“地面采样距离(GSD)”被定义为成像系统的最小分辨特征。

GSD与相机102的焦距F以及其成像传感器的像素间距p有关，根据以下公式：

其中z是物体相对于相机的范围(即，相机102与物体106之间的直线距离)。

相机102是位于相对于走廊108的空间中的固定点处的常规PTZ相机，使得其视野(FOV)104可在所述走廊的整个所要观察区域上方扫掠。

当物体106处于位置P1(图1A)处时，相机102相对于z轴以角度θ1定向，使得物体在其视野中居中。另外，相机102放大显示以实现所述物体上的所需GDS。因此，相机102表征为FOV 104-1。因为物体106在走廊108内的可观察范围的远端附近，因此实现所需GDS所必需的所需变焦等级导致FOV 104-1较窄。应注意，FOV 104-1之外的走廊的区无法被相机102观察到。这些区表示为盲域110-1和110-2。

当物体106沿走廊108移动距离d1到位置P2(图1B)时，相机102的定向物理上调整(即，相机摇摄并倾斜)，以维持对所述物体的观察，并使所述物体保持在其视野的中心。另外，相机102缩小显示，使得GSD保持恒定。因此，当物体106位于位置P2时，相机102重新定向到角度θ2，且其视野从相对较窄的FOV 104-1改变为相对较宽的FOV104-2。当以FOV 104-2定向在角度θ2时，相机102不能够观察可能同时位于盲域112-3和112-4中的任何其它物体。此外，系统100在任何给定时间只能跟踪一个物体。

相比于现有技术，本发明的一方面是包含具有多焦距定焦镜头的相机阵列的阵列相机实现在其可观察区内对多个物体的同时跟踪。

图2描绘根据根据本公开的说明性实施例的适合于在一或多个物体经过观察区时跟踪所述一或多个物体的成像系统的示意图。系统200包含相机阵列202和处理器204。系统200是用于同时跟踪穿越走廊108的一或多个车辆而不需要所述阵列中的任何相机的机械运动的多相机监测系统。在所描绘的实例中，走廊108的宽为40米，且高为20米。

图3描绘根据所述说明性实施例的适合于检测和跟踪观察区中的一或多个物体的方法的操作。方法300开始于操作301，其中指定相机阵列202中的相机的数目N。在所描绘的实例中，N＝7(即，相机阵列202包含七个相机)；然而，在不脱离本发明的范围的情况下，相机阵列202中可使用任何实际多个相机。出于系统200的布置的本公开和本说明书的目的，相机206-1到206-7(统称为相机206)被认为是并置在位置P0；然而，在一些实施例中，相机206的位置的差异是相当大的，且在指定根据本公开的成像系统的元件的设计参数时必须考虑。

在操作302，指定系统200的所要GSD。在所描绘的实例中，成像系统200既定跟踪穿过走廊108的一或多个车辆。因此，系统200的所要GSD可相对较大，且在此实例中，指定为1cm。应注意，成像系统的GSD通常是基于成像系统既定用于的应用。因此，可将系统200的所要GSD选择为在较宽范围内的任何值，取决于既定穿过其观察区跟踪的物体的类型(例如人、交通工具、飞机、抛射体等)。

在操作303，指定将在其跟踪物体的最大范围Rmax。在所描绘的实例中，Rmax为1000m；然而，在不脱离本公开的范围的情况下，可使用Rmax的任何实际值。

在操作304，指定将在其跟踪物体的最小范围Rmin。在所描绘的实例中，Rmin为大约1.5m；然而，在不脱离本公开的范围的情况下，可使用Rmin的任何实际值。

在操作305，提供相机阵列202。在所描绘的实例中，相机阵列202在走廊108上方10米，且距走廊108的位于位置P0处的一侧10米。

相机206经配置以使得系统200具有基本恒定的GSD，且聚焦大体上维持在沿走廊108的所有点处。相机206-ⅰ中的每一者，其中i＝1到7，包含定焦镜头208-ⅰ，且表征为FOV210-ⅰ。在所描绘的实例中，相机206中的每一者包含具有像素间距p(等于1.6微米)的高像素计数聚焦平面阵列。

在操作306，指定定焦镜头208-1到208-7中的每一者的焦距。

当所述相机满足成像定律时，物体针对相机206中的每一者焦点对准。相机206-ⅰ的成像定律可表达为：

其中z₀是从相机206-ⅰ到物体106的距离，且_Zi是从相机206-ⅰ的镜头的出射瞳到图像的距离。

成像系统的景深是大体上满足此定律的范围，其在以下情况时出现：

其中z_h是相机镜头与当相机镜头聚焦在无穷大(即，超焦距)时焦点对准的最近物体之间的距离。

鉴于在走廊中观察的最大距离为Rmax，对于像素间距p，定焦镜头208-1所需的焦距镜头为F_max＝p Rmax/GSD，这确保了在相机206-1的最大范围，以所要GSD对物体106进行取样，其FOV 210-1包含Rmax。

因此，定焦镜头208-7的超焦距为

其中f/#是镜头的f/#。设置_Zi使得：

能够解决透镜208-1的近焦点。

将定焦镜头208-ⅰ的近焦点作为定焦镜头208-(i+1)的长焦点，可确定将使物体针对走廊108的整个长度保持大致焦点对准的一组焦距。在所描绘的实例中，使用f/2.3的f数，可确定定焦镜头208-1到208-7(统称为定焦镜头208)的焦距。

图4示出根据所述说明性实施例的能够跟踪通过走廊的整个范围的一或多个物体的七相机成像系统的定焦镜头的焦距的表。应注意，包含于图4中的焦距实现其视野以最小重叠大体上彼此抵靠的成像系统。在一些实施例中，优选的是定焦镜头208设计成使得邻近相机的视野彼此重叠多达几个百分点。

在一些实施例中，优选的是每一相机的主光线穿过相机观察到的走廊的区的中心。

图5描绘系统200的主光线的估计。应注意，物体106相对于每一相机的主光线的定向随着物体行进通过走廊而改变。

在操作307，相机206-1到206-7分别向处理器204提供图像212-1到212-7。

处理器204包括常规处理电路、控制电路、存储器等，且被配置成尤其执行软件功能、存储和检索来自存储器的数据(通常包含于处理器204中)、基于图像212-1到212-2重构走廊108，并产生所述走廊内的物体的一或多个特性的估计。在所描绘的实例中，将处理器204实施为系统200内的单个离散处理单元。在各种其它实施例中，处理电路可至少部分地分布在系统200的多个组件之间，部分或全部在远程或基于云的计算系统中实施，或以其它方式在用于进行本文所述的功能的合适布置中实施。

在操作308，处理器204基于图像212-1到212-7估计穿越走廊108的一或多个物体的一或多个特性。处理器204所估计的物体特性包含(但不限于)：

i.物体分类；或

ii.物体身份；或

iii.速度；或

iv.轨迹；或

v.加速度；或

vi.大小；或

vii.ⅰ、ⅱ、ⅲ、ⅳ、v和vi的任何组合。

图6描绘根据根据本公开的替代实施例的适合于在一或多个物体经过观察区时跟踪所述一或多个物体的成像系统的示意图。系统600包含一对互补相机阵列，其位于走廊108的任一侧。系统600能够收集经过走廊108的一或多个物体的一组完整视角。

由于所述视角都具有大致相同的GSD(单个相机的范围内使用的数码变焦使GSD保持恒定)，因此随着物体经过走廊而收集且被提供给处理器204的所述组图像可经重排序，以有效地等效于用相机环来观察所述物体，例如马科斯等人在以下文献中论述的那些情况：“使用数码相机进行锥形束断层扫描(Cone-beam tomography with a digitalcamera)”，应用光学，40(11)，1795-1805(2001)。因此，系统600可操作来产生可用于以三维形式重构观察到的物体的图像。

优选的是，以大体上相等的角度间距观察物体106，这有利于三维(3D)重构。随着物体沿走廊移动，物体上的有角度视角的改变速率为：

其中v是物体106的速度，h是物体106与相机206之间的横向距离偏移量，且z是物体沿走廊108的范围。

物体上的视角的有角度取样速率为其中fps是以每秒帧数为单位的相机的帧速率。为了使此速率保持作为z的函数大致恒定，fps必须随着z减小而增加。实际上，对于早期物体辨识来说有利的是在长范围处过取样(例如将fps设置在10帧每秒)，且在近范围附近以重要速率取样(例如将fps设置在120帧每秒)。因此，在一些实施例中，相机206具有可变帧速率，以促进恰当的数据速率管理。

图7描绘根据根据本公开的实施例的适合于观察静止走廊的成像系统的示意图。系统700包含相机阵列202、处理器204和交通工具702。

交通工具702是可操作来运送相机阵列202和处理器204穿过走廊108的可移动平台。在所描绘的实例中，交通工具702是转向架；然而，任何合适的可移动平台均可用作交通工具702，包含无人操纵飞行器(UAV)、自动车辆(例如自驾驶汽车、卡车等)、无人机、水下车辆、船、无人操纵的水下车辆(UUV)等等。

在操作中，交通工具702运送相机阵列202和处理器204穿过走廊108的至少一部分，以均匀地观察走廊周围或交通工具的一侧。虽然交通工具不能够看到周围走廊的两侧，但受限视角锥足以创建周围场景的3D模型。

在一些实施例中，穿过走廊108(例如沿一组线性路径)的重复行程用以对适合于3D重建的视图进行完全取样。除3D重建之外，因为相机阵列202具有作为范围的函数的恒定GSD，因此实现周围物体的高效多帧分析。恒定GSD和3D重建的使用尤其可用于对自动车辆的周围场景进行建模。

应理解，本公开仅教示示范性实施例，且许多变化可由所属领域的技术人员在阅读本公开之后易于设计，且本发明的范围将由所附权利要求书决定。