具体实施方式

发明人通过他们自己的研究、试验和实验已经设计出，毫米波在可以穿透大多数服装材料的频带内，这使得它成为用于安全应用的广泛使用的成像设备。这些成像设备可以分为有源设备或无源设备。

有源设备发射毫米波并分析反射波以进行扫描。这使得能够形成更清晰的图像，但是它侵犯了扫描目标的隐私。另一方面，无源设备仅接收从人体辐射的毫米波以产生图像，但由于设备接收的能量低，所以其总是导致模糊的图像。

无源器件可能受到若干限制。由于该设备接收的能量低，所以需要目标静止在该设备的前面以获得清晰的图像。此外，它一次只能扫描单个目标。

不希望被理论所束缚，这些限制可能阻碍在繁忙的客运环境下使用无源毫米波。因此，在旅客流量的有效流量和安全管理之间保持平衡总是一个挑战。因此，没有现有系统被提出使用无源毫米波用于人群预筛查目的。

多视图融合技术是指由相同传感器但从不同视点拍摄的相同场景的一组图像，所述一组图像经融合以获得具有比传感器通常提供的分辨率更高的分辨率的图像或覆盖比传感器通常提供的区域更广的区域或恢复场景的3D表示。这种技术的典型应用已经用于制作3D电影。

多时间IF技术认识到两个不同的目的。在不同时间采集相同场景的图像，以发现并评估场景中的变化或获得场景的较少退化的图像。前一目标在医学成像中是常见的，特别是在器官和肿瘤的变化检测中，以及在用于监测土地或森林开采的遥感中。采集周期通常为数月或数年。后一目标要求不同的测量彼此更接近，通常以秒为单位，并且可能在不同的条件下。

多模式相机利用各种相机的感测能力并且集成它们的信息以便提供对真实世界环境的更全面理解。图像融合是集成来自不同相机的信息的典型解决方案。这需要解决计算机视觉中的对应问题，即在一个图像中寻找一组点，这些点可以被识别为另一图像中的相同点。

多模式或多个传感器图像融合是将来自若干图像的相关信息组合成一个图像的过程。最终输出图像可以提供比任何单个图像更多的信息，并且降低了信噪比。用户可以收集有用的信息而不用注视和比较来自多个传感器的图像。

一种导入图像融合技术是像素级方法，其在空间域或变换域中工作。平均方法、最大化方法、Brovey方法、主分量分析(PCA)、小波变换和基于强度-色调-饱和度(HIS)的方法属于像素级融合方法。

执行像素级融合的先决条件是图像已经由同类传感器采集，其中传感器处于立体设置、相同形态、相同或相似的视场(FOV)和分辨率。

在一个示例中，用于检测违禁品的设备包括被布置成照射视场的毫米波辐射的空间分布的点源的至少一个二维阵列。点源包括不局限于以相同频率振荡的振荡器、用于将来自视场的毫米波辐射聚焦到焦平面上的装置、以及设置在所述焦平面中的检测器的二维阵列，所述检测器中的每一个响应于来自视场的特定部分的毫米波辐射而生成输出信号。输出信号可以被提供给用于显示视场的图像的装置，所显示的图像的像素对应于由阵列的元件生成的输出信号。

该检测装置是有源毫米波设备的一个例子。然而，由于该系统依赖于毫米波源来聚焦于目标，所以其不适合在拥挤的环境中使用。

在一个备选示例中，提供了一种违禁品检测系统，其包括具有第一视场的第一照相机、具有第二视场的第二照相机、以及耦合到第一照相机和第二照相机的显示站。第一照相机具有提供第一图像数据的输出，该第一图像数据表示来自第一视野中的物品的第一频带中的辐射。第二视场至少部分地与第一视场重叠。第二相机具有提供第二图像数据的输出，该第二图像数据表示在不同于第一频带的第二频带中的辐射，表示在第二视场中的物品。显示站适于接收第一图像数据和第二图像数据。所述显示站包括至少一个计算机，所述至少一个计算机被编程为使用选择性地叠加有从所述第二图像数据导出的至少一个物品的指示的所述第一图像数据来呈现所述第一视野中的物品的显示。然而，这种装置不适合在拥挤的环境中使用。

在又一示例实施例中，提供了一种用于检测违禁品的装置。该装置包括至少一个毫米波辐射的空间分布点源阵列。分布式点源布置成照射视场。该装置还具有用于将来自视场的毫米波辐射聚焦到焦平面上的装置，以及设置在焦平面中的检测器阵列。每个检测器适于响应于来自视场特定部分的毫米波辐射而产生输出信号。输出信号可以被提供给用于显示视场的图像的装置，所显示的图像的像素对应于由阵列的元件生成的输出信号。然而，这种设备不适合在拥挤的环境中使用。

使毫米波能够跟踪目标成像的研究停留在主动模式，并且仅允许单个目标筛查。发明人设计了无源毫米波成像设备可以用于针对盗窃/威胁检测的大规模预筛查。例如，利用无源毫米波的方法或设备可以用于扫描多个移动中的目标或基于该多传感器系统提供全自动盗窃/威胁警报系统。

该系统可以经由多传感器系统利用无源毫米波来克服无源毫米波在针对盗窃/威胁检测的人群预筛查上的限制。在本发明的一个优选实施例中，提供了一种多传感器系统，其包括多个成像传感器和用于扫描传感器视场内的多个移动目标的无源毫米波成像设备。这可以用于监视跟踪和盗窃/威胁检测。

在本发明的一优选实施例中，多传感器系统使用多帧分析技术，其中系统分析多个连续帧以消除由移动目标引起的噪声，使得目标不需要静止不动以进行扫描。

在本发明的另一实施例中，多传感器系统使用具有各种能力的多个传感器来分割和检测人群中的每个个体的任何可疑的隐藏对象。

在本说明书中，无源毫米波传感器或成像设备是适于接收从身体或对象直接发射或辐射的毫米波而不是接收从身体或对象反射的毫米波的传感器或设备。它不同于适于接收从照明源发射到身体并从身体反射回的毫米波的有源毫米波传感器或成像设备。

多模式传感器或多模式成像设备是用于感测或拍摄非毫米波电磁波的图像的传感器或成像设备。在一个实施例中，多模式传感器或多模式成像设备是RGB相机、深度相机、热相机或红外传感器中的任何一种。

在如图1所示的本发明的一个实施例中，提供了一种人群监视设备10，包括：连接到处理设备13的多传感器系统。

在该实施例中，多传感器系统应当至少包括一个无源毫米波成像设备11和一个或多个多模式传感器12，例如图1所示的RGB相机、深度相机和热相机。

处理设备13包括图像融合模块14、图像分析模块15、警报触发模块16。处理设备13适于从多传感器系统获得图像信号，并利用不同的软件模块处理图像。在一个实施例中，多传感器系统通过数据电缆直接连线到处理设备13。在另一实施例中，多传感器系统通过诸如WiFi或蓝牙的无线协议远程连接到处理设备13。

参考图1，图像融合模块14包括硬件或软件模块，其可以变换图像并且通过解决计算机视觉中的对应问题来找到相互对准。

图像分析模块15是硬件或软件模块，其处理融合的图像以执行以下操作：1)从多个目标中提取每个个体，2)发现可疑违禁品并将其与所提取的个体相关联，以及3)区分真正隐藏的对象以增强无源毫米波的检测能力。

警报触发模块16是硬件或软件模块，其跨多个帧分析从图像分析模块识别的可疑目标和隐藏对象。通过分析一系列时移帧，该模块可以触发更准确的警报。

处理设备13与用于存储和检索图像数据的数据库服务器17相关联。数据库服务器17连接到警报可视化设备18。

一旦处理设备13发出警报，数据库服务器17将收集并存储来自处理设备的疑犯的详细信息。可视化设备18适于从数据库接收或检索警报及其相应的详细信息，并在可视化设备的显示器(例如屏幕、平板…)上显示该信息。

在本发明的一个实施例中，提供了一种使用多传感器盗窃/威胁检测进行人群预筛查的方法，该方法包括以下步骤：

变换从多传感器系统获得的图像；

融合变换后的图像；

利用深度传感器和热传感器提取每个个体目标，并且跨多个帧跟踪所述目标；

分析由所述无源毫米波传感器生成的一系列时移无源毫米波图像，以识别所述个体目标上的任何隐匿对象；

触发警报并将所述图像和相关信息存储到所述数据库；以及

在显示设备上显示警报、图像和所述信息。

在一个实施例中，多传感器系统包括无源毫米波传感器11、RGB成像设备12、深度传感器12和热传感器12。

在一个实施例中，多传感器系统适于对多传感器系统的成像传感器执行校准过程。这是通过首先校准多传感器系统以获得图像之间的像素映射关系来完成的。这是离线过程，并且在系统设置之前只需进行一次。

基于像素映射关系对所有图像进行变换。这种变换允许它们在相同的照相机平面上对准，以便于图像融合。

在一个优选实施例中，通过特征点匹配来进行融合图像步骤。在另一实施例中，通过借助于深度传感器解决视差来进行融合图像步骤。如果存在所有图像共同的特征点，则可以通过特征点匹配来完成融合步骤。如果不存在共同特征点，可以通过对相机之间的视差进行建模并基于深度信息实时地平移图像来完成融合步骤。

图2示出了具有或不具有图像变换的图像融合之间的差异。可以从匹配特征点或建模成像传感器之间的差异获得的平移向量用于对准变换的图像。

在提取图像上的各个目标的步骤中，处理设备13适于分析来自深度传感器和热传感器的图像。处理设备13通过分析来自不同深度层中的深度传感器的图像来从深度传感器提取或识别对象。

处理设备13的融合模块14然后融合来自深度传感器和热传感器的图像。通过融合深度和热图像，处理设备13适于确定从深度传感器提取的对象是否是人类(个体目标)。这是基于人体具有恒定温度的假设，该恒定温度通常与其他对象是可区分的。

在设置了热检测区域的带宽之后，非人类对象可以被进一步滤除以供进一步处理。

在本说明书中，隐藏对象是由一层或多层材料定位和覆盖的对象，在该材料前面没有任何覆盖物体(例如袋子)。材料必须是可被毫米波穿透的材料。在其它应用中，无源毫米波传感器可以被X射线传感器代替，使得材料可以是更厚的和不同类型的材料，诸如塑料或新鲜的人。

一旦识别出各个目标，图像就被传递到图像分析模块15，以基于来自无源毫米波传感器11的图像执行自动隐藏对象检测方法。

上述提取方法可以分割每个单独的目标。将该结果与无源毫米波图像上的自动隐藏对象检测相结合，处理设备13能够逐个地检测人群中的每个个体。

图3示出了本发明实施例的隐藏对象检测方法。

分析模块15适于分析无源毫米波图像以指示在两种情况下检测到隐藏对象：1)只有隐藏在衣服下面的隐藏对象，以及2)在衣服前面有遮盖物体，但是在衣服前面有遮盖物体的衣服不太引人关注。本发明的一个实施方式是检测隐藏对象隐藏在衣服下而没有任何遮盖物在衣服前面的突出情况。

在一个实施例中，分析模块15适于通过分析热图像和无源毫米波图像来区分这两种情况。在衣物的前方发现覆盖物的情况下，表面温度通常低于衣物的表面温度。因此，热图像将在衣服的表面上示出温度的突然变化。在隐藏的对象隐藏在衣服下面的情况下，表面温度相对更恒定地分布在衣服的表面上。

在一个优选实施例中，分析模块15适于通过分析衣服表面上的温度分布和温度变化的陡度来区分这两个事件。

在一个实施例中，处理设备13适于用计算机视觉算法(例如Kalmar滤波器)来跟踪每个个体目标及其运动。

处理设备13适于在与多个连续帧中将所有肯定警报保存在与每个被跟踪个体相关联的警报记录中。处理设备13可以将警报记录存储在其自己的存储设备中，例如硬盘驱动器、固态驱动器、RAM等。在其他实施例中，处理设备13可以将警报记录存储在数据库服务器17中。

在发现隐藏对象的情况下，当在为特定的被跟踪个体发现的每个警报记录内存在至少多于一个警报时，处理设备13适于发出警报并将数据存储到数据库服务器17中。

在一个实施例中，处理设备13与警报可视化设备18相关联，可视化设备18适于周期性地查询数据库服务器17，并弹出任何新的警报，并在设备上显示疑犯的详细信息。

还将理解，在本发明的方法和系统全部由计算系统实现或部分由计算系统实现的情况下，可以利用任何适当的计算系统体系结构。这将包括独立计算机、网络计算机和专用硬件设备。在使用术语“计算系统”和“计算设备”的情况下，这些术语旨在覆盖能够实现所描述的功能的计算机硬件的任何适当的布置。

本领域技术人员将理解，在不背离如广泛描述的本发明的精神或范围的情况下，可以对如具体实施方式中所示的本发明进行许多变化和/或修改。因此，本发明的实施例在所有方面都被认为是说明性的而非限制性的。

除非另外指明，否则本文所包含的对现有技术的任何引用不应被认为是承认该信息是公知常识。