用于可拆卸和可附接的声学成像传感器的系统和方法

文档序号:689776 发布日期:2021-04-30 浏览:26次 >En<

阅读说明:本技术 用于可拆卸和可附接的声学成像传感器的系统和方法 (Systems and methods for detachable and attachable acoustic imaging sensors ) 是由 M·D·斯图尔特 D·普拉巴卡 于 2019-07-24 设计创作,主要内容包括:一些系统包括被配置成接收电磁辐射的电磁成像工具、通信接口、与电磁成像工具和通信接口通信的处理器以及壳体。系统可以包括:第一传感器头,其具有以第一声学传感器阵列布置的第一多个声学传感器元件。通信接口可以经由有线或无线通信提供处理器与传感器头之间的通信。通信接口可以包括:对接端口,其与处理器通信并且被配置成可移除地接收第一传感器头的对应的对接机构。一些系统可以包括:具有第二多个声学传感器元件的第二传感器头。第二传感器头可以可互换地可连接到通信接口和/或第一传感器头。(Some systems include an electromagnetic imaging tool configured to receive electromagnetic radiation, a communication interface, a processor in communication with the electromagnetic imaging tool and the communication interface, and a housing. The system may include: a first sensor head having a first plurality of acoustic sensor elements arranged in a first acoustic sensor array. The communication interface may provide communication between the processor and the sensor head via wired or wireless communication. The communication interface may include: a docking port in communication with the processor and configured to removably receive a corresponding docking mechanism of the first sensor head. Some systems may include: a second sensor head having a second plurality of acoustic sensor elements. The second sensor head may be interchangeably connectable to the communication interface and/or the first sensor head.)

用于可拆卸和可附接的声学成像传感器的系统和方法

相关事项

本申请主张于2018年7月24日提交的美国专利申请号62/702,716的优先权,其整个内容通过引用并入到本文中。

背景技术

当前可用的声学成像设备包括由于各种各样的因素而具有各种频率灵敏度限制的声学传感器阵列配置。例如,一些声学成像设备被设计成对近似20 Hz与近似20 kHz之间的声频率范围做出响应。其他设备(例如,超声设备)被设计成对近似38 kHz与近似45 kHz之间的声频率范围做出响应。

然而,通常被设计为在20 Hz至20 kHz频率范围内运行的声学成像设备无法有效地检测更高的频率或对更高的频率进行成像,该更高的频率例如是高达或超过近似50kHz。同样地,被设计为在20 kHz至50 kHz频率范围内运行的声学或超声设备无法有效地检测较低的频率和/或对较低的频率进行成像,该较低的频率例如是20 kHz处或低于20 kHz。这可能出于各种各样的原因。例如,针对较低(例如,可听见的)频率进行了优化的传感器阵列通常包含比针对较高(例如,超声波)频率进行了优化的传感器阵列相距更远的个体传感器。

除了硬件考虑之外或作为其替代,声学成像的不同计算算法和方法往往更适合于具有不同频率和/或不同的到目标的距离的声信号,从而使得难以确定如何最好地对场景进行声学成像,特别是在没有缺乏经验的用户的情况下。

在对不同声频率范围进行成像时的这样的差异部分地是由于不同频率和波长的声波通过空气传播背后的物理现象所致。某些阵列取向、阵列大小和计算方法通常可以更好地适合于具有不同频率特性(例如,可听见的频率、超声频率等)的声信号。

类似地,不同的阵列属性和/或计算方法可以更好地适合于到目标的不同距离处的声学场景。例如,针对非常近距离处的目标的近场声全息术、针对更远距离处的目标的各种声学波束形成方法。

因此,使用声学阵列(例如,用于声学成像)的声学检查可能需要范围广泛的装备,例如,用于分析具有不同频率范围的声信号,以及在了解不同的硬件和计算技术何时适用于实行声学分析方面的专业能力。这可能会使声学检查变得既费时又费钱,并且可能需要专家来实行这样的检查。

例如,用户可能被迫手动选择用于实行声学分析的各种硬件和/或软件。然而,缺乏经验的分析人员可能无法知道针对给定声学分析和/或声学场景的硬件和软件的优选组合。附加地,从场景内部隔离关注的声音可能会提供其自身的挑战,特别是在混乱的场景中,并且可能会使缺乏经验的用户感到乏味且令人沮丧。例如,给定的声学场景(尤其是在嘈杂的环境中)可以包括声信号,该声信号包括任何数量的频率、强度或可能使关注的声信号模糊的其他特性。

传统系统往往要求用户在检查之前手动识别各种关注的声学参数,以便分析关注的声音。然而,缺乏经验的用户可能不知道如何最好地隔离和/或识别各种关注的声音。

附加地,当在检查同一对象或场景的同时串联使用多种成像技术(例如,可见光、红外线、紫外线、声学或其他成像技术)时,被用来实行不同成像技术的工具的物理布局和/或其他设置(例如,焦点方位)可能会影响分析。例如,每个成像设备的不同位置和/或聚焦方位可能导致视差误差,其中,所得图像可能是未对准的。这可能导致无法正确定位场景内的关注区域和/或问题区域、文档错误以及问题的错误诊断。例如,相对于声学图像数据,如果声学图像数据相对于来自其他成像技术(例如,可见光和/或红外线图像数据)的图像数据是未对准的,则可能难以识别关注的声信号的位置或源。

现有的超声测试和检查工具在使用或不使用抛物面天线(parabolic dish)的情况下都采用(一个或多个)超声传感器,以便帮助将声音朝向(一个或多个)接收传感器聚焦。当检测到特定频率的声音时,它通常被显示为上升或下降的数值,或者被显示在设备的显示器上的频率或分贝水平图上。对于许多用户而言,这可能非常令人困惑且不直观。没有实况场景的图像或声音的可视化是可获得的。

隔离、定位和分析特定的声音可能是乏味的过程,并且可能会让许多最终用户感到困惑。为了实行适当的分析和报告活动,往往需要附加的上下文信息。先进的声学成像设备有能力产生与场景的静态或实况可视图像进行整合的声音的伪彩色视觉表示。然而,对于不同的应用或者当需要不同水平的性能时,不同的传感器配置和传感器数量往往是优选的。

技术人员期望实行不同的应用,其包括近场声学全息术、远场波束形成、声波检查、次声检查和/或超声检查,他们必须使用具有不同传感器配置的声学成像器。例如,用户可能需要一个使用近场声学全息术进行声波检查的设备、一个使用远场声学波束形成进行超声波检查的单独设备。这对用户来说既昂贵又耗时。

发明内容

本公开的一些方面涉及声学成像系统。系统可以包括电磁成像工具,该电磁成像工具被配置成接收来自目标场景的电磁辐射,并且输出代表所接收的电磁辐射的电磁图像数据。

系统还可以包括通信接口、与电磁成像工具和通信接口通信的处理器以及壳体。在一些系统中,通信接口可以提供第一传感器头与处理器之间的通信。在一些系统中,壳体可以支撑处理器和通信接口。

系统还可以包括第一传感器头,该第一传感器头具有布置成第一声学传感器阵列的第一多个声学传感器元件。在一些系统中,通信接口包括对接端口,该对接端口与处理器通信并且集成到壳体中,并且被配置成可移除地接收第一传感器头。该第一传感器头可以包括对接机构,该对接机构被配置成与通信接口的对接端口可移除地对接。在一些示例中,传感器头可以包括电磁成像工具、具有柔性鹅颈管的颈部、具有伸缩部分的颈部和/或无线通信接口。

一些系统可以包括附加的传感器头,诸如具有布置成第二声学传感器阵列的第二多个声学传感器元件的第二传感器头。第二传感器头可以可互换地可连接到通信接口。在一些系统中,第二传感器头可以可互换地可连接到第一传感器头。

在一些系统中,处理器可以被配置成从电磁工具接收电磁图像数据,并且从声学传感器阵列(例如,与第一传感器头相关联的第一声学传感器阵列,和/或与第二传感器头相关联的第二传感器阵列)接收声学数据。处理器还可以被配置成根据所接收的声学数据生成声学图像数据,并且将所生成的声学图像数据和所接收的电磁图像数据进行组合以生成包括声学图像数据和电磁数据的显示图像。

下面在附图和说明书中阐述一个或多个示例的细节。根据本描述和附图以及根据权利要求,其它特征、对象以及优点将是显而易见的。

附图说明

图1A和1B示出了示例性声学成像设备的正视图和后视图。

图2是图示了声学分析系统的示例的组件的功能框图。

图3A、3B和3C示出了声学分析系统内的示例性声学传感器阵列配置的示意图。

图4A和4B示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意图。

图5A和5B示出了可见光图像与声学图像之间的视差校正。

图5C和5D是图5A和5B的彩色版本。

图6是示出了用于生成将声学图像数据和电磁图像数据进行组合的最终图像的示例性方法的过程流程图。

图7是示出了用于从所接收的声信号生成声学图像数据的示例性过程的过程流程图。

图8示出了用于确定在声学成像过程期间使用的适当的算法和传感器阵列的示例性查找表。

图9A是在声学场景中所接收的图像数据的频率内容随时间推移的示例性标绘图。

图9B示出了包括发射声信号的多个位置的示例性场景。

图9C示出了在多个预定义的频率范围处的多个所组合的声学和可见光图像数据。

图10A和10B是包括所组合的可见光图像数据和声学图像数据的示例性显示图像。

图11A和11B示出了声学场景中的声学数据的频率比对时间的示例性标绘图。

图12A、12B和12C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多种示例性方式。

图13是示出了将所接收的声学图像数据与用于对象诊断的数据库进行比较的示例性操作的过程流程图。

图14示出了声学成像工具和包括多个声学传感器元件的传感器头的示例性实施例。

图15示出了被配置成用于滑入式附接的示例性传感器头和声学成像工具。

图16示出了示例性声学传感器头,其具有中心传感器部分和多个折叠的辅助传感器部分,该辅助传感器部分经由附接机构连接到中心传感器部分。

图17示出了具有中心传感器部分的示例性声学传感器,该中心传感器部分包括一个或多个附接机构,该附接机构可以被配置成可拆卸地接收一个或多个对应的辅助传感器部分。

图18示出了包括柔性“鹅颈管”部分的传感器头组装件。

图19示出了棒型传感器头组装件,其包括经由延伸部分支撑传感器阵列的手柄。

图20示出了包括声学成像设备和声学传感器头的示例系统。

具体实施方式

图1A和1B示出了示例声学成像设备的正视图和后视图。图1A示出了声学成像设备100的前侧,该声学成像设备100具有支撑声学传感器阵列104和电磁成像工具106的壳体102。在一些实施例中,声学传感器阵列104包括多个声学传感器元件,该多个声学传感器元件中的每一个被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据。电磁成像工具106可以被配置成从目标场景接收电磁辐射并且输出代表所接收的电磁辐射的电磁图像数据。电磁成像工具106可以被配置成检测多个波长范围中的一个或多个的电磁辐射,诸如可见光、红外线、紫外线等等。

在图示的示例中,声学成像设备100包括:环境光传感器108和位置传感器116,诸如GPS。设备100包括:激光指示器110,其在一些实施例中包括激光测距仪。设备100包括:焊灯(torch)112,其可以被配置成朝向场景发射可见光辐射;和红外照明器118,其可以被配置成朝向场景发射红外辐射。在一些示例中,设备100可以包括用于在任何波长范围内照亮场景的照明器。设备100进一步包括:投影仪114,诸如图像重投影仪,其可以被配置成将生成的图像投射到诸如彩色图像之类的场景上;和/或点投影仪,其被配置成将一系列点投射到场景上,例如,以确定场景的深度轮廓。

图1B示出了声学成像设备100的背面。如所示的,该设备包括:显示器120,其可以呈现图像或其他数据。在一些示例中,显示器120包括触摸屏显示器。声学成像设备100包括:可以向用户提供音频反馈信号的扬声器,以及可以使得能够在声学成像设备100与外部设备之间实现无线通信的无线接口124。该设备进一步包括控件126,该控件126可以包括一个或多个按钮、旋钮、刻度盘、开关或其他对接组件,以使得用户能够与声学成像设备100进行交互。在一些示例中,控件126和触摸屏显示器进行组合以提供声学成像设备100的用户界面。

在各种实施例中,声学成像设备不必包括图1A和1B的实施例中所示的每个元件。可以从声学成像设备中排除一个或多个图示的组件。在一些示例中,在图1A和1B的实施例中示出的一个或多个组件可以被包括作为声学成像系统的一部分,但是与壳体102分开地包括。这样的组件可以例如使用无线接口124、经由有线或无线通信技术与声学成像系统的其他组件进行通信。

图2是图示了声学分析系统200的示例的组件的功能框图。图2的示例性声学分析系统200可以包括:以声学传感器阵列202布置的多个声学传感器,诸如传声器、MEMS、换能器等。这样的阵列可以是一维的、二维的或三维的。在各种示例中,声学传感器阵列可以限定任何合适的大小和形状。在一些示例中,声学传感器阵列202包括以网格图案布置的多个声学传感器,诸如例如,以纵向列和横向行布置的传感器元件的阵列。在各种示例中,声学传感器阵列202可以包括按照例如8×8、16×16、32×32、64×64、128×128、256×256等的水平行的垂直列的阵列。其他示例是可能的,并且各种传感器阵列不必一定包括与列相同数量的行。在一些实施例中,这样的传感器可以被定位在基板上,例如,诸如印刷电路板(PCB)基板。

在图2所示的配置中,与声学传感器阵列202通信的处理器212可以从多个声学传感器中的每一个接收声学数据。在声学分析系统200的示例性操作期间,处理器212可以与声学传感器阵列202通信以生成声学图像数据。例如,处理器212可以被配置成分析从以声学传感器阵列布置的多个声学传感器中的每一个接收的数据,并且通过将声信号“反向传播”到声信号的源来确定声学场景。在一些实施例中,处理器212可以通过识别跨二维场景的声信号的各种源位置和强度来生成声学图像数据的数字“帧”。通过生成声学图像数据的帧,处理器212在基本上给定的时间点捕获目标场景的声学图像。在一些示例中,帧包括构成声学图像的多个像素,其中,每个像素表示声信号已经反向传播到的源场景的一部分。

被描述为声学分析系统200内的处理器的组件(包括处理器212)可以被实现为单独地或以任何合适的组合的形式的一个或多个处理器,诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等等。处理器212还可以包括存储器,该存储器存储程序指令和相关数据,该程序指令和相关数据在被处理器212执行时会使声学分析系统200和处理器212实行在本公开中归属于它们的功能。存储器可以包括任何固定或可移除的磁性、光学或电介质,诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等等。存储器还可以包括可移除存储器部分,其可以被用来提供存储器更新或增加存储器容量。可移除存储器还可以允许将声学图像数据容易地传递到另一个计算设备,或在声学分析系统200被用在另一个应用中之前去除声学图像数据。处理器212还可以被实现为片上系统,其将计算机或其它电子系统的一些或全部组件集成到单个芯片中。处理器212(处理电路)可以被配置成将经处理的数据传送到显示器214或其它输出/控制设备218。

在一些实施例中,声学传感器阵列202中的声学传感器生成与每个声学传感器所接收的声信号相对应的一系列信号,以表示声学图像。当通过扫描构成了声学传感器阵列202的全部行来获得来自每个声学传感器的信号时,生成了声学图像数据的“帧”。在一些示例中,处理器212可以以足以生成声学图像数据的视频表示(例如,30 Hz或60 Hz)的速率来获取声学图像帧。独立于特定电路,声学分析系统200可以被配置成操纵代表目标场景的声学轮廓的声学数据,以便于提供可以被显示、存储、传输或以其它方式被用户利用的输出。

在一些实施例中,“反向传播”所接收的声信号以便生成声学图像数据包括:例如经由处理器分析在声学传感器阵列202中的多个声学传感器处的所接收的信号。在各种示例中,实行反向传播是一个或多个参数的函数,该参数包括到目标的距离、频率、声音强度(例如,分贝水平)传感器阵列的尺寸/配置,例如包括一个或多个阵列内的个体传感器的间隔和布置等。在一些实施例中,这样的参数可以被预编程到系统中,例如,在存储器中。例如,声学传感器阵列202的属性可以被存储在存储器中,诸如内部存储器或特别地与声学传感器阵列202相关联的存储器。可以通过各种各样的方式接收其他参数,诸如到目标的距离。例如,在一些示例中,声学分析系统200包括与处理器212通信的距离测量工具204。该距离测量工具可以被配置成提供代表从距离测量工具204到目标场景中的特定位置的距离的距离信息。各种距离测量工具可以包括激光测距仪或其他已知的距离测量设备,诸如其他光学或音频距离测量设备。附加地或替换地,距离测量工具可以被配置成生成三维深度数据,使得目标场景的每个部分具有相关联的到目标的距离的值。因此,在一些示例中,如本文中使用的到目标的距离的测量结果可以对应于到目标场景内的每个位置的距离。这样的三维深度数据可以例如经由具有目标场景的不同视图的多个成像工具、或经由其他已知的距离扫描工具来生成。一般而言,在各种实施例中,距离测量工具可以被用来实行一个或多个距离测量功能,包括但不限于:激光距离测量、有源声波距离测量、无源超声距离测量、LIDAR距离测量、RADAR距离测量、毫米波距离测量等等。

来自距离测量工具204的距离信息可以被用于反向传播计算中。附加地或替换地,系统200可以包括用户界面216,用户可以将到目标的距离的参数手动输入到其中。例如,如果到怀疑会产生声信号的组件的距离是已知的或难以利用距离测量工具204测量,则用户可以将到目标的距离的值输入到系统200中。

在图示的实施例中,声学分析系统200包括:电磁成像工具203,用于生成代表目标场景的图像数据。示例性电磁成像工具可以被配置成从目标场景接收电磁辐射,并且生成代表所接收的电磁辐射的电磁图像数据。在一些示例中,电磁成像工具203可以被配置成生成代表电磁波谱内的特定波长范围的电磁图像数据,诸如红外辐射、可见光辐射和紫外辐射。例如,在一些实施例中,电磁定时工具203可以包括一个或多个相机模块,诸如例如可见光相机模块206,该相机模块被配置成生成代表电磁波谱中的特定波长范围的图像数据。

可见光相机模块一般是公知的。例如,在智能电话和众多其它设备中包括各种可见光相机模块。在一些实施例中,可见光相机模块206可以被配置成接收来自目标场景的可见光能量,以及将可见光能量聚焦在可见光传感器上以用于生成可见光能量数据,该可见光能量数据例如可以以可见光图像的形式被显示在显示器214上和/或被存储在存储器中。可见光相机模块206可以包括用于实行归属于本文中的模块的功能的任何合适的组件。在图2的示例中,可见光相机模块206被图示为包括可见光透镜组装件208和可见光传感器210。在一些这样的实施例中,可见光透镜组装件208包括拍摄目标场景所发射的可见光能量并且将可见光能量聚焦在可见光传感器210上的至少一个透镜。可见光传感器210可以包括多个可见光传感器元件,诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等等。可见光传感器210通过生成电信号来对所聚焦的能量进行响应,该电信号可以被转换并且作为可见光图像显示在显示器214上。在一些示例中,可见光模块206是可由用户配置的,并且可以以各种各样的格式例如向显示器214提供输出。可见光相机模块206可以包括针对各种光照或其它操作条件或用户偏好的补偿功能。可见光相机模块可以提供包括图像数据的数字输出,其可以包括以各种各样的格式(例如,RGB、CYMK、YCbCr等)的数据。

在某个示例性可见光相机模块206的操作中,从目标场景接收的光能量可以传过可见光透镜组装件208,并且被聚焦在可见光传感器210上。当光能量撞击在可见光传感器210的可见光传感器元件上时,可以释放光电检测器内的光子,并且将其转换成检测电流。处理器212可以处理该检测电流以形成目标场景的可见光图像。

在声学分析系统200的使用期间,处理器212可以控制可见光相机模块206来从所捕获的目标场景生成可见光数据以用于创建可见光图像。可见光数据可以包括指示与所捕获的目标场景的不同部分相关联的(一个或多个)颜色的光度数据和/或与所捕获的目标场景的不同部分相关联的光的量值。处理器212可以通过在单个时间测量声学分析系统200的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧,处理器212在给定的时间点捕获目标场景的可见光图像。处理器212还可以重复地测量声学分析系统200的每个可见光传感器元件的响应,以便生成目标场景的动态可见光图像(例如,视频表示)。在一些示例中,可见光相机模块206可以包括能够操作可见光相机模块206的其自己的专用处理器或其它电路(例如,ASIC)。在一些这样的实施例中,专用处理器与处理器212通信以用于向处理器212提供可见光图像数据(例如,RGB图像数据)。在替换的实施例中,用于可见光相机模块206的专用处理器可以集成到处理器212中。

在可见光相机模块206的每个传感器元件起到传感器像素的作用的情况下,处理器212可以通过将每个传感器元件的电响应转化成时间复用的电信号来生成来自目标场景的可见光的二维图像或图片表示,该时间复用的电信号可以被处理,例如,用于在显示器214上的可视化和/或在存储器中的存储。

处理器212可以控制显示器214来显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中,处理器212控制显示器214,使得可见光相机模块206的每个传感器元件的电响应与显示器214上的单个像素相关联。在其它示例中,处理器212可以增加或减小可见光图像的分辨率,使得在显示器214上显示比在可见光相机模块206中存在的传感器元件更多或更少的像素。处理器212可以控制显示器214来显示整个可见光图像(例如,声学分析系统200所捕获的目标场景的全部部分)或少于整个可见光图像(例如,声学分析系统200所捕获的整个目标场景的更少的部分)。

在一些实施例中,处理器212可以控制显示器214同时显示声学分析系统200所捕获的可见光图像的至少一部分和经由声学传感器阵列202所生成的声学图像的至少一部分。这样的并发显示可能是有用的,因为操作者可以参考在可见光图像中显示的特征,以帮助查看在声学图像中同时显示的声信号的源。在各种示例中,处理器212可以控制显示器214来以并排布置、以图中图布置(其中图像中的一个图像围绕图像中的另一个图像)或以其中同时显示可见光图像和声学图像的任何其它合适的布置来显示可见光图像和声学图像。

例如,处理器212可以控制显示器214来以组合布置的形式显示可见光图像和声学图像。在这样的布置中,对于在可见光图像中代表目标场景的一部分的像素或像素集合来说,在声学图像中存在代表目标场景的基本上相同部分的对应的像素或像素集合。在各种实施例中,声学图像和可见光图像的大小和/或分辨率不需要相同。相应地,在声学图像或可见光图像中的一个中可以存在像素集合,其对应于在声学图像或可见光图像中的另一个中的单个像素、或具有不同大小的像素集合。类似地,在可见光图像或声学图像中的一个中可以存在对应于另一图像中的像素集合的图像。因此,如本文中使用的,对应不要求一对一的像素关系,而是可以包括像素或像素群组的不匹配的大小。可以实行对不匹配大小的图像区域的各种组合技术,诸如对图像中的一个进行上采样或下采样、或者将像素与对应像素集合的平均值进行组合。其它示例是已知的并且也在本公开的范围内。

因此,对应的像素不需要具有直接的一对一关系。而是,在一些实施例中,单个声学像素具有多个对应的可见光像素,或者可见光像素具有多个对应的声学像素。附加地或替换地,在一些实施例中,并非所有的可见光像素都具有对应的声学像素,或反之亦然。这样的实施例可以指示例如先前所讨论的图中图类型的显示。因此,可见光像素将不一定在可见光图像内具有与对应的声学像素所具有的像素坐标相同的像素坐标。相应地,如本文中使用的,对应的像素通常指代来自任何图像(例如,可见光图像、声学图像、组合图像、显示图像等)的、包括来自目标场景的基本上相同部分的信息的像素。这样的像素不需要具有图像之间的一对一关系,并且不需要在它们各自的图像内具有类似的坐标方位。

类似地,具有对应像素(即,代表目标场景的相同部分的像素)的图像可以被称为对应的图像。因此,在一些这样的布置中,可以将对应的可见光图像和声学图像在对应的像素处叠加在彼此上面。操作者可以与用户界面216进行交互,以控制显示在显示器214上的图像中的一个或二者的透明度或不透明度。例如,操作者可以与用户界面216进行交互,以在完全透明与完全不透明之间调整声学图像,以及还在完全透明与完全不透明之间调整可见光图像。这样的示例性组合布置(其可以被称为α混合布置)可以允许操作者调整显示器214以显示仅声学图像、仅可见光图像,或在仅声学图像和仅可见光图像的极端情况之间的两个图像的任何重叠组合。处理器212还可以将场景信息与其它数据进行组合,该其它数据诸如是警报数据等等。一般而言,可见光图像和声学图像的α混合组合可以包括从200%声学和0%可见光到0%声学和200%可见光的任何情况。在一些实施例中,混合的量可以由相机的用户来调整。因此,在一些实施例中,可以在200%可见光和200%声学之间调整混合图像。

附加地,在一些实施例中,处理器212可以解译并执行来自用户界面216和/或输出/控制设备218的命令。此外,可以使用输入信号来更改在处理器212中发生的对可见光和/或声学图像数据的处理。

操作者可以经由用户界面216与声学分析系统200进行交互,该用户界面208可以包括按钮、按键或用于从用户接收输入的另一机构。操作者可以经由显示器214接收来自声学分析系统200的输出。显示器214可以被配置成以任何可接受的调色板或配色方案来显示声学图像和/或可见光图像,并且该调色板可以例如响应于用户控制而变化。在一些实施例中,可以以调色板来呈现声学图像数据,以便表示来自场景中的不同位置的声学数据的变化量值。例如,在一些示例中,显示器214被配置成以单色调色板(诸如灰度)来显示声学图像。在其它示例中,显示器214被配置成以诸如例如琥珀色、铁红色(ironbow)、蓝红色或其它高对比度配色方案之类的颜色调色板来显示声学图像。还可设想到灰度和颜色调色板显示的组合。在一些示例中,被配置成显示这样的信息的显示器可以包括用于生成和呈现这样的图像数据的处理能力。在其它示例中,被配置成显示这样的信息可以包括从其它组件(诸如处理器212)接收图像数据的能力。例如,处理器212可以生成针对要显示的每个像素的值(例如,RGB值、灰度值或其它显示选项)。显示器214可以接收这样的信息,并且将每个像素映射到视觉显示器中。

虽然处理器212可以控制显示器214以任何合适的布置同时显示声学图像的至少一部分和可见光图像的至少一部分,但是图中图布置可以通过以相邻对准的方式显示同一场景的对应的可见图像来帮助操作者容易地聚焦和/或解译声学图像。

电源(未示出)将操作功率递送到声学分析系统200的各个组件。在各种示例中,电源可以包括可再充电或不可再充电的电池和发电电路、AC电源、感应式功率传感器(aninductive power pick-up)、光伏电源或任何其他适当的供电组件。供电组件的组合也是可能的,诸如可再充电电池和被配置成提供功率以操作设备和/或对可再充电电池进行充电的另一组件。

在声学分析系统200的操作期间,处理器212在与被存储在存储器中的程序信息相关联的指令的帮助下,控制声学传感器阵列202和可见光相机模块206,以生成目标场景的可见光图像和声学图像。处理器212进一步控制显示器214来显示声学分析系统200所生成的可见光图像和/或声学图像。

如上所述,在某些情况下,可能难以在声学图像中识别和区分开目标场景的现实世界(可见)特征。在一些实施例中,除了用可见光信息补充声学图像之外,强调目标场景内的可见边缘可能是有用的。在一些实施例中,可以在目标场景的可见光图像上实行已知的边缘检测方法。由于声学图像与可见光图像之间的对应关系,被确定为表示目标场景中的可见边缘的可见光像素对应于也表示声学图像中的可见边缘的声学像素。将领会的是,如本文中使用的,“边缘”不必指代对象的物理边界,而是可以指代可见光图像中的任何足够尖锐的梯度。示例可以包括对象的物理边界、对象内的颜色变化、跨场景的阴影等等。

尽管通常参照图2被描述为包括可见光相机模块206,但在一些示例中,声学分析系统200的电磁成像工具203可以附加地或替换地包括:能够生成代表各种各样的波谱的图像数据的成像工具。例如,在各种示例中,电磁成像工具203可以包括一个或多个能够生成红外图像数据、可见光图像数据、紫外图像数据或任何其他有用波长或其组合的工具。在一些实施例中,声学成像系统可以包括具有红外透镜组装件和红外传感器阵列的红外相机模块。可以包括用于与例如红外相机模块对接的附加组件,诸如在题为“EDGE ENHANCEMENTFOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS”且于2015年8月27日提交的美国专利申请号14/837,757中描述的那些,该美国专利申请被转让给本申请的受让人并且通过引用整体地并入本文中。

在一些示例中,两个或更多个数据流可以被混合以用于显示。例如,包括可见光相机模块206、声学传感器阵列202和红外相机模块(图2中未示出)的示例性系统可以被配置成产生包括可见光(VL)图像数据、红外(IR)图像数据和声学(Acoustic)图像数据的混合的输出图像。在示例性混合方案中,显示图像可以被表示为:α×IR+β×VL+γ×Acoustic,其中,α+β+γ=1。一般而言,可以组合任何数量的数据流以用于显示。在各种实施例中,可以由用户设置诸如α、β和γ之类的混合比。附加地或替换地,例如,如在题为“VISIBLE LIGHTAND IR COMBINED IMAGE CAMERA WITH A LASER POINTER”的美国专利号7,538,326中所述,可以基于警报条件(例如,一个或多个数据流中的一个或多个值满足预定阈值)或其他条件,将设置的显示程序配置成包括不同的图像数据流,该美国专利被转让给本申请的受让人,并且通过引用整体地并入本文中。

相对于图2所描述的声学分析系统200中的一个或多个组件可以被包括在便携式(例如,手持式)声学分析工具中。例如,在一些实施例中,便携式声学分析工具可以包括被配置成将组件容纳在声学分析工具中的壳体230。在一些示例中,系统200的一个或多个组件可以位于声学分析工具的壳体230的外部。例如,在一些实施例中,处理器212、显示器214、用户界面216和/或输出控制设备218可以位于声学分析工具的壳体的外部,并且可以例如经由无线通信(例如,蓝牙通信、Wi-Fi等)与各种其他系统组件进行通信。可以例如经由诸如计算机、智能电话、平板设备、可穿戴设备等等的外部设备来提供声学分析工具外部的此类组件。附加地或替换地,被配置成相对于声学分析工具充当主设备或从设备的其他测试和测量或数据获取工具可以类似地在声学分析工具外部提供声学分析系统的各种组件。外部设备可以经由有线和/或无线连接与便携式声学分析工具进行通信,并且可以被用来实行各种处理、显示和/或接口步骤。

在一些实施例中,这样的外部设备可以提供冗余功能,作为被容纳在便携式声学分析工具中的组件。例如,在一些实施例中,声学分析工具可以包括用于显示声学图像数据的显示器,并且可以进一步被配置成将图像数据传送到外部设备以进行存储和/或显示。类似地,在一些实施例中,用户可以经由在智能电话、平板设备、计算机等等上运行的应用程序(“app”)来与声学分析工具对接,以便实行还能够与声学分析工具本身一起实行的一个或多个功能。

图3A是声学分析系统内的声学传感器阵列的示例性配置的示意图。在图示的示例中,声学传感器阵列302包括:多个第一声学传感器(以白色示出)和多个第二声学传感器(阴影的)。第一声学传感器被布置成第一阵列320,并且第二声学传感器被布置成第二阵列322。在一些示例中,第一阵列320和第二阵列322可以被选择性地用来接收用于生成声学图像数据的声信号。例如,在一些配置中,特定声学传感器阵列对特定声频率的灵敏度是声学传感器元件之间的距离的函数。

在一些配置中,比起间隔更远的传感器元件(例如,第一阵列320),在一起间隔更紧密的传感器元件(例如,第二阵列322)能够更好地分辨高频声信号(例如,频率大于20kHz的声音,诸如20 kHz与100 kHz之间的超声信号)。类似地,比起间隔更紧密的传感器元件(例如,第二阵列322),间隔更远的传感器元件(例如,第一阵列320)可能更适合于检测低频声信号(例如,< 20 kHz)。可以提供具有彼此间隔开的传感器元件的各种声学传感器阵列,以用于检测具有各种频率范围的声信号,该频率范围诸如是次声频率(< 20 Hz)、可听频率(近似20 Hz与20 kHz之间)、超声频率(20 kHz与100 kHz之间)。在一些实施例中,可以使用部分阵列(例如,来自阵列320的每个其他声学传感器元件)来优化对特定频带的检测。

附加地,在一些示例中,一些声学传感器元件可能更适合于检测具有不同频率特性(诸如低频或高频)的声信号。因此,在一些实施例中,被配置成用于检测低频声信号的阵列(诸如具有间隔更远的传感器元件的第一阵列320)可以包括更适合于检测低频声信号的第一声学传感器元件。类似地,被配置成用于检测较高频率的声信号的阵列(诸如第二阵列322)可以包括更适合于检测高频声信号的第二声学传感器元件。因此,在一些示例中,声学传感器元件的第一阵列320和第二阵列322可以包括不同类型的声学传感器元件。替换地,在一些实施例中,第一阵列320和第二阵列322可以包括相同类型的声学传感器元件。

因此,在示例性实施例中,声学传感器阵列302可以包括多个声学传感器元件阵列,诸如第一阵列320和第二阵列322。在一些实施例中,阵列可以单独地或以组合的形式使用。例如,在一些示例中,用户可以选择使用第一阵列320、使用第二阵列322或同时使用第一阵列320和第二阵列322两者来实行声学成像过程。在一些示例中,用户可以经由用户界面选择要使用哪些(一个或多个)阵列。附加地或替换地,在一些实施例中,声学分析系统可以基于对所接收的声信号或其他输入数据(诸如预期频率范围等等)的分析来自动选择要使用的(一个或多个)阵列。尽管图3A中所示的配置通常包括:通常以矩形格子布置的两个阵列(第一阵列320和第二阵列322),但将领会的是,多个声学传感器元件可以被分组为采用任何形状的任何数量的离散阵列。此外,在一些实施例中,一个或多个声学传感器元件可以被包括在可以被选择用于操作的多个有区别的阵列中。如本文中其他地方所述,在各种实施例中,基于声学传感器元件的布置来实行用于反向传播声信号以从场景建立声学图像数据的过程。因此,声学传感器的布置可以是已知的或以其他方式可由处理器访问的,以便实行声学图像生成技术。

图3A的声学分析系统进一步包括:距离测量工具304和被定位在声学传感器阵列302内的相机模块306。相机模块306可以表示电磁成像工具(例如,203)的相机模块,并且可以包括可见光相机模块、红外相机模块、紫外线相机模块等等。附加地,虽然在图3A中未示出,但声学分析系统可以包括与相机模块306的类型相同或类型不同的一个或多个附加的相机模块。在图示的示例中,距离测量工具304和相机模块306被定位在第一阵列320和第二阵列322中的声学传感器元件的格子内。虽然被示为设置在第一阵列320和第二阵列322内的格子位点之间,但在一些实施例中,一个或多个组件(例如,相机模块306和/或距离测量工具304)可以被定位在第一阵列320和/或第二阵列322中的对应的一个或多个格子位点处。在一些这样的实施例中,(一个或多个)组件可以被定位在格子位点处,以代替根据格子布置通常原本会处于这样的位置中的声学传感器元件。

如本文中其他地方所述,声学传感器阵列可以包括以各种各样的配置中的任何配置布置的声学传感器元件。图3B和图3C是图示了示例性声学传感器阵列配置的示意图。图3B示出了声学传感器阵列390,其包括在近似正方形的格子中均匀间隔开的多个声学传感器元件。距离测量工具314和相机阵列316被定位在声学传感器阵列390内。在图示的示例中,声学传感器阵列390中的声学传感器元件是相同类型的传感器,尽管在一些实施例中,可以在阵列390中使用不同类型的声学传感器元件。

图3C示出了多个声学传感器阵列。声学传感器阵列392、394和396均包括以不同形状的阵列布置的多个声学传感器元件。在图3C的示例中,声学传感器阵列392、394和396可以单独地使用或以任何组合的形式一起使用,以创建各种大小的传感器阵列。在图示的实施例中,阵列396的传感器元件比阵列392的传感器元件更紧密地间隔在一起。在一些示例中,阵列396被设计成用于感测高频声学数据,而阵列392被设计成用于感测低频声学数据。

在各种实施例中,阵列392、394和396可以包括相同或不同类型的声学传感器元件。例如,声学传感器阵列392可以包括其频率工作范围比声学传感器阵列396的传感器元件的频率工作范围低的传感器元件。

如本文中其他地方所述,在一些示例中,可以在各种操作模式(例如,要成像的不同期望频谱)期间选择性地关闭和打开不同的声学传感器阵列(例如,392、394、396)。附加地或替换地,可以根据期望的系统操作来启用或禁用各种声学传感器元件(例如,一个或多个传感器阵列中的一些或全部声学传感器元件)。例如,在一些声学成像过程中,虽然来自大量传感器元件(例如,以高密度布置的传感器元件,诸如在传感器阵列396中)的数据稍微改进了声学图像数据的分辨率,但这是以从每个传感器元件处所接收的数据中提取声学图像数据的所需处理为代价的。即,在一些示例中,处理大量输入信号(例如,来自大量声学传感器元件的信号)所需的增加的处理需求(例如,成本、处理时间、功耗等方面)与附加的数据流所提供的任何附加的信号分辨率相比是负面的。因此,在一些实施例中,取决于期望的声学成像操作来禁用或忽略来自一个或多个声学传感器元件的数据可能是值得的。

与图3A和图3B的系统相似,图3C的系统包括被定位在声学传感器阵列392、394和396内的距离测量工具314和相机阵列316。在一些示例中,诸如附加的相机阵列(例如,被用于对来自相机阵列316的电磁波谱的不同部分进行成像)之类的附加的组件可以类似地被定位在声学传感器阵列392、394和396内。将领会的是,尽管在图3A-2C中被示为被定位在一个或多个声学传感器阵列内,但距离测量工具和/或一个或多个成像工具(例如,可见光相机模块、红外相机模块、紫外线传感器等)可以位于(一个或多个)声学传感器阵列外部。在一些这样的示例中,距离测量工具和/或位于(一个或多个)声学传感器阵列外部的一个或多个成像工具可以由声学成像工具支撑,例如,由容纳(一个或多个)声学传感器阵列的壳体支撑,或者可以位于声学成像工具的壳体外部。

在一些示例中,声学传感器阵列和成像工具(诸如相机模块)的一般未对准可以导致声学传感器阵列和成像工具所生成的对应的图像数据中的未对准。图4A示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意图。一般而言,视差误差可以是垂直的、水平的或两者兼有。在图示的实施例中,声学传感器阵列420和成像工具包括可见光相机模块406。可见光图像帧440被示为是根据可见光相机模块406的视场441捕获的,而声学图像帧450被示为是根据声学传感器阵列420的视场451捕获的。

如所示的,可见光图像帧440和声学成像帧450没有彼此对准。在一些实施例中,处理器(例如,图2的处理器212)被配置成操纵可见光图像帧440和声学图像帧450之一或两者,以便对准可见光图像数据和声学图像数据。这样的操纵可以包括使一个图像帧相对于另一图像帧移位。可以基于各种各样的因素来确定图像帧相对于彼此发生移位的量,该因素包括例如从可见光相机模块406和/或声学传感器阵列420到目标的距离。可以例如使用距离测量工具404或经由用户界面(例如,216)接收距离值来确定这样的距离数据。

图4B是类似于图4A的示意图,但是包括场景的可见光图像。在图4B的示例中,可见光图像442示出了具有多条电力线和支撑塔的场景。声学图像452包括多个位置454、456、458,这些位置指示来自这样的位置的高量值声学数据。如所示的,可见光图像442和声学图像452两者被同时显示。然而,对这两个图像的观察示出了在位置458处的至少一个声学图像局部最大值,其似乎与可见光图像442中的任何特定结构都不一致。因此,观察两个图像的人可以得出结论,在声学图像452与可见光图像442之间存在未对准(例如,视差误差)。

图5A和图5B示出了可见光图像与声学图像之间的视差校正。类似于图4B,图5A示出了可见光图像542和声学图像552。声学图像552包括在位置554、556和558处的局部最大值。如可以看到的,位置554和558处的最大值似乎与可见光图像中的任何结构都不一致。在图5B的示例中,可见光图像542和声学图像552相对于彼此配准。现在,声学图像中的位置554、556和558处的局部最大值似乎与可见光图像542中的各个位置相一致。

在使用过程中,操作者可以(例如,经由显示器214)查看图5B中的表示,并且确定可见场景542中有可能是所接收的声信号的源的近似位置。可以进一步处理这样的信号,以便确定关于场景中的各种组件的声学特征(acoustic signature)的信息。在各种实施例中,可以相对于声学图像中的各种位置来分析声学参数,诸如频率内容、周期性、幅值等等。当覆盖到可见光数据上以使得这样的参数可以与各种系统组件相关联时,声学图像数据可以被用来分析可见光图像中的对象的各种属性(例如,性能特性)。

图5C和图5D是图5A和图5B的彩色版本。如图5A和图5B中所示,并且在图5C和图5D的彩色表示中更容易看到的,位置554、556和558在颜色上示出了圆形梯度。如本文中其他地方所述,可以根据调色方案在视觉上表示声学图像数据,在该调色方案中,声学图像数据的每个像素基于对应位置处的声强度而着色。因此,在图5A-5D的示例性表示中,位置554、556、558的圆形梯度通常表示基于反向传播的所接收的声信号的成像平面中的声强度中的梯度。

将领会的是,尽管相对于声学图像数据和可见光图像数据描述了图4A、4B、5A-5D中的示例性图示,但可以利用各种各样的电磁图像数据类似地实行这样的过程。例如,如本文中其他地方所述,在各种实施例中,可以使用声学图像数据与可见光图像数据、红外图像数据、紫外图像数据等等中的一个或多个的组合来实行各种这样的过程。

如本文中其他地方所述,在一些实施例中,反向传播声信号以形成声学图像可以基于到目标的距离的值。即,在一些示例中,反向传播计算可以基于距离,并且可以包括确定二维声学场景,该二维声学场景位于距声学传感器阵列的该距离处。在给定二维成像平面的情况下,从平面中的源发出的球形声波的横截面通常会呈现圆形,其中强度在径向上衰减,如图5A-5B中所示。

在一些这样的示例中,表示未在反向传播计算中使用的、到目标的距离处的数据的声学场景的部分将导致声学图像数据中的误差,诸如场景中的一个或多个声音的位置不准确。当声学图像与其他图像数据(例如,电磁图像数据,诸如可见光、红外或紫外图像数据)同时(例如,混合、组合等)显示时,这样的误差可能导致声学图像数据与其他图像数据之间的视差误差。因此,在一些实施例中,用于校正视差误差的一些技术(例如,如图5A和图5B所示)包括:调整在用于生成声学图像数据的反向传播计算中使用的到目标的距离的值。

在一些情况下,该系统可以被配置成使用第一到目标的距离的值来实行反向传播过程,并且显示诸如图5A所示的显示图像,其中声学图像数据和另一数据流可能未对准。随后,声学分析系统可以调整反向传播所使用的到目标的距离的值,再次实行反向传播,并且利用新的声学图像数据来更新显示图像。该过程可以重复进行,其中在用户观察显示器上的所得显示图像的同时,声学分析系统循环通过多个到目标的距离(distance-to-target)的值。随着到目标的距离的值的变化,用户可以观察到从图5A所示的显示图像到图5B所示的显示图像的逐渐过渡。在一些这样的情况下,用户可以在视觉上观察声学图像数据何时似乎与另一数据流(诸如电磁图像数据)正确地配准。用户可以向声学分析系统发送信号表明声学图像数据似乎已正确地配准,从而向系统指示被用来实行最近的反向传播的到目标的距离的值是近似正确的,并且可以将该距离值作为正确的到目标的距离保存到存储器。类似地,当在经更新的反向传播过程中使用新的距离值来更新显示图像时,用户可以手动调整到目标的距离的值,直到用户观察到声学图像数据被正确地配准为止。用户可以选择在声学分析系统中将当前的到目标的距离保存为当前的到目标的距离。

在一些示例中,校正视差误差可以包括基于到目标的距离的数据,按预定量并且在预定方向上相对于其他图像数据(例如,电磁图像数据)调整声学图像数据的方位。在一些实施例中,通过将声信号反向传播到识别出的到目标的距离,这样的调整独立于声学图像数据的生成。

在一些实施例中,除了被用来生成声学图像数据并且减小声学图像数据与其他图像数据之间的视差误差之外,到目标的距离的值还可以被用于进行其他确定。例如,在一些示例中,如美国专利号7,538,326中所述,处理器(例如,212)可以使用到目标的距离的值,以便聚焦或帮助用户聚焦诸如红外图像之类的图像,该美国专利通过引用而并入。如其中所述,这可以类似地被用来校正可见光图像数据与红外图像数据之间的视差误差。因此,在一些示例中,距离值可以被用来将声学图像数据与电磁成像数据(诸如红外图像数据和可见光图像数据)进行配准。

如本文中其他地方所述,在一些示例中,距离测量工具(例如,204)被配置成提供可以被处理器(例如,212)用来生成和配准声学图像数据的距离信息。在一些实施例中,距离测量工具包括激光测距仪,该激光测距仪被配置成在距离被测量的位置处将光发射到目标场景上。在一些这样的示例中,激光测距仪可以发射可见光谱中的光,使得用户可以查看物理场景中的激光点,以确保测距仪正在测量到场景的期望部分的距离。附加地或替换地,激光测距仪被配置成发射一个或多个成像组件(例如,相机模块)对其敏感的光谱中的光。因此,经由分析工具(例如,经由显示器214)查看目标场景的用户可以观察场景中的激光点,以确保激光正在测量到目标场景中的正确位置的距离。在一些示例中,处理器(例如,212)可以被配置成基于当前距离值(例如,基于激光测距仪与声学传感器阵列之间的已知的基于距离的视差关系),在所显示的图像中生成代表激光点将在声学场景中所位于的位置的参考标记。可以将参考标记的位置与实际激光标记的位置(例如,在显示器上以图形方式和/或在目标场景中物理地)进行比较,并且可以调整场景,直到参考标记和激光相一致为止。可以类似于美国专利号7,538,326中所描述的红外配准和聚焦技术来实行这样的过程,该美国专利通过引用而并入。

图6是示出了用于生成将声学图像数据和电磁图像数据进行组合的最终图像的示例性方法的过程流程图。该方法包括以下步骤:经由声学传感器阵列接收声信号(680);以及接收距离信息(682)。可以例如经由距离测量设备和/或用户界面,诸如经由手动输入,或作为距离调整过程的结果来接收距离信息,通过该距离调整过程,基于观察到的配准来确定距离。

该方法进一步包括:反向传播所接收的声信号以确定代表声学场景的声学图像数据(684)。如本文中其他地方所述,反向传播可以包括结合所接收的距离信息来分析在声学传感器阵列中的多个传感器元件处所接收的多个声信号,以确定所接收的声信号的源模式。

图6的方法进一步包括以下步骤:捕获电磁图像数据(686),以及将声学图像数据与电磁图像数据进行配准(688)。在一些实施例中,将声学图像数据与电磁图像数据进行配准是作为用于生成声学图像数据的反向传播步骤的一部分进行的(684)。在其他示例中,将声学图像数据与电磁图像数据进行配准是与声学图像数据的生成单独进行的。

图6的方法包括以下步骤:将声学图像数据与电磁图像数据进行组合以便生成显示图像(690)。如本文中其他地方所述,将电磁图像数据和声学图像数据进行组合可以包括:将电磁图像数据和声学图像数据进行α混合。将图像数据进行组合可以包括诸如在画中画模式中或在满足某些条件(例如,警报条件)的位置中将一个图像数据集叠加到另一图像数据集上。可以例如经由被壳体(其支撑了声学传感器阵列)支撑的显示器、和/或经由与传感器阵列分开的显示器(诸如外部设备(例如,智能电话、平板设备、计算机等)的显示器)来将显示图像呈现给用户。

附加地或替换地,显示图像可以被保存在本地(例如,板载)存储器和/或远程存储器中以供将来查看。在一些实施例中,所保存的显示图像可以包括:允许将来调整显示图像属性的元数据,该属性诸如是混合比、反向传播距离或被用来生成图像的其他参数。在一些示例中,原始声信号数据和/或电磁图像数据可以与显示图像一起保存,以供后续处理或分析。

虽然被示为用于生成将声学图像数据和电磁图像数据进行组合的最终图像的方法,将领会的是,图6的方法可以被用来将声学图像数据与跨越电磁波谱的任何部分的一个或多个图像数据集合进行组合,诸如可见光图像数据、红外图像数据、紫外图像数据等等。在一些这样的示例中,可以经由与关于图6所描述的方法类似的方法,将诸如可见光图像数据和红外图像数据之类的多种图像数据集合都与声学图像数据进行组合以生成显示图像。

在一些示例中,经由传感器阵列接收声信号(680)可以包括以下步骤:选择利用其接收声信号的声学传感器阵列。如例如关于图3A-C所描述的,声学分析系统可以包括多个声学传感器阵列,它们可以适合于分析具有变化的频率的声信号。附加地或替换地,在一些示例中,不同的声学传感器阵列可以用于分析从不同距离传播的声信号。在一些实施例中,不同的阵列可以嵌套在彼此内部。附加地或替换地,可以选择性地使用部分阵列来接收声学图像信号。

例如,图3A示出了第一阵列320和嵌套在第一阵列内部的第二阵列322。在示例性实施例中,第一阵列320可以包括传感器阵列,该传感器阵列被配置成(例如,间隔开)用于接收声信号,并且生成针对第一频率范围内的频率的声学图像数据。第二阵列322可以包括例如第二传感器阵列,该第二传感器阵列被配置成单独地使用、或与全部或部分第一阵列320进行组合地使用,以用于生成针对第二频率范围内的频率的声学图像数据。

类似地,图3C示出了第一阵列392、至少部分地嵌套在第一阵列392内的第二阵列394,以及至少部分地嵌套在第一阵列392和第二阵列394内的第三阵列396。在一些实施例中,第一阵列392可以被配置成用于接收声信号,并且生成针对第一频率范围内的频率的声学图像数据。第二阵列394可以与全部或部分第一阵列392一起使用,以用于接收声信号,并且生成针对第二频率范围内的频率的声学图像数据。第三阵列396可以单独使用、与全部或部分第二阵列394一起使用、和/或与全部或部分第一阵列392一起使用,以用于接收声信号,并且生成针对第三频率范围内的频率的声学图像数据。

在一些实施例中,在嵌套阵列配置中,来自一个阵列的声学传感器元件可以被定位在声学传感器元件之间,诸如第三阵列396的元件通常位于第一阵列392的元件之间。在一些这样的示例中,嵌套阵列(例如,第三阵列396)中的声学传感器元件可以被定位在与其嵌套于其中的阵列(例如,第一阵列392)中的声学传感器元件相同的平面中、在其前面或在其后面。

在各种实现方式中,被用于感测更高频声信号的阵列通常需要各个传感器之间的距离较小。因此,关于图3C,例如,第三阵列396可以更好地适合于实行涉及高频声信号的声学成像过程。其他传感器阵列(例如,第一阵列392)可能足以实行涉及较低频信号的声学成像过程,并且在与阵列396相比时,可以使用其他传感器阵列,以便减少处理来自较少数量的声学传感器元件的信号的计算需求。因此,在一些示例中,高频传感器阵列可以嵌套在低频传感器阵列内。如本文中其他地方所述,这样的阵列通常可以单独地(例如,经由有源阵列之间的切换)或一起操作。

在基于用于分析的预期/期望频谱来选择适当的传感器阵列之外或作为其替代,在一些示例中,不同的传感器阵列可能更适合于在到目标场景的不同距离处实行声学成像过程。例如,在一些实施例中,如果声学传感器阵列与目标场景之间的距离很小,则与位于更中心的传感器元件相比,声学传感器阵列中的外部传感器元件可以接收到来自目标场景的明显不那么有用的声学信息。

另一方面,如果声学传感器阵列与目标场景之间的距离较大,则紧密间隔的声学传感器元件可能无法单独提供有用的信息。即,如果第一和第二声学传感器元件靠近在一起,并且目标场景通常在远处,则第二声学传感器元件可能不会提供与第一声学传感器元件在意义上不同的任何信息。因此,来自这样的第一传感器元件和第二传感器元件的数据流可能是冗余的,并且不必要地消耗了处理时间和用于分析的资源。

如本文中其他地方所述,除了影响哪些传感器阵列可能最适合于实行声学成像之外,到目标的距离还可以被用于实行反向传播,以用于根据所接收的声信号来确定声学图像数据。然而,除了作为对反向传播算法的输入值之外,到目标的距离可以被用来选择要使用的适当的反向传播算法。例如,在一些示例中,在远距离处,与声学传感器阵列的大小相比,球形传播的声波可以被近似为基本上是平面的。因此,在一些实施例中,当到目标的距离较大时,所接收的声信号的反向传播可以包括声学波束形成计算。然而,当更靠近声波的源时,声波的平面近似可能不合适。因此,可以使用不同的反向传播算法,诸如近场声全息术。

如所描述的,到目标的距离的度量可以在声学成像过程中以各种各样的方式使用,该声学成像过程诸如是确定(一个或多个)有源传感器阵列、确定反向传播算法、实行反向传播算法和/或将所得声学图像与电磁图像数据(例如,可见光、红外线等)进行配准。图7是示出了用于从所接收的声信号生成声学图像数据的示例性过程的过程流程图。

图7的过程包括:诸如经由用户接口、例如从距离测量设备或输入的距离信息接收距离信息(780)。该方法进一步包括以下步骤:基于所接收的距离信息来选择一个或多个声学传感器阵列以用于实行声学成像(782)。如所描述的,在各种示例中,所选择的(一个或多个)阵列可以包括单个阵列、多个阵列的组合,或者一个或多个阵列的部分。

图7的方法进一步包括以下步骤:基于所接收的距离信息来选择用于实行声学成像的处理方案(784)。在一些示例中,选择处理方案可以包括:选择用于从声信号生成声学图像数据的反向传播算法。

在选择了声学传感器阵列(782)和用于实行声学成像的处理方案(784)之后,该方法包括以下步骤:经由所选声学传感器阵列接收声信号(786)。然后使用距离和所选处理方案来反向传播所接收的声信号以确定声学图像数据(788)。

在各种实施例中,图7的步骤可以由用户、声学分析系统(例如,经由处理器212)或其组合来实行。例如,在一些实施例中,处理器可以被配置成经由距离测量工具和/或用户输入来接收距离信息(780)。在一些示例中,例如,如果到对象的距离是已知的和/或难以经由距离测量工具进行分析(例如,对象大小较小和/或到目标的距离较大等),则用户可以输入值以覆盖(override)所测量的距离以用作距离信息。处理器可以被进一步配置成基于所接收的距离信息,例如,使用查找表或其他数据库,自动选择用于实行声学成像的适当的声学传感器阵列。在一些实施例中,选择声学传感器阵列包括启用和/或禁用一个或多个声学传感器元件,以便获得期望的声学传感器阵列。

类似地,在一些示例中,处理器可以被配置成基于所接收的距离信息自动选择用于实行声学成像的处理方案(例如,反向传播算法)。在一些这样的示例中,这可以包括从存储在存储器中的多个已知处理方案中选择一个。附加地或替换地,选择处理方案可以等同于调整单个算法的各部分以获得期望的处理方案。例如,在一些实施例中,单个反向传播算法可以包括多个项和变量(例如,基于距离信息)。在一些这样的示例中,选择处理方案(784)可以包括在单个算法中定义一个或多个值,诸如调整一个或多个项的系数(例如,将各种系数设置为零或一等)。

因此,在一些实施例中,声学成像系统可以通过基于所接收的距离数据建议和/或自动实现所选声学传感器阵列和/或处理方案(例如,反向传播算法)来使声学成像过程的几个步骤自动化。这可以加速、改进和简化声学成像过程,从而消除了声学成像专家执行声学成像过程的要求。因此,在各种示例中,声学成像系统可以自动实现这样的参数、通知用户即将实现这样的参数、向用户请求许可来实现这样的参数、建议这样的参数以供用户手动输入等等。

此类参数(例如,处理方案、传感器阵列)的自动选择和/或建议对于相对于其他形式的图像数据、处理速度和声学图像数据的分析来优化声学图像数据的定位可能是有用的。例如,如本文中其他地方所述,准确的反向传播确定(例如,使用适当的算法和/或准确的距离度量)可以减少声学图像数据与其他(例如,电磁波,诸如可见光、红外线等)图像数据之间的视差误差。附加地,利用诸如可以由声学分析系统自动选择或建议的适当算法和/或传感器阵列可以优化热图像数据的准确性,从而允许对所接收的声学数据进行分析。

如所描述的,在一些示例中,声学分析系统可以被配置成基于所接收的距离信息自动选择用于实行声学成像过程的算法和/或传感器阵列。在一些这样的实施例中,系统包括例如存储在存储器中的查找表,用于确定要使用多个反向传播算法和声学传感器阵列中的哪个来确定声学图像数据。图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。

在图示的示例中,图8的查找表包括N列,每列表示不同的阵列:阵列1、阵列2,……,阵列N。在各种示例中,每个阵列包括所布置的声学传感器元件的唯一集合。不同的阵列可以包括被布置成格子的传感器元件(例如,图3C中的阵列392和阵列396)。查找表内的阵列还可以包括来自一个或多个此类格子的传感器元件的组合。一般而言,在一些实施例中,阵列:阵列1、阵列2,……,阵列N中的每一个对应于声学传感器元件的唯一组合。此类组合中的一些可以包括以特定格子布置的传感器元件的整个集合,或者可以包括以特定格子布置的传感器元件的子集。声学传感器元件的各种各样的组合中的任何一种都是用作查找表中的传感器阵列的可能选项。

图8的查询表进一步包括M行,每行表示不同的算法:算法1、算法2,……,算法M。在一些示例中,不同的算法可以包括用于对所接收的声音信号实行反向传播分析的不同过程。如本文中其他地方所述,在一些示例中,一些不同的算法可以彼此类似,同时具有用于修改反向传播结果的不同系数和/或项。

图8的示例性查找表包括M×N个条目。在一些实施例中,利用这种查找表的声学分析系统被配置成分析所接收的距离信息,并且将距离信息分类到M×N个分箱之一中,其中,每个分箱对应于图8的查找表中的条目。在这样的示例中,当声学分析系统接收到距离信息时,系统可以在查找表中找到与距离信息所在的分箱相对应的条目(i,j),并且确定适当的算法和传感器阵列以供在声学成像过程期间使用。例如,如果所接收的距离信息对应于与条目(i,j)相关联的分箱,则声学分析系统可以为声学成像过程自动利用或建议使用算法i和阵列j。

在各种这样的示例中,距离信息分箱可以对应于统一大小的距离范围,例如,第一分箱对应于一英尺内的距离,第二分箱对应于一英尺与两英尺之间的距离等等。在其他示例中,分箱不需要对应于统一大小的距离跨度。附加地,在一些实施例中,可以使用少于M×N个分箱。例如,在一些实施例中,可能存在从未供特定阵列(例如,Array y)使用的算法(例如,Algorithm x)。因此,在这样的示例中,在M×N查找表中将没有与条目(x,y)相对应的对应距离信息分箱。

在一些实施例中,对经填充的距离分箱的统计分析可以被用于识别目标场景内的最普通的距离或距离范围。在一些这样的实施例中,具有最高数量的对应位置(例如,具有声信号的最高数量的位置)的距离分箱可以被用作图7的过程中的距离信息。即,在一些实施例中,可以基于对目标场景中各种对象的距离分布的统计分析来实现和/或推荐所利用的声学传感器阵列和/或处理方案。这可以增加被用于对场景进行声学成像的传感器阵列和/或处理方案适合于声学场景内的最大数量的位置的可能性。

附加地或替换地,除了距离信息之外的参数可以被用来选择适当的传感器阵列和/或处理方案以在生成声学图像数据时使用。如本文中其他地方所述,各种传感器阵列可以被配置成对某些频率和/或频带是敏感的。在一些示例中,可以根据不同的声信号频率内容来类似地使用不同的反向传播计算。因此,在一些示例中,一个或多个参数可以被用来确定处理方案和/或声学传感器阵列。

在一些实施例中,声学分析系统可以被用来初始地分析所接收的声信号处理/分析的各种参数。往回参照图7,用于生成声学图像数据的方法可以包括以下步骤:在接收到声信号之后(786),分析所接收的信号的频率内容(790)。在一些这样的示例中,如果已经选择了(一个或多个)声学传感器阵列和/或处理方案(例如,分别经由步骤782和/或784进行),则该方法可以包括以下步骤:例如基于所分析的频率内容来更新(一个或多个)所选阵列和/或更新所选处理方案(792)。

在更新了(一个或多个)传感器阵列和/或处理方案之后,该方法可以使用经更新的参数来实行各种动作。例如,如果基于所分析的频率内容(790)更新了(一个或多个)所选传感器阵列(792),则可以从(最近)所选声学传感器阵列接收新的声信号(786),然后可以将该声信号反向传播以确定声学图像数据(788)。替换地,如果在792处更新了处理方案,则可以根据经更新的处理方案来反向传播已经捕获的声信号,以确定经更新的声学图像数据。如果处理方案和(一个或多个)传感器阵列两者都被更新,则可以使用经更新的传感器阵列来接收新的声信号,并且可以根据经更新的处理方案来反向传播新的声信号。

在一些实施例中,声学分析系统可以接收频率信息(778)而不分析所接收的声信号的频率内容(790)。例如,在一些示例中,声学分析系统可以接收关于期望或预期的频率范围的信息以用于将来的声学分析。在一些这样的示例中,期望或预期的频率信息可以被用来选择一个或多个传感器阵列和/或最适合该频率信息的处理方案。在一些这样的示例中,选择(一个或多个)声学传感器阵列(782)和/或选择处理方案(784)的(一个或多个)步骤可以除了所接收的距离信息之外或作为其替代而基于所接收的频率信息。

在一些示例中,可以例如经由声学分析系统的处理器(例如,210)来分析所接收的声信号(例如,经由声学传感器元件接收的声信号)。这样的分析可以被用来确定声信号的一个或多个属性,诸如频率、强度、周期性、表观接近度(apparent proximity)(例如,基于所接收的声信号估计的距离)、测量的接近度或其任何组合。在一些示例中,可以对声学图像数据进行滤波,例如,以仅示出表示具有特定频率内容、周期性等等的声信号的声学图像数据。在一些示例中,可以同时应用任何数量的这种滤波器。

如本文中其他地方所述,在一些实施例中,可以随着时间的推移捕获一系列声学图像数据帧,这类似于声学视频数据。附加地或替换地,即使没有重复地生成声学图像数据,但在一些示例中,也对声信号进行重复地采样和分析。因此,在有或没有重复的声学图像数据生成(例如,视频)的情况下,可以随着时间的推移监视声学数据的参数(诸如频率)。

图9A是在声学场景中随时间的推移所接收的图像数据的频率内容的示例性标绘图。如所示的,图9A的标绘图所表示的声学场景通常包括四个随时间的推移持久不变的频率,被标记为频率1、频率2、频率3和频率4。可以例如使用快速傅立叶变换(FFT)或其他已知的频率分析方法、经由处理所接收的声音信号来确定频率数据,诸如目标场景的频率内容。

图9B示出了包括发射声信号的多个位置的示例性场景。在图示的图像中,声学图像数据与可见光图像数据进行组合,并且示出了在位置910、920、930和940处存在的声信号。在一些实施例中,声学分析系统被配置成显示属于任何检测到的频率范围的声学图像数据。例如,在示例性实施例中,位置910包括含有频率1的声学图像数据,位置920包括含有频率2的声学图像数据,位置930包括含有频率3的声学图像数据,并且位置940包括含有频率4的声学图像数据。

在一些这样的示例中,显示代表频率范围的声学图像数据是一种可选择的操作模式。类似地,在一些实施例中,声学分析系统被配置成显示代表仅在预定频带内的频率的声学图像数据。在一些这样的示例中,显示表示预定频率范围的声学图像数据包括:选择一个或多个声学传感器阵列,用于接收从中生成声学图像数据的声信号。这样的阵列可以被配置成接收选择性的频率范围。类似地,在一些示例中,可以采用一个或多个滤波器来限制被用来生成声学图像数据的频率内容。附加地或替换地,在一些实施例中,仅在声学图像数据满足预定条件(例如,落入预定频率范围内)的情况下,才可以分析并且在显示器上示出包括代表广泛的频率范围的信息的声学图像数据。

图9C示出了在多个预定义的频率范围处的多个所组合的声学和可见光图像数据。第一图像包括在第一位置910处的声学图像数据,该第一位置910包括频率1的频率内容。第二图像包括在第二位置920处的声学图像数据,该第二位置920包括频率2的频率内容。第三图像包括在第三位置930处的声学图像数据,该第三位置930包括频率3的频率内容。第四图像包括在第四位置940处的声学图像数据,该第四位置940包括频率4的频率内容。

在示例性实施例中,用户可以选择各种频率范围,诸如包括频率1、频率2、频率3或频率4的范围,以用于对代表了除了所选频率范围之外的频率内容的声学图像数据进行滤波。因此,在这样的示例中,由于用户选择了期望的频率范围,因此可以显示第一、第二、第三或第四图像中的任何图像。

附加地或替换地,在一些示例中,声学分析系统可以在多个显示图像之间循环,每个显示图像具有不同的频率内容。例如,关于图9C,在示例性实施例中,声学分析系统可以按顺序显示第一、第二、第三和第四图像,诸如图9C中的箭头所示。

在一些示例中,显示图像可以包括代表了在图像中显示的频率内容的文本或其他显示,使得用户可以观察图像中的哪些位置包括代表某些频率内容的声学图像数据。例如,关于图9C,每个图像可以示出在声学图像数据中表示的频率的文本表示。关于图9B,示出多个频率范围的图像可以包括在每个位置处的频率内容的指示,包括声学图像数据。在一些这样的示例中,用户可以例如经由用户界面来选择图像中的位置,对于该位置,要在声学场景中查看在该位置处存在的频率内容。例如,用户可以选择第一位置910,并且声学分析系统可以呈现第一位置的频率内容(例如,频率1)。因此,在各种示例中,用户可以使用声学分析系统以便分析声学场景的频率内容,这诸如通过查看场景中的什么地方对应于特定频率内容、和/或通过查看在各种位置存在什么频率内容来进行。

在示例性声学成像操作期间,按频率对声学图像数据进行滤波可以帮助减少例如来自背景或其他不重要声音的图像混乱。在示例性声学成像过程中,用户可能希望消除背景声音,诸如工业环境中的噪底。在一些这样的情况下,背景噪声可能主要包括低频噪声。因此,用户可以选择示出代表大于预定频率(例如,10 kHz)的声信号的声学图像数据。在另一示例中,用户可能希望分析通常在某个范围内发射声信号的特定对象,诸如从传输线发出的电晕放电(例如,如图5A-D5所示)。在这样的示例中,用户可以选择特定的频率范围(例如,对于电晕放电而言在11 kHz与14 kHz之间)来进行声学成像。

在一些示例中,声学分析系统可以被用来分析和/或呈现与所接收的声信号的强度相关联的信息。例如,在一些实施例中,反向传播所接收的声信号可以包括确定在声学场景中的多个位置处的声强度值。在一些示例中,类似于上述频率,仅在声信号的强度满足一个或多个预定要求的情况下,声学图像数据才被包括在显示图像中。

在各种这样的实施例中,显示图像可以包括代表高于预定阈值(例如,15 dB)的声信号、低于预定阈值(例如,100 dB)的声信号、或预定强度范围(例如,15 dB与40 dB之间)内的声信号的声学图像数据。在一些实施例中,阈值可以基于对声学场景的统计分析,诸如高于或低于与平均声强度的标准偏差。

类似于上面关于频率信息所描述的,在一些实施例中,限制声学图像数据表示满足一个或多个强度要求的声信号可以包括对所接收的声信号进行滤波,使得仅满足预定条件的所接收的信号被用来生成声学图像数据。在其他示例中,对声学图像数据进行滤波来调整哪些声学图像数据被显示。

附加地或替换地,在一些实施例中,可以随时间的推移监视声学场景内位置处的声强度(例如,结合视频声学图像表示或经由背景分析,而不必更新显示图像)。在一些这样的示例中,用于显示声学图像数据的预定要求可以包括图像中某个位置处的声强度的变化量或变化率。

图10A和10B是包括所组合的可见光图像数据和声学图像数据的示例性显示图像。图10A示出了包括在多个位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出的、包括声学图像数据的显示图像。在一些示例中,强度值可以被调色,例如,其中,基于预定调色方案来为声强度值分配颜色。在示例性实施例中,可以根据强度范围(例如,10 dB–20 dB、20 dB–30 dB等)对强度值进行分类。根据调色方案,每个强度范围可以与特定颜色相关联。声学图像数据可以包括多个像素,其中,每个像素以与声学图像数据的像素所表示的强度落入其中的强度范围相关联的颜色进行着色。除了按颜色进行区分之外或作为其替代,可以根据其他属性来区分开不同的强度,该属性诸如是透明度(例如,在将声学图像数据叠加到其他图像数据上的图像叠加中)等等。

附加的参数也可以被调色,诸如声强度的变化率。类似于强度,变化的声强度的变化率可以被调色,使得表现出不同的声强度变化率和/或声强度变化量的场景部分以不同的颜色显示。

在图示的示例中,根据强度调色板对声学图像数据进行调色,使得代表不同的声信号强度的声学图像数据以不同的颜色和/或阴影示出。例如,位置1010和1030处的声学图像数据示出了第一强度的托盘化表示,位置1040、1060和1080示出了第二强度的托盘化表示,而位置1020、1050、1070和1090示出了第三强度的托盘化表示。如图10A中的示例性表示所示,示出了声学图像数据的调色表示的每个位置示出了具有从中心向外延伸的颜色梯度的圆形图案。这可能是由于随着信号从声信号源传播所致的声强度衰减。

在图10A的示例中,将声学图像数据与可见光图像数据进行组合以生成显示图像,该显示图像可以例如经由显示器呈现给用户。用户可以查看图10A的显示图像,以便查看可见场景中的哪些位置正在产生声信号,以及这种信号的强度。因此,用户可以快速且容易地观察正在产生声音的位置,并且比较来自场景中的各种位置的声音的强度。

类似于关于本文中其他地方的频率所描述的,在一些实施例中,仅在对应的声信号满足预定强度条件的情况下,才可以呈现声学图像数据。图10B示出了类似于图10A的显示图像的示例性显示图像,并且其包括可见光图像数据和表示高于预定阈值的声信号的声学图像。如所示的,在包括声学图像数据的图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090中,仅位置1020、1050、1070和1090包括表示满足预定条件的声信号的声学图像数据。

在示例性场景中,图10A可以包括在位置1010-990中的每一个位置处高于噪底阈值的所有声学图像数据,而图10B示出了与图10A相同的场景,但是其仅示出了具有大于40dB的强度的声学图像数据。这可以帮助用户识别环境中(例如,在图10A和图10B的目标场景中)的哪些声音源正在贡献某些声音(例如,场景中最响亮的声音)。

如本文中其他地方所述,除了直接与强度阈值(例如,40 dB)进行比较之外或作为其替代,在一些这样的示例中,用于显示声学图像数据的预定要求可以包括图像中的某个位置处的声强度的变化量或变化率。在一些这样的示例中,仅在给定位置处的声强度的变化率或变化量满足预定条件(例如,大于阈值、小于阈值、预定范围内等)的情况下,才可以呈现声学图像数据。在一些实施例中,声强度的变化量或变化率可以被调色并且被显示为强度声学图像数据、或与强度声学图像数据结合显示。例如,在示例性实施例中,当变化率被用作用来确定哪些位置包括声学图像数据的阈值时,声学图像数据可以包括用于显示的经调色的强度变化率度量。

在一些示例中,用户可以手动设置针对要显示的声学图像数据的强度要求(例如,最小值、最大值、范围、变化率、变化量等)。如本文中其他地方所讨论的,包括仅满足强度要求的声学图像数据可以在声学图像数据生成期间实现(例如,经由对所接收的声信号进行滤波),和/或可以通过不显示表示不符合(一个或多个)设定要求的声信号的所生成的声学图像数据来实行。在一些这样的示例中,可以在已经捕获了声学图像数据和可见光图像数据、并且将其存储在存储器中之后,实行根据强度值对显示图像进行滤波。即,存储在存储器中的数据可以被用来生成包括任何数量的滤波参数的显示图像,诸如仅示出满足预定义的强度条件的声学图像数据等等。

在一些示例中,设置声学图像中的强度下限(例如,仅显示代表高于预定强度的声信号的声学图像数据)可以消除对来自声学图像数据的不期望的背景或环境声音和/或声音反射的包括。在其他情况下,设置声学图像中的强度上限(例如,仅显示代表低于预定强度的声信号的声学图像数据)可以消除在声学图像数据中对预期的响亮声音的包括,以便观察通常会被这样的响亮声音掩盖的声信号。

几种显示功能是可能的。例如,类似于关于图9C所讨论的频率分析/显示,在一些示例中,声学分析系统可以循环通过多个显示图像,每个显示图像示出了满足不同强度要求的声学图像数据。类似地,在一些示例中,用户可以滚动一系列声强度范围,以便查看声学图像数据中具有在给定范围内的声强度的位置。

可以被用来分析声学数据的另一个参数是声信号的周期性值。图11A和11B示出了声学场景中声学数据的频率比对时间的示例性标绘图。如图11A的标绘图所示,声学数据包括:具有第一周期性的频率为X的信号、具有第二周期性的频率为Y的信号以及具有第三周期性的频率为Z的信号。在图示的示例中,具有不同频率的声信号还可以在声信号中包括不同的周期性。

在一些这样的示例中,除了频率内容之外或作为其替代,可以基于周期性来对声信号进行滤波。例如,在一些示例中,声学场景中的多个声信号源可以产生特定频率下的声信号。如果用户希望隔离一个这样的声源以进行声学成像,用户可以基于与声学数据相关联的周期性来选择在最终显示图像中包括声学图像数据、或从最终显示图像中排除声学图像数据。

图11B示出了声信号的频率比对时间的标绘图。如所示的,频率随时间的推移近似线性地增加。然而,如所示的,该信号包括随时间的推移近似恒定的周期性。因此,取决于所选显示参数,这样的信号可能会或可能不会出现在声学图像中。例如,信号可能在某些时间点满足被显示的频率标准,但是在其他时间点,则在所显示的频率范围之外。然而,用户可以基于信号的周期性来选择在声学图像数据中包括这样的信号或从声学图像数据中排除这样的信号,而与频率内容无关。

在一些示例中,提取具有特定周期性的声信号可以有助于分析目标场景的特定部分(例如,通常以特定的周期性进行操作的特定的设备件或设备类型)。例如,如果关注的对象以某个周期性(例如,每秒一次)进行操作,则排除具有与此不同的周期性的信号可以改进对关注的对象的声学分析。例如,参照图11B,如果关注的对象以周期性4进行操作,则隔离具有周期性4的信号以进行分析可以产生对关注的对象的经改进的分析。例如,关注的对象可以发射具有周期性4、但是频率增加的声音,诸如图11B所示。这可能意味着对象的属性可能正在改变(例如,增加的扭矩或负载等),并且应该进行检查。

在示例性声学成像过程中,背景噪声(例如,工业环境中的噪底、室外环境中的风等)通常不是周期性的,而场景中的某些关注的对象发射周期性的声信号(例如,以定期间隔进行操作的机械)。因此,用户可以选择从声学图像中排除非周期性声信号,以便去除背景信号,并且更清楚地呈现关注的声学数据。在其他示例中,用户可能正在寻找恒定音调源,并且因此用户可以选择从声学图像数据中排除可能会使对恒定音调的查看模糊不清的周期信号。一般而言,用户可以选择在声学图像数据中包括高于某个周期性、低于某个周期性或在期望的周期性范围内的声信号。在各种示例中,可以通过周期性信号之间的时间长度或者周期性信号的出现频率来识别周期性。类似于图11B中所示的频率,对处于给定周期性的强度的分析(例如,由于关注的对象以该周期性进行操作)可以类似地被用来跟踪来自对象的声信号如何随时间的推移进行变化。一般而言,在一些实施例中,周期性可以被用来对诸如频率、强度等等的各种各样的参数实行变化率分析。

如本文中其他地方所述,在一些示例中,目标场景的各个部分可以与到声学成像传感器的不同距离相关联。例如,在一些实施例中,距离信息可以包括关于场景中的各个部分的三维深度信息。附加地或替换地,用户可能能够测量(例如,利用激光距离工具)或手动输入与场景中的多个位置相关联的距离值。在一些示例中,用于场景的各个部分的这种不同的距离值可以被用来调整在这样的位置处的反向传播计算,以适应该位置处的特定距离值。

附加地或替换地,如果场景的不同部分与不同的距离值相关联,则与声学传感器阵列的接近度(例如,测量的接近度和/或表观接近度)可以是这样的部分之间的另一个可区分的参数。例如,关于图10B,位置1020、1050、1070和1090均与不同的距离值相关联。在一些示例中,类似于本文中其他地方所讨论的频率或周期性,用户可以选择特定距离范围,根据该特定距离范围来在显示器上包括声学图像数据。例如,用户可以选择仅显示代表比预定距离更靠近、比预定距离更远或在预定距离范围内的声信号的声学图像数据。

此外,在一些实施例中,类似于关于图9C中的频率所描述的那样,声学分析系统可以被配置成循环通过多个距离范围,从而仅示出表示从目标场景中满足当前距离范围的位置发射的声信号的声学图像数据。这样的循环通过各种显示器可以帮助用户在视觉上区分不同声信号之间的信息。例如,在一些情况下,对象可能看起来与来自相关联的电磁成像工具(例如,可见光相机模块)的视线靠在一起,并且因此与这种对象的电磁图像数据进行组合的声学图像数据可能是难以区分的。然而,如果对象按深度差分开,则循环通过声学图像数据的不同深度范围可以被用来将每个声学数据源彼此隔离。

一般而言,声学分析系统可以被配置成应用各种设置,以便包括和/或排除代表满足一个或多个预定义的参数的声信号的声学图像数据。在一些示例中,声学分析系统可以被用来选择声信号必须满足的多个条件,以便例如在显示图像中显示代表这样的信号的声学图像数据。

例如,关于图10A和10B,仅在图10B中示出了图10A的场景中高于阈值强度的声信号。然而,附加的或替换的限制是可能的。例如,在一些实施例中,用户可以附加地对声学图像数据进行滤波,使得仅针对具有在预定频率范围内的频率内容和/或具有预定周期性的声信号示出声学图像数据。在示例性实施例中,限于关注的预定频率和/或周期性,可以从诸如1020和1090之类的附加位置消除声学图像数据。

一般而言,用户可以应用任何数量的声学数据要求,以在显示图像中包括声学图像数据或从显示图像排除声学图像数据,包括以下参数,诸如强度、频率、周期性、表观接近度、测量的接近度、声压、粒子速度、粒子位移、声功率、声能、声能密度、声音暴露、音调(pitch)、幅度、耀度(brilliance)、谐波、任何此类参数的变化率等等。附加地,在一些实施例中,用户可以使用诸如“与(AND)”、“或(OR)”、“异或(XOR)”等的任何适当的逻辑组合来将要求进行组合。例如,用户可能希望仅显示具有(强度高于预定阈值)AND(频率在预定范围内)的声信号。

附加地或替换地,声学分析系统可以被配置成循环通过一个或多个参数范围,以图示目标场景的不同部分,诸如关于在图9C中循环通过多个频率所示出的。一般而言,可以以这样的方式循环通过一个或多个参数。例如,参数(例如,强度)可以被分成多个范围(例如,10 dB–20 dB和20 dB–30 dB),并且声学分析系统可以循环通过这样的范围,显示落入第一范围内的所有声学图像数据,然后是落入第二范围内的所有声学图像数据,等等。

类似地,在一些实施例中,声学分析系统可以被配置成通过循环通过嵌套的范围来将参数要求进行组合。例如,在示例性实施例中,可以显示满足了第一强度范围AND第一频率范围的声学图像数据。可以循环通过所显示的频率范围,同时将所显示的声学图像数据限制成满足第一强度范围的声信号。在循环通过频率范围之后,可以将强度范围更新为第二强度范围,使得所显示的声学图像数据满足第二强度范围和第一频率范围。类似于并入第一强度范围的过程,可以在维持第二强度范围的同时类似地循环通过频率范围。该过程可以继续进行,直到已经满足频率范围和强度范围的所有组合为止。可以对多个参数中的任何参数实行类似的此类过程。

附加地或替换地,在一些实施例中,声学分析系统可以被配置成识别和区分声学场景中的多个声音。例如,关于图9B,声学分析系统可以被配置成识别在位置910、920、930和940处的四个离散声音。该系统可以被配置成循环通过多个显示器,每个显示器示出在单个离散位置处的声学图像数据,类似于图9C所示的那样,尽管并不一定取决于任何参数值。类似地,可以在一个或多个参数要求限制了所显示的声学图像数据之后,实行在各个位置处的声学图像数据之间的这种循环。

例如,关于图10A和图10B,在应用强度阈值之前,声学分析系统可以循环通过多个声学图像场景(例如,作为包括具有可见光图像数据的声学图像场景的显示图像),其中,每个场景包括在单个位置处的声学图像数据。在一些实施例中,根据图10A的所图示的示例,具有10个单独图像的循环,每个图像包括在位置1010、1020、1030、1040、1050、1060、1070、1080和1090中的不同位置处的图像数据。然而,根据一些实施例,在应用了强度滤波器使得仅显示具有大于阈值的强度的位置之后(例如,如图10B中那样),声学分析系统可以更新循环过程,以仅循环通过与满足滤波阈值的位置相对应的图像。即,关于图10B,循环过程可以进行更新,以仅在四个图像之间循环,每个图像示出了分别在位置1020、1050、1070和1090的离散声学图像数据。

因此,在各种实施例中,在多个循环通过的显示图像之一中示出了目标场景中包括声学图像数据的每一个位置,这是在应用一个或多个滤波器以限制示出哪些声学图像数据之前或之后的。各个声源位置的这种循环显示可以帮助用户查看图像以识别特定声音的源。在一些实施例中,循环中的每个图像仅包括单个声学数据源,并且在一些这样的实施例中,进一步包括声学数据的一个或多个参数,诸如频率内容、强度、周期性、表观接近度等等。

除了在示出满足某些条件的声学图像数据的图像之间进行循环之外或作为其替代,在一些示例中,可以在声学图像数据中检测声信号源的位置,并且可以与其他声信号隔离地在声学图像数据中显示声信号源的位置。例如,关于图10A,在一些实施例中,可以识别并且循环通过代表从位置1010-990中的每一个发出的声信号的声学图像数据。例如,在示例性操作过程中,可以自动地或在用户的指导下循环通过位置1010-990之一处的包括声学图像数据的显示图像,以用于单独地分析每个声信号源。在各种实施例中,在循环的同时显示声学图像数据的不同位置的次序可以取决于各种各样的参数,诸如按照位置、接近度、强度、频率内容等等。

附加地或替换地,在一些示例中,来自各个位置的声学图像数据可以在应用一个或多个滤波器以仅隔离满足一个或多个预定条件的声学图像数据之后被循环通过。例如,关于图10B,位置1020、1050、1070和1090被示为包括表示满足预定强度要求的声信号的声学图像数据。在一些实施例中,可以将这样的显示要求应用于对声信号的源位置的各个循环通过。例如,进一步参照图10B,显示图像包括仅来自满足声强度条件的位置1020、1050、1070和1090之一的图像数据,该显示图像可以被循环通过以用于在每个位置处的各个分析。

在参照图10A和图10B的示例性过程中,从场景收集的声学图像数据可以通常在图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出。这样的位置可以包括代表具有各种各样声学参数的声信号的声学图像数据,该声学参数诸如是各种各样的强度、频率内容、周期性等等。

如本文中其他地方所述,用户可能希望隔离具有一个或多个特定声学参数的声信号,诸如具有最小声强度的声信号。可以从图像中排除表示不满足此类条件的声信号的声学图像数据,例如,如图10B所示,留下位置1020、1050、1070和1090处的声学图像数据。然而,用户可能希望进一步识别满足显示条件(例如,具有高于阈值的强度)的特定声音的源。因此,用户可以选择一个接一个地显示与位置1020、1050、1070和1090相关联的声学图像数据,以便查看每个声音的源位置并且单独地分析每个声音。在各种实施例中,用户可以选择手动地循环通过这样的位置,或者处理器可以自动更新显示图像以顺序显示各个位置的声学图像数据。这可以帮助用户进一步消除和忽略并不是关注的、但是碰巧满足被应用于图像的一个或多个滤波参数的声信号。

尽管关于强度和图10A和10B进行了描述,一般而言,包括来自从多个位置中选择的单个位置的声学图像数据的显示图像可以被一个接一个地循环通过以用于进行单独分析。包括代表性声学图像数据的多个位置可以是与声学场景中的声信号源相对应的整个位置集合,或者可以是此类位置的子集,例如,仅包括具有满足一个或多个条件的声信号的位置。这样的条件可以取决于任何一个或多个声学参数,诸如强度、频率内容、周期性、接近度等等,并且可以基于低于预定值、高于预定值、或在值的预定范围内的各种参数来满足。

在各种示例中,可以以各种各样的方式来完成修改显示图像以在显示图像中选择性地包括声学图像数据。在一些实施例中,显示图像(例如,包括电磁图像数据和声学图像数据)可以是实时图像,其中电磁图像数据和声学图像数据被连续更新以反映场景中的变化。在一些示例中,当使用某些条件来确定在显示图像中是否包括声学图像数据时,分析所接收的声信号来确定是否要在经更新的实时图像中的各种位置处包括声学图像数据。即,随着基于最近接收的声信号和电磁辐射生成了新的显示图像,显示图像的构造可以取决于对声信号的分析,以确定哪些声信号满足置于显示图像上的任何特定条件(例如,强度阈值等)。然后可以根据这样的条件、仅在适当的情况下生成包括声学图像数据的显示图像。

在其他示例中,显示图像可以从存储在存储器中的数据生成,诸如先前捕获的声学数据和电磁图像数据。在一些这样的示例中,关于要置于声学图像数据上的各种条件来分析先前获取的声学数据,并且在先前捕获的声学数据满足此类条件的位置中将其与电磁图像数据进行组合。在这样的实施例中,可以以许多方式来查看单个场景,例如,通过分析不同的声学参数来查看。可以基于置于显示图像上的针对是否在显示图像中的各种位置中包括声学图像数据的任何经更新的条件来更新代表先前捕获的声学图像数据的显示图像。

在一些实施例中,被用来在显示图像中选择性地包括声学图像数据的一个或多个声学参数可以被用来修改显示图像和/或图像捕获技术。例如,在实时成像示例中,用于确定在显示中是否包括声学图像数据的各种条件可以包括到目标的距离(例如,表观距离或测量的距离)和/或频率内容。如本文中的其他地方所描述的,一些这样的参数可以被用于选择声学传感器阵列和/或用于生成声学图像数据的处理方案。因此,在一些这样的示例中,当仅基于满足一个或多个预定条件的此类参数来表示声学图像数据时,可以基于此类条件来选择声学传感器阵列和/或处理方案以用于生成声学图像数据。

例如,在示例性实施例中,如果声学图像数据仅被包括在以下位置中的实时图像中,在这些位置处,对应的声信号包括第一频率范围内的频率内容,则可以选择一个或多个声学传感器阵列以用于获取最适合第一频率范围的声信号。类似地,如果声学图像数据仅被包括在以下位置处的实时图像中,在这些位置处,声信号源在第一距离范围内,则可以选择一个或多个声学传感器阵列,以用于获取最适合在第一距离范围内进行声学成像的声信号。附加地或替换地,如例如参照图6所描述的,可以基于期望的频率或距离条件来选择用于生成声学图像数据的处理方案。这样的(一个或多个)所选声学成像传感器阵列和处理方案可以随后被用来接收声信号,并且生成用于经更新的实时显示图像的声学图像数据,以便优化所包括的声学图像数据。

类似地,在其中从先前存储在存储器中的历史数据生成显示图像的一些实施例中,确定在显示图像中的哪些位置包括声学图像数据的各种条件可以被用来更新代表声学场景的声学图像数据。例如,在一些实施例中,被存储在存储器中的数据包括从接收到声信号的时间起由(一个或多个)声学传感器阵列接收的原始声学数据。基于用于确定在显示图像中的各种位置(例如,期望的距离和/或频率范围)处是否包括声学图像数据的条件,可以选择处理方案(例如,反向传播算法)来供存储在存储器中的原始数据使用,以用于生成要显示的、对于期望的参数进行优化的声学图像数据。

将领会的是,尽管通常使用可见光图像数据和声学图像数据进行描述和示出,但是参照图9A-C、10A和10B所描述的过程可以被使用,其包括各种各样电磁图像数据中的任何图像数据。例如,在各种实施例中,可以利用红外图像数据或紫外图像数据代替可见光图像数据来实行类似的过程。附加地或替换地,可以在这样的过程中使用电磁波谱的组合,诸如混合红外图像数据和可见光图像数据。一般而言,在各种示例中,可以结合电磁图像数据的任何组合选择性地示出声学图像数据(例如,当对应的声信号满足一个或多个预定参数时包括的声学图像数据)。

在一些实施例中,声学分析系统被配置成将一个或多个声信号和/或声学图像数据存储在数据库中(例如,在本地存储器中)和/或可从外部或远程设备访问。这样的声信号可以包括:代表正常操作期间的声学场景的声学图像数据、和/或与声学场景相关联的其他参数,诸如频率数据、强度数据、周期性数据等等。在各种示例中,数据库场景可以包括代表宽泛场景(例如,工厂)和/或更具体的场景(例如,特定对象)的声学图像数据和/或其他声学参数(例如,强度、频率、周期性等)。

在一些实施例中,数据库场景可以是特定类型的设备(诸如特定设备型号)通用的。附加地或替换地,即使不同的此类对象是同一对象的不同实例(例如,具有相同型号的两个单独的机器),数据库场景也可以特定于单个对象。类似地,数据库场景可以更具体,例如,包括对象的特定操作状态。例如,如果特定对象具有多种操作模式,则数据库可以包括具有这种对象的多个场景,针对每一种操作模式有一个场景。

在各种实施例中,数据库场景可以是单个声学图像和/或相关联的声学参数。在其他示例中,数据库场景可以包括由多个先前捕获的声学图像和/或相关联的参数形成的合成数据。一般而言,数据库场景(例如,声学图像和/或参数)可以包括场景在正常操作期间的声学表示。在一些示例中,数据库可以包括与场景相关联的其他元素,例如诸如对应的可见光图像、红外图像、紫外图像或其组合。在一些实施例中,可以类似于在2016年6月23日提交的且题为“THERMAL ANOMALY DETECTION”的美国专利申请号15/190,792中描述的红外图像数据的数据库生成和比较来实行数据库生成和/或比较,该美国专利申请被转让给本申请的受让人,并且通过引用整体地并入本文中。在一些实施例中,可以通过在场景内的对象在正确地操作的同时捕获场景的声学图像数据和/或一个或多个相关联的声学参数(例如,频率、强度、周期性等)来生成数据库。在一些这样的示例中,用户可以标记所捕获的数据库图像以将图像与一个或多个对象、位置、场景等等相关联,使得将来可以识别所捕获的声学图像和/或(一个或多个)相关联的参数以用于数据库分析和比较。

可以将最近生成的声学图像数据与数据库中存储的声学图像数据进行比较,以确定声学场景的声学轮廓是否在典型的操作标准之内。附加地或替换地,可以将来自实况声学场景和/或最近生成的声学图像的声学参数(诸如强度、频率、周期性等等)与数据库中的相似参数进行比较。

可以以多种方式来进行将当前声学图像数据与存储在数据库中的历史声学图像数据(例如,先前捕获的图像、从多个先前捕获的图像生成的合成图像、工厂提供的预期图像等)进行比较。图12A-12C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多种示例性方式。图12A示出了声学成像工具1200,其包括具有声学视场1212的声学传感器阵列1202和具有电磁视场1214的电磁成像工具1204。如所示的,电磁视场1214和声学视场1212包括目标场景1220,该目标场景1220包括关注的对象1222。在一些实施例中,声学成像工具1200被永久地固定在某个位置中,使得关注的对象1222处于电磁视场1214和声学视场1212中。在一些实施例中,声学成像工具1200可以经由感应或寄生功率来供电、可以被连线到建筑物中的AC主电源中、或者被配置成连续地监视对象1222。

固定声学成像工具1200可以被配置成周期性地捕获对象1222的声学和/或电磁图像数据。因为声学成像工具1200通常被固定在适当的位置,所以在不同时间捕获的图像将近似来自同一优势点。在一些示例中,可以将经由声学成像工具1200捕获的声学图像数据与代表近似同一场景的声学图像数据的数据库进行比较,例如,以检测声学场景中的反常或异常。例如,这可以如美国专利申请号15/190,792中所述的那样来实行,该美国专利申请通过引用而并入。

图12B示出了例如在手持式声学成像工具上的示例性显示。显示器1230包括两个部分——1232和1234。在图示的示例中,部分1234示出了关注对象的数据库图像1244,而部分1232包括对象的实时声学图像数据的实况显示1242。在这样的并排视图中,用户可以将实况图像1242与数据库图像1244进行比较,以便查看典型的声信号(例如,如数据库图像1244中所示的)与当前实时图像1242之间的任何差异。类似地,用户可以比较实况图像1242是否近似匹配数据库图像1244。如果是这样,则用户可以捕获实况声学图像以用于进一步分析和/或与数据库图像1244进行比较。

图12C示出了例如在手持式声学成像工具上的另一示例性显示。图12C的显示器1250示出了在同一显示器1252上的数据库图像1254和实况图像1256。在图12C的示例中,用户可以类似地将实况图像1256中的声学图像数据与数据库图像1254中的声学图像数据进行比较,以便查看差异。附加地,用户可以调整声学成像工具的对准,以便将实况图像1256中的对象与数据库图像1254中的对象对准,以用于另外的分析和比较。

作为图12A-12C中的过程的结果,可以将实况和/或近期捕获的声学图像与诸如来自数据库的先前的声学图像数据进行比较。在一些示例中,这样的过程可以被用来将实况和/或近期捕获的声学图像与数据库图像进行配准,以用于自动化比较。在2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请号13/331,633中、2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRAREDREPHOTOGRAPHY”的美国专利申请号13/331,644和2011年12月23日提交的且题为“THERMALIMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请号13/336,607中描述了可以被用来从类似的优势点“重新捕获”声学图像数据作为数据库图像的其他过程,这些美国专利申请中的每一个都被转让给本申请的受让人并且通过引用整体地并入。

将实时声学图像数据和/或声学特征与可比较的场景/对象的对应声学图像和/或声学特征进行比较可以被用来提供对场景/对象的操作状态的快速且简化的分析。例如,比较可以指示声学场景内的某些位置正在发射具有与典型操作期间不同的强度或频谱的声信号,这可以指示问题。类似地,场景中的位置可能正在发射通常是无声的声信号。附加地或替换地,来自数据库的实况场景和历史场景的总体声学特征的比较可以通常指示场景中的声学参数的变化,该声学参数诸如是频率内容、声强度等等。

在一些示例中,声学分析系统被配置成将近期/实时声学场景与数据库进行比较。在一些实施例中,声学分析系统被配置成表征近期/实时场景与数据库场景之间的差异,并且基于该比较来诊断当前场景中的一个或多个可能的问题。例如,在一些实施例中,用户可以预先选择关注的对象或目标场景,以与声学数据库进行比较。声学分析系统可以基于所选对象/场景,将数据库图像和/或其他参数与近期/当前图像和/或其他参数进行比较来分析场景。基于从数据库中选择的对象/场景,声学分析系统可能能够识别数据库图像/参数与近期/当前图像/参数之间的一个或多个差异,并且将识别出的(一个或多个)差异与一个或多个差异的可能原因相关联。

在一些示例中,可以利用多个诊断信息对声音分析系统进行预编程,例如,将数据库图像/参数和近期/当前图像/参数之间的各种差异与可能原因和/或原因的解决方案相关联。附加地或替换地,用户可以例如从诊断数据的存储库中加载这样的诊断信息。这样的数据可以例如由声学分析系统的制造商、关注的对象的制造商等等来提供。在仍另外的示例中,声学分析系统可以例如经由一个或多个机器学习过程来附加地或替换地学习诊断信息。在一些这样的示例中,用户可以在观察到场景与典型场景的声学偏差之后诊断目标场景中的一个或多个问题,并且可以将代表该一个或多个问题和/或一个或多个解决方案的数据输入到声学分析系统中。该系统可以被配置成随着时间的流逝并且经由多个数据条目,学习将近期/当前图像和/或参数和存储在数据库中的那些图像和/或参数之间的不同差异与某些问题和/或解决方案相关联。在诊断问题和/或确定所提议的解决方案时,声学分析系统可以被配置成例如经由显示器向用户输出可疑的问题和/或所提议的解决方案。这样的显示器可以在手持式声学检查工具或远程设备(例如,用户的智能电话、平板设备、计算机等)上。附加地或替换地,这样的指示潜在问题和/或解决方案的显示器可以例如经由网络被传送到远程站点,诸如非现场操作者/系统监视器。

在一些示例诊断表征中,声学分析系统可以观察到特定的周期性吱吱声,这指示在操作机器上需要附加的润滑。类似地,恒定的高音调信号可以指示目标场景中的气体或空气泄漏。其他问题可能类似地具有可识别的声学特征,诸如正在分析的对象内的轴承损坏,使得经由声学成像系统(例如,手持式声学成像工具)查看声学特征可以帮助诊断系统或对象中的任何异常。

能够将所接收的声信号与基线(例如,声学图像数据和/或来自数据库的参数)进行比较并且实行诊断信息和/或建议采取纠正动作的声学分析系统可以消除对经验丰富的专家来对场景的声学数据进行分析的需求。而是,声学检查和分析可以由系统操作者在分析声学数据方面经验有限或没有经验的情况下实行。

图13是示出了将所接收的声学图像数据与用于对象诊断的数据库进行比较的示例性操作的过程流程图。该方法包括:接收对关注目标的选择(1380);以及从数据库中检索关注目标的基线声学图像和/或声学参数(1382)。例如,用户可能希望对关注的特定对象实行声学分析,并且可以从具有可用基线声学图像和/或数据库中可用的参数的对象的预定义列表中选择这样的对象。

该方法进一步包括以下步骤:例如使用手持式声学成像工具捕获代表关注目标的声学图像数据和相关联的参数(1384)。在捕获声学图像数据和相关联的参数之后(1384),该方法包括:将所捕获的声学图像数据和/或相关联的参数与检索到的基线图像和/或参数进行比较(1386)。

图13的方法进一步包括:如果所捕获的声学图像数据和/或参数足够偏离基线(1388),则基于比较来诊断关注目标的操作问题(1390)。该方法可以进一步包括以下步骤:向用户显示对可能的问题和/或纠正动作的指示(1392)。在一些实施例中,可以附加地或替换地向用户显示比较显示,例如,示出了当前声学图像数据与基线声学图像数据之间的差异的差异图像。

在一些这样的示例中,确定是否与基线存在偏差(1388)包括:将所捕获的数据的一个或多个声学参数与基线数据中的相似参数进行比较,并且确定所捕获的与基线参数之间的差异是否超过预定阈值。在各种示例中,不同的参数可以包括不同的阈值,并且这样的阈值可以是绝对阈值、统计阈值等等。在一些实施例中,可以在逐个位置的基础上进行比较,并且可以针对场景内的位置的子集实行比较。

例如,参照图9B,有可能仅关于对象的操作来分析包括声学图像数据并出现在对象上的位置(例如,位置910和940)。在这样的示例中,在所捕获的图像与数据库图像之间单独地比较要进行比较的每一个位置(例如,910和940)处的不同声学参数。例如,参照图9B,将所捕获的数据和/或相关联的参数与来自数据库的那些进行比较可以包括:将所捕获的图像中的位置910的频率、强度和周期性分别与数据库图像中的位置910的频率、强度和周期性进行比较。可以在所捕获的图像与数据库图像之间、在位置940处实行类似的比较。如所描述的,每个比较可以包括用于确定是否与基线存在足够偏差的不同度量(1388)。

可以基于所捕获的图像数据与基线图像数据和/或参数之间的比较的组合来实行诊断操作问题(1390)并且显示对可能的问题和/或纠正动作的指示(1392)。在一些示例中,这样的诊断可以包括多维分析,诸如在给定位置处对多个参数进行组合比较。例如,在示例性实施例中,可以通过与基线的频率偏差大于第一阈值和与基线的强度偏差大于第二阈值两者来指示某个条件。

在一些示例中,即使在显示对可能的问题和/或纠正动作的指示(1392)之后,该过程也可以包括捕获新的声学图像数据和相关联的参数(1384),并且重复比较和诊断过程。因此,用户可以观察是否任何所采取的纠正动作有效地改变对象的声学特征,以便改正识别出的问题和/或使对象的声学特征符合基线。

在一些实施例中,如果在将所捕获的数据与基线数据进行比较(1386)之后,与基线没有足够的偏差(1388),则该过程可以结束(1394),其具有的结论是基于对象的当前声学特征,该对象在正常地运行。附加地或替换地,可以捕获新的声学图像数据和关注目标的相关联的参数(1384),并且可以重复该比较和诊断过程。在一些示例中,可以使用固定的声学分析系统来实行连续的重复分析,该固定的声学分析系统例如包括图12A中的声学成像工具1200。

声学数据(例如,图像数据和/或其他声学参数)的比较可以帮助用户更容易地识别对象是否正确地起作用,并且如果否,则诊断对象的问题。在一些示例中,与基线进行比较可以帮助用户忽略场景中的“正常”声音,诸如预期的操作声音或噪底/背景声音,这些声音可能与对象的操作问题无关。

在操作期间,对声学图像数据和/或相关联的声学参数的观察、或观察当前声学场景与数据库声学场景之间的比较结果可以指示用户关注的位置以进行进一步检查。例如,示出了与数据库图像的偏差的比较声学图像可以指示场景中在异常操作的一个或多个位置。类似地,查看在一个或多个意外位置处具有声学特征的声学图像可以指示用户关注的位置。例如,参照图10B,用户在声学成像系统的显示器上观察图10B,其可以认识到特定位置(例如,1020)正在意外发射声信号,或者类似地,与基线图像的比较指示在该位置处的声信号的意外参数(例如,意外频率、强度等等)。

在一些这样的示例中,用户可以移动得更靠近这样的位置,以便更紧密地检查该位置是否存在异常。在移动得更靠近对象时,到目标的距离的值可以被更新以反映声学阵列与目标位置之间的新距离。可以基于经更新的到目标的距离来更新声学传感器阵列和/或反向传播算法。附加地或替换地,来自较近位置的经更新的声学分析可以产生对来自目标的声信号的不同分析。例如,高频声信号(例如,超声信号)倾向于在到声信号源相对较短的距离内衰减。因此,当用户移动得更靠近目标以进行进一步检查时,声学传感器阵列可能会看到附加的信号(例如,高频信号)。可观察场景中的这种明显变化也可能导致调整声学传感器阵列和/或调整被用于进行声学成像的反向传播算法。

因此,当用户移动得更靠近关注的对象或区域时,可以一次或多次地更新被用于进行声学成像的传感器阵列和/或反向传播算法。每次更新可以提供关于关注的对象或区域的附加细节,这些细节可能无法使用不同的传感器阵列和/或反向传播算法从更远的距离观察到。例如,基于对更宽泛场景的初始观察,移动得更靠近关注的对象或区域也可以增加关注的声信号相对于环境中的背景声音的声强度。

在一些实施例中,声学分析系统(例如,手持式声学成像工具)可以提示用户移动得更加靠近场景内的关注对象或区域。例如,在将当前声学图像与基线数据库图像进行比较时,声学分析系统可以识别场景中偏离基线的一个或多个位置。该声学分析系统可以例如经由显示器向用户突出显示这样的一个或多个位置,并且建议用户移动得更靠近标识出的(一个或多个)位置以进行进一步分析。在一些示例中,该声学分析系统可以将标识出的位置(诸如环境内的对象或特定对象的子组件)分类为具有存储在数据库中的其自身的基线轮廓。该系统可以被配置成建议和/或实现所分类位置的这种轮廓,以在用户移动得更靠近以进行附加的检查时便于对识别出的位置进行进一步分析。

本文中所述的系统和过程可以被用来改进声学检查的速度、效率、准确性和彻底性。(例如,传感器阵列、反向传播算法等的)各种自动化动作和/或建议可以将检查的便利性提高到缺乏经验的用户可以对声学场景实行彻底的声学检查的程度。此外,这样的过程可以被用来分析范围广泛的场景,诸如整个系统、个体对象以及个体对象的子组件。声学场景的基线声学数据的预定义的和/或用户生成的轮廓甚至可以帮助缺乏经验的用户识别所捕获的声学数据中的异常。

声学图像数据与其他数据流(诸如可见光、红外和/或紫外图像数据)的配准可以为哪些对象正在发射声学图像数据中所表示的声信号提供附加的背景和细节。将声学传感器阵列和距离测量工具(例如,激光测距仪)进行组合可以帮助用户快速且容易地确定用于在声学成像过程期间使用的适当的到目标的距离的值。在各种示例中,声学传感器阵列、距离测量工具、处理器、存储器和一个或多个附加的成像工具(例如,可见光相机模块、红外相机模块等)可以由手持式声学成像工具中的单个壳体支撑,该手持式声学成像工具可以提供对多个场景的有效声学分析。可以将这样的手持式声学成像工具从一个场景移动到另一个场景,以用于快速分析多个关注的对象。类似地,使用手持式工具,用户可以移动得更靠近场景内的关注位置,以进行进一步检查或分析。

各种声学成像系统可以被配置成创建由一个或多个传感器阵列中的传感器检测到的声信号(特超声波、声波和/或超声波)的伪彩色、符号或其他非数字视觉表示。一些这样的系统可以经由扬声器、耳机、头戴式耳机(有线或远程传输)等等向用户提供所接收的声信号的音频反馈。在一些这样的实例中,音频反馈包括:所接收的音频信号的再现或者基于所接收的声信号的外差信号。实际音频或外差音频的传输与被检测和显示的声音的视觉表示同步。

示例性声学成像系统可以采用任何数量的不同方法来显示、定位、描述和分析检测到的声音。可视化方法可以包括各种类型的彩色形状、图标,其中具有各种水平的透明度调整,以适应显示它们所利用的可见背景。

如本文中其他地方所述,在一些实施例中,声学成像系统可以包括以阵列布置的多个声学传感器元件。在一些情况下,不同的阵列形状和大小、以及不同的声学传感器元件可以例如,基于频率含量、到目标的距离等更有效地感测不同类型的声信号。因此,在一些应用中,期望对特定频率敏感的声学成像器,和/或使用特定的传感器配置将产生更好的结果。

在一些实施例中,声学成像系统可以包括多个声学传感器头,每个声学传感器头具有多个声学感测元件,它们可以可互换地集成到系统中。声学传感器头可以被配置成与声学成像工具无线地通信(例如,经由无线的无线电模块)和/或经由有线通信。在一些实施例中,声学成像工具可以被设计和配置成接受不同的传感器头,例如,用于不同的应用和用途。这可以为工具的用户提供更大的灵活性,允许更好的数据获取和分析能力,并且减少如果使用完全独立的工具将会出现的时间和费用。

在一些示例中,一个或多个传感器头可以直接附接到主声学成像设备。附加地或替换地,一个或多个传感器头可以独立地用作主设备的附件。在一些这样的实例中,(一个或多个)传感器头和主设备可以通过有线连接和/或无线通信经由主设备和(一个或多个)传感器头中的一个或多个无线的无线电元件进行通信。在一些实施例中,传感器头组装件中的无线电设备可以与有线的(例如,基于USB的)无线电“加密狗(dongle)”无线通信,该无线电加密狗可以连接到主声学成像设备。

图14示出了声学成像工具1412和包括多个声学传感器元件1430的传感器头1422的示例性实施例。声学成像工具1412包括用于接收传感器头1422的相应对接机构1420的对接端口1410。将对接机构1420附接到对接端口1410可以提供声学传感器元件1430与声学成像工具1412(诸如处理器)之间的通信。

图14描绘了圆形传感器头,其在传感器头的第一侧上具有对接机构1420,并且在与第一侧相对的第二侧上具有声学传感器元件1430。虽然传感器头1422被示为圆形,但是传感器头可以是各种各样的形状中的任何一种,诸如矩形、圆形、三角形或任何其他适当的形状。

在一些示例中,传感器头1422和/或声学成像工具1412可以包括一个或多个附接元件,以将传感器头固定到工具。这样的附接元件可以包括闩锁、锁、摩擦配合元件、螺钉、夹子、钩环紧固件或用于将传感器头固定到声学成像工具的其他适当的元件。在一些示例中,声学传感器头上的对接机构用作被配置成与声学成像工具的对接端口接合的一个或多个附接元件之一,其可以起到用于接收声学传感器头的对接机构的对应附接元件的作用。在各种实施例中,声学传感器头到声学成像工具的附接可以包括将声学传感器头的元件(例如,对接机构1420)插入到声学成像工具的插座中(例如,对接端口1410)。在其他示例中,附接可以包括将声学传感器头从声学成像设备的壳体的一侧滑动到位。声学成像工具与传感器头之间的通信可以包括有线连接(例如,电连接)或无线连接(例如,蓝牙)。

图15示出了被配置成用于滑入式附接的示例性传感器头1522和声学成像工具1512。如所示的,声学成像工具壳体可以包括:一个或多个滑轨1517,其被配置成接收声学传感器头1522的一个或多个对应配合特征1527的边缘。在一些实施例中,声学成像工具1512还可以包括对接端口1510,该对接端口1510被配置成当声学传感器头经由声学成像工具壳体的(一个或多个)滑轨被可滑动地接收时,在声学传感器头上接收对应的对接机构1520。

图15描绘了方形传感器头,其在第一侧上具有对接机构1520和配合特征1527,并且在与第一侧相对的第二侧上具有声学传感器元件1530。虽然传感器头1522被示为矩形,但是传感器头可以是各种各样的形状中的任何一种,诸如矩形、圆形、三角形或任何其他适当的形状。

在一些示例中,可附接的声学传感器头可以是可扩展的,例如,以增加声学传感器元件阵列的大小和/或形状、和/或并入附加的阵列配置。改变声学传感器元件阵列的大小和/或形状可能是有益的,诸如当改变位置、环境或寻找具有不同声学参数的声音时(例如,频率内容、周期性、振幅)。图16示出了示例性声学传感器头,其具有中心传感器部分1622和多个折叠的辅助传感器部分1632a-d,该辅助传感器部分1632a-d经由附接机构1629a-d连接到中心传感器部分1622。在一些示例中,附接机构1629a-d可以包括折叠铰链或其他柔性、可折叠或以其他方式顺从的构件。

如所示的,中心传感器部分1622包括对接机构1620,例如,用于接合声学成像设备的相应对接端口。在一些实施例中,附接机构1629a-d提供辅助传感器部分1632a-d与对接机构1620之间的通信。附加地或替换地,在一些实施例中,辅助传感器部分1632a-d可以与中心传感器部分1622和/或声学成像设备无线通信。

在一些实施例中,辅助传感器可以是可附接的,诸如通过本文中讨论的各种各样的附接机构中的任一种。图17示出了具有中心传感器部分1722的示例性声学传感器,该中心传感器部分1722包括一个或多个附接机构1729a-d,该附接机构1729 a-d可以被配置成经由对应的互补附接机构1728a-d可拆卸地接收一个或多个对应的次级传感器部分1732a-d。

如所示的,中心传感器部分1722包括对接机构1720,例如,用于接合声学成像设备的相应对接端口。在一些实施例中,当(一个或多个)辅助传感器部分经由这样的附接机构附接到中心传感器部分时,相应的附接机构1728a-d和1729a-d提供辅助传感器部分1732a-d与对接机构1720之间的通信。附加地或替换地,在一些实施例中,辅助传感器部分1732a-d可以与中心传感器部分1722和/或声学成像设备无线通信。

一般而言,在各种示例中,可拆卸的声学传感器头可以包括主传感器部分和一个或多个辅助传感器部分,它们可以在传感器操作期间可选地使用。这样的辅助传感器部分可以可移除地附接到主传感器部分,可以从主传感器部分向外折叠,和/或可以从主传感器部分延伸。在一些示例中,当附接和/或折叠到位时,这样的传感器自动能够例如向系统处理器提供声学信息。在其他实施例中,用户可以手动选择激活一个或多个这样的辅助传感器部分。在各种示例中,任意数量的辅助传感器部分可以附接到主传感器部分和/或从主传感器部分折叠出来。

在一些实施例中,可附接的传感器头可以包括用于附接到声学成像工具壳体的对接机构,其中,当传感器头经由对接机构附接到声学成像工具壳体时,传感器阵列可以相对于声学成像工具壳体可移动。例如,图18示出了传感器头组装件,其包括将对接机构1820附接到传感器阵列1822的柔性“鹅颈管”部分1824。当传感器头组装件附接到声学成像工具时(例如,经由对接机构1820接合声学成像工具的对接端口),“鹅颈管”部分1824可以允许增加传感器阵列1822的可操作性。

在一些情况下,可能优选的是增加传感器头与用户手持的声学成像工具之间的距离,诸如为了在高电压或高热应用中的安全,或者进入难以到达的地方。图19示出了包括手柄1978的棒型传感器头组装件,该手柄1978经由延伸部分1945支撑传感器阵列1922。在一些示例中,延伸部分可以伸缩(telescoping)。

如本文中其他地方所述,在一些示例中,声学传感器头可以被配置成经由有线或无线通信与声学成像工具通信。图20示出了包括声学成像设备和声学传感器头的示例系统。如所示的,声学成像设备2012包括对接端口2010和无线通信接口2014。

声学传感器头2050包括手柄2078、包括多个声学传感器元件的传感器阵列2022,以及在手柄和传感器阵列之间延伸的延伸部2045。线缆2003将手柄2078连接到对接机构2020,该对接机构2020被配置成与对接端口2010对接。传感器头2050包括被配置成与声学成像设备2012的无线通信接口2014无线通信的无线通信接口2080。

在操作期间,声学成像设备2012可以例如经由对接机构2020和对接端口2010、或者经由无线通信接口2080和2014从声学传感器阵列2022上的声学传感器元件接收声学数据。声学成像设备可以如本文中其他地方所述的那样进行操作,例如,生成声学图像数据。

在各种示例中,声学成像系统包括多个可互换的传感器头,例如,其具有不同的声学感测能力和特性。

在一些示例中,一个或多个声学传感器头包括集成在其中的电磁成像工具。传感器头的传感器阵列与声学成像设备之间的有线或无线通信可以被配置成向成像设备传送声学数据和电磁图像数据。附加地或替换地,在一些示例中,声学成像设备被配置成经由有线或无线通信与(例如,多个传感器头中的)传感器头通信,其可以包括构成整体所必需的电磁成像工具。

本文中所述的各种过程可以被体现为非暂时性计算机可读介质,其包括用于使一个或多个处理器执行这样的过程的可执行指令。系统可以包括一个或多个处理器,该处理器被配置成例如基于存储在与处理器构成整体或在处理器外部的存储器中的指令来实行这样的过程。在一些情况下,各种组件可以分布在整个系统中。例如,系统可以包括多个分布式处理器,每个被配置成执行由系统执行的整个过程的至少一部分。

已经描述了各种实施例。这样的示例是非限制性的,并且不以任何方式限定或限制本发明的范围。附加地,将领会到,本文中所述的各种特征和功能可以被组合成单个声学成像系统,例如,被体现为手持式声学成像工具或具有各种单独的和/或可分离的组件的分布式系统。

本文中所述的组件的各种功能可以进行组合。在一些实施例中,可以将本申请中描述的特征与PCT申请中描述的特征进行组合,该PCT申请题为“SYSTEMS AND METHODS FORPROJECTING AND DISPLAYING ACOUSTIC DATA”,其代理人案卷号为56581.178.2并于2019年7月24日提交,其被转让给本申请的受让人,并通过引用并入本文中。在一些实施例中,可以将本申请中描述的特征与PCT申请中描述的特征进行组合,该PCT申请题为“SYSTEMS ANDMETHODS FOR TAGGING AND LINKING ACOUSTIC IMAGES”,其代理人案卷号为56581.179.2,并于2019年7月24日提交,其被转让给本申请的受让人并且通过引用并入本文中。在一些实施例中,可以将本申请中描述的特征与PCT申请中描述的特征进行组合,该PCT申请题为“SYSTEMS AND METHODS FOR ANALYZING AND DISPLAYING ACOUSTIC DATA”,其代理人案卷号为56581.181.2并于2019年7月24日提交,其被转让给本申请的受让人,并通过引用并入本文中。在一些实施例中,可以将本申请中描述的特征与PCT申请中描述的特征进行组合,该PCT申请题为“SYSTEMS AND METHODS FOR REPRESENTING ACOUSTIC SIGNATURES FROM ATARGET SCENE”,其代理人案卷号为56581.182.2并于2019年7月24日提交,其被转让给本申请的受让人,并通过引用并入本文中。

已经描述了各种实施例。这样的示例是非限制性的,并且不以任何方式限定或限制本发明的范围。

63页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:通过光阑结构对可移动IR发射器的调制

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!