阅读说明：本技术 声学成像方法、装置、设备及可读存储介质 (Acoustic imaging method, acoustic imaging device, acoustic imaging equipment and readable storage medium ) 是由 万杉杉 李俊 黄晴媛 于 2020-05-15 设计创作，主要内容包括：本申请公开了一种声学成像方法、装置、设备及可读存储介质,本申请考虑了噪声形态的区别,将其划分为稳态和非稳态,并配置了对应的声场热力图生成策略,成像过程中可以主动确定当前时刻所处的目标噪声态,并据此生成最终的声学成像图,使得生成的声学成像图效果更好,更加方便用户定位噪声位置。进一步,本申请能够主动依据声场分布数据去确定当前时刻所处的目标噪声态,无需用户手动干预,提高了操作便利度,同时又实现了更加准确的确定当前噪声态的目的,为后续声学成像提供基础。(The application discloses an acoustic imaging method, an acoustic imaging device, acoustic imaging equipment and a readable storage medium, wherein the difference of noise forms is considered, the noise forms are divided into a stable state and an unstable state, a corresponding sound field thermodynamic diagram generation strategy is configured, the target noise state at the current moment can be actively determined in the imaging process, and a final acoustic imaging diagram is generated according to the target noise state, so that the generated acoustic imaging diagram has a better effect, and a user can more conveniently position the noise position. Furthermore, the method and the device can actively determine the target noise state of the current moment according to the sound field distribution data without manual intervention of a user, improve the operation convenience, realize the purpose of more accurately determining the current noise state, and provide a basis for subsequent acoustic imaging.)

声学成像方法、装置、设备及可读存储介质

技术领域

本申请涉及声学成像技术领域，更具体的说，是涉及一种声学成像方法、装置、设备及可读存储介质。

背景技术

声学成像技术利用麦克风阵列技术确定声源位置，与摄像头结合，通过图像的方式展示声源的分布状态。图像以颜色和亮度表示声音的强弱。从而帮助人们快速定位噪声位置，解决人耳定位声音能力有限的问题。

在声学领域，根据噪声的波形特点或者时间特点，一般可将噪声分为稳态噪声与非稳态噪声。稳态噪声是指在一个长时间内，其声音是连续不断的,而且其声音强度是相对稳定的，声压波动一般不超过3dB。非稳态噪声是与稳态噪声相对而言的，即在时间分布上不连续，并有其形态特征的噪声。

相对于稳态噪声而言，非稳态噪声出现时间一般较短，现有的声学成像设备并未对噪声进行区别，导致声学成像效果不佳，不便于用户定位噪声位置。

发明内容

鉴于上述问题，提出了本申请以便提供一种声学成像方法、装置、设备及可读存储介质。具体方案如下：

一种声学成像方法，包括：

基于采集的音频数据确定当前时刻的声场分布数据；

基于当前时刻及历史时刻的声场分布数据，确定当前时刻所处的噪声态作为目标噪声态，其中噪声态包括稳态和非稳态；

按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示。

优选地，还包括：

根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源物；

根据所述声源物在已采集的各视频图像中的位置，确定所述声源物当前时刻的运动状态；

所述按照配置的与所述目标噪声态对应的生成策略，生成声场热力图，包括：

参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

其中，所述生成策略包括：当声源物运动时对应的第一生成策略，和当声源物静止时对应的第二生成策略。

优选地，所述根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源物，包括：

对采集的每个时刻的视频图像进行对象识别，确定视频图像中包含的各对象；

根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源位置；

根据所述声源位置，在当前时刻的视频图像所包含的各对象中，确定作为声源物的对象。

优选地，所述参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图，包括：

当所述目标噪声态为稳态时：

若所述声源物当前时刻的运动状态为静止，则对包含当前时刻的最近连续n1帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图；

若所述声源物当前时刻的运动状态为运动，则对包含当前时刻的最近连续n2帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图；n2<n1。

优选地，所述参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图，包括：

当所述目标噪声态为非稳态时：

若所述声源物当前时刻的运动状态为静止，则利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图；

若所述声源物当前时刻的运动状态为运动，则利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图。

优选地，所述非稳态包括起伏态；

则，所述利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图，包括：

在包含当前时刻的最近连续n3帧声场分布数据中，随机选取一帧声场分布数据，并基于选取的该帧声场分布数据生成一幅声场热力图，同时，在生成的声场热力图中标记所述n3帧声场分布数据的声压级变动范围；

所述利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图，包括：

在包含当前时刻的最近连续n3帧声场分布数据中，随机选取m1帧声场分布数据，并基于m1帧中每一帧声场分布数据生成对应的声场热力图，得到m1幅声场热力图，m1≥2。

优选地，所述非稳态包括脉冲态；

则，所述利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图，包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取一帧峰值声场分布数据，并基于该峰值声场分布数据生成对应的声场热力图；

所述利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图，包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取至少两帧峰值声场分布数据，并基于选取的每帧峰值声场分布数据生成对应的声场热力图，得到至少两幅声场热力图。

优选地，所述非稳态包括间歇态；

则，所述利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图，包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续n4帧声场分布数据，从n4帧声场分布数据中选取一帧声场分布数据生成声场热力图，同时，在生成的声场热力图中标记所述n4帧声场分布数据的声压级变动范围；

所述利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图，包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续n4帧声场分布数据，从n4帧声场分布数据中选取m2帧声场分布数据生成声场热力图，并基于m2帧中每一帧声场分布数据生成对应的声场热力图，得到m2幅声场热力图，m2≥2。

优选地，所述基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示，包括：

基于所述声场热力图生成过程所使用的声场分布数据的确定时刻，获取所述确定时刻对应采集的视频图像，作为所述声场热力图对应的视频图像；

将所述声场热力图及其对应的视频图像，按照位置映射关系进行叠加，得到声学成像图并展示。

一种声学成像装置，包括：

声场分布数据确定单元，用于基于采集的音频数据确定当前时刻的声场分布数据；

噪声态确定单元，用于基于当前时刻及历史时刻的声场分布数据，确定当前时刻所处的噪声态作为目标噪声态，其中噪声态包括稳态和非稳态；

声场热力图生成单元，用于按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

声学成像图处理单元，用于基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示。

优选地，还包括：

声源物确定单元，用于根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源物；

声源物运动状态确定单元，用于根据所述声源物在已采集的各视频图像中的位置，确定所述声源物当前时刻的运动状态；

则所述声场热力图生成单元按照配置的与所述目标噪声态对应的生成策略，生成声场热力图的过程，具体包括：参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

其中，所述生成策略包括：当声源物运动时对应的第一生成策略，和当声源物静止时对应的第二生成策略。

一种声学成像设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如上的声学成像方法的各个步骤。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上的声学成像方法的各个步骤。

借由上述技术方案，本申请的声学成像方法，基于采集的音频数据确定当前时刻的声场分布数据，进一步能够基于当前时刻及历史时刻的声场分布数据，主动确定当前时刻所处的噪声态作为目标噪声态，这里噪声态可以包括稳态和非稳态两种。本申请可以配置有与稳态和非稳态对应的声场热力图生成策略，进而在确定了当前时刻的目标噪声态之后，按照配置的与目标噪声态对应的生成策略，生成声场热力图，进而基于声场热力图和采集的视频图像，生成声学成像图并显示。本申请考虑了噪声形态的区别，将其划分为稳态和非稳态，并配置了对应的声场热力图生成策略，成像过程中可以主动确定当前时刻所处的目标噪声态，并据此生成最终的声学成像图，使得生成的声学成像图效果更好，更加方便用户定位噪声位置。

进一步，本申请能够主动依据声场分布数据去确定当前时刻所处的目标噪声态，无需用户手动干预，提高了操作便利度，同时又实现了更加准确的确定当前噪声态的目的，为后续声学成像提供基础。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的声学成像方法的一流程示意图；

图2为本申请实施例提供的一种声学成像装置结构示意图；

图3为本申请实施例提供的声学成像设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在介绍本申请方案之前，首先对声学成像的一些技术进行介绍。

声学照相机利用数字麦克风阵列，将采集的声音以彩色等高线图谱(以下称为声场热力图)的方式可视化呈现在屏幕上，形成类似于热成像仪对物体温度的探测效果。声学照相机一般以固定的帧率实时展示视频画面和声场热力图。即展示当前最新的视频帧和最新的音频数据帧(音频数据每帧的时间固定，如8ms)计算得到的声场热力图。

声学成像的关键在于视频画面与声场热力图叠加展示。视频有一个帧率的概念，如帧率为25fps，即每秒可以获取到25张照片。同样，音频也是分帧处理的，比如8ms为一帧，那么1s就有125帧。每帧音频数据都会通过算法计算得到对应的声场分布数据，即空间每个点的声强信息。空间的划分由阵列、算法等决定。如空间可能在水平角与俯仰角均以3°的间隔划分，最终划分得到m*n个点。声场分布数据指这m*n个数据。最后，空间的每个点都被映射到摄像头画面中，即视频画面与声场热力图叠加展示到屏幕上。

基于前述提及的现有技术的缺陷，本案申请人首先想到的一种解决方案是，在声学成像设备上提供给用户选择“稳态模式”和“非稳态模式”的入口，即由用户手动切换模式，进而基于用户选择的模式来生成声场热力图，并叠加视频图像得到声学成像图。

但是，进一步研究发现，上述方式需要用户手动选择，增加了用户操作难度，同时，用户无法准确判断当前时刻的噪声态，进而导致选择的模式与当前实际的噪声不匹配，生成的声学成像图效果不佳。

基于此，本申请实施例提供了一种新的声学成像方案，详细参照下述介绍。

结合图1所述，本申请的声学成像方法可以包括如下步骤：

步骤S100、基于采集的音频数据确定当前时刻的声场分布数据。

具体地，本案可以基于麦克风矩阵实时采集音频数据。基于采集的音频数据，可以确定当前时刻的声场分布数据，即空间每个点的声强信息。

其中，音频数据可以按照帧进行划分，每帧音频数据可以用于计算对应的声场分布数据，则基于历史采集的每帧音频数据，可以确定对应帧的声场分布数据。

步骤S110、基于当前时刻及历史时刻的声场分布数据，确定当前时刻所处的噪声态作为目标噪声态。

其中，噪声态包括稳态和非稳态。

具体的，通过分析当前时刻及历史时刻的声场分布数据，可以确定当前时刻所处的目标噪声态。

本实施例中，可以使用规则匹配的方式来确定目标噪声态，也即预先配置好稳态和非稳态对应的声场分布规则，进而可以基于当前时刻和历史时刻的声场分布数据，按照设定的匹配规则进行匹配，得到匹配的噪声态作为当前时刻所处的目标噪声态。

除此之外，还可以采用神经网络模型来对噪声态进行分类。具体的，可以预先利用声场分布训练数据作为训练样本，以对应的噪声态作为样本标签训练神经网络模型，得到训练后的神经网络模型。进而，将当前时刻及历史时刻的声场分布数据输入训练后的神经网络模型，得到模型分类输出的噪声态作为当前时刻的目标噪声态。

步骤S120、按照配置的与所述目标噪声态对应的生成策略，生成声场热力图。

具体的，本申请可以预先配置好与稳态和非稳态对应的声场热力图生成策略，进而在确定了目标噪声态之后，可以按照目标噪声态对应的生成策略，生成声场热力图。

其中，与目标噪声态对应的生成策略，基于目标噪声态的形态特性而设定，因此生成的声场热力图能够更加匹配目标噪声态，也即结果更加准确。

步骤S130、基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示。

在生成了声场热力图之后，可以将声场热力图及对应时刻采集的视频图像进行叠加，以生成声学成像图，并通过屏幕进行展示。

本申请实施例公开的声学成像方法，基于采集的音频数据确定当前时刻的声场分布数据，进一步能够基于当前时刻及历史时刻的声场分布数据，主动确定当前时刻所处的噪声态作为目标噪声态，这里噪声态可以包括稳态和非稳态两种。本申请可以配置有与稳态和非稳态对应的声场热力图生成策略，进而在确定了当前时刻的目标噪声态之后，按照配置的与目标噪声态对应的生成策略，生成声场热力图，进而基于声场热力图和采集的视频图像，生成声学成像图并显示。本申请考虑了噪声形态的区别，将其划分为稳态和非稳态，并配置了对应的声场热力图生成策略，成像过程中可以主动确定当前时刻所处的目标噪声态，并据此生成最终的声学成像图，使得生成的声学成像图效果更好，更加方便用户定位噪声位置。

进一步，本申请能够主动依据声场分布数据去确定当前时刻所处的目标噪声态，无需用户手动干预，提高了操作便利度，同时又实现了更加准确的确定当前噪声态的目的，为后续声学成像提供基础。

本申请的另一个实施例中，介绍了上述步骤S120，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图的一种可选实施方式。

目标噪声态可以分为两大类，即：稳态和非稳态。对于非稳态噪声，又可以进一步细分为：起伏态、脉冲态、间歇态。

其中，

起伏态噪声是在时域与频域都普遍存在的随机噪声，如热噪声。间歇态噪声是指在测量过程中，声级保持在背景噪声之上的持续时间大于或等于1秒,并多次突然下降到背景噪声级的噪声。建筑业、维修业等的许多工业噪声都属于间歇性噪声。脉冲态噪声则是指突然爆发又很快消失的声音，如桌子敲击声，电火花声。

当目标噪声态为稳态时：

一种方式，可以基于当前时刻的声场分布数据生成声场热力图。

除此之外，还可以对包含当前时刻的最近连续q1帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图。

通过平滑处理，可以使的生成的声场热力图更加平滑，便于用户观看。

当目标噪声态为起伏态时：

由于起伏态噪声接近随机噪声，通常在观察时间内，采用声级计慢档动态测量时，声压级起伏大于3dB小于10dB。考虑起伏态噪声的这种形态特性，本实施例中可以采用下述方式来生成声场热力图：

在包含当前时刻的最近连续q2帧声场分布数据中，随机选取一帧或多帧声场分布数据，并基于选取的声场分布数据，生成对应的声场热力图。其中，若选取一帧声场分布数据，则生成对应的一幅声场热力图；若选取多帧声场分布数据，则生成对应的多幅声场热力图。

进一步的，可以在声场热力图中标记q2帧声场分布数据的声压级变动范围，以提示用户该起伏噪声的声压级可能变动范围，便于用户更加直观了解当前的起伏噪声。

当目标噪声态为脉冲态时：

由于脉冲态的噪声存在突发性且持续时间短，能量高的特性，本实施例中可以采用下述方式来生成声场热力图：

在已确定的当前时刻及历史时刻的声场分布数据中，选取一帧或多帧峰值声场分布数据，并基于选取的每帧峰值声场分布数据生成对应的声场热力图。

其中，在选取峰值声场分布数据时，可以是随机选取，也可以是选取距离当前时刻最近的一帧或多帧峰值声场分布数据。

当目标噪声态为间歇态时：

考虑到间歇态噪声的特性是，声压级保持在背景噪声之上的持续时间大于或等于1秒，并多次突然下降到背景噪声声级，本实施例中可以采用下述方式来生成声场热力图：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续q3帧声场分布数据，从q3帧声场分布数据中选取一帧或多帧声场分布数据生成声场热力图。

其中，若选取一帧声场分布数据，则生成对应的一幅声场热力图；若选取多帧声场分布数据，则生成对应的多幅声场热力图。

进一步的，可以在声场热力图中标记q3帧声场分布数据的声压级变动范围，以提示用户该间歇噪声的声压级可能变动范围，便于用户更加直观了解当前的间歇噪声。

本申请的又一个实施例中，介绍了上述步骤S120，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图的另一种可选实施方式。

本实施例中，考虑到实际情况中声源可能是静止的，也可能是运动的，根据声源的运动状态不同，可以设计不同的声场热力图生成策略。

基于此，本实施例中可以在生成声场热力图之前，进一步增加如下处理步骤：

S1、根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源物。

一种可选的实现方案可以参照如下介绍：

首先，对采集的每个时刻的视频图像进行对象识别，确定视频图像中包含的各对象。

进一步，根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源位置。

再进一步，根据所述声源位置，在当前时刻的视频图像所包含的各对象中，确定作为声源物的对象。

可选的，可以在当前时刻的视频图像所包含的各对象中，选取与所述声源位置距离最近的一个对象，作为声源物的对象。

S2、根据所述声源物在已采集的各视频图像中的位置，确定所述声源物当前时刻的运动状态。

其中，运动状态可以包括运动和静止。

在此基础上，上述步骤S120具体可以包括：

参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图。

其中，生成策略可以包括：当声源物运动时对应的第一生成策略，和当声源物静止时对应的第二生成策略。也即，本实施例中，进一步按照声源物的运动状态，将生成策略划分为第一生成策略和第二生成策略，分别对应声源物运动状态和静止状态。

接下来，介绍目标噪声态为稳态和非稳态的情况下，参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图的实现过程。

当目标噪声态为稳态时：

1)若所述声源物当前时刻的运动状态为静止：

一种方式，可以基于当前时刻的声场分布数据生成声场热力图。

除此之外，还可以对包含当前时刻的最近连续n1帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图。

通过平滑处理，可以使的生成的声场热力图更加平滑，便于用户观看。

2)若所述声源物当前时刻的运动状态为运动：

一种方式，可以基于当前时刻的声场分布数据生成声场热力图。

除此之外，还可以对包含当前时刻的最近连续n2帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图。

其中考虑到声源物运动时，相对于静止状态其声场分布数据的变动情况要大点，因此可以设置n2<n1。

当目标噪声态为非稳态时：

1)若所述声源物当前时刻的运动状态为静止：

可以利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图。

2)若所述声源物当前时刻的运动状态为运动：

可以利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图。

对于非稳态噪声，若声源物还处于运动状态，那么会大大提高用户定位噪声位置的难度。为此，本实施例中可以针对声源物处于运动状态时，生成至少两幅声场热力图，让用户可以通过更多的声场热力图来捕捉噪声位置的变化，更加便于定位噪声位置。

进一步的，按照非稳态噪声的具体细分，下面详细介绍声场热力图的生成过程。

当目标噪声态为起伏态时：

由于起伏态噪声接近随机噪声，通常在观察时间内，采用声级计慢档动态测量时，声压级起伏大于3dB小于10dB。考虑起伏态噪声的这种形态特性，本实施例中可以采用下述方式来生成声场热力图：

1)若所述声源物当前时刻的运动状态为静止：

在包含当前时刻的最近连续n3帧声场分布数据中，随机选取一帧声场分布数据，并基于选取的声场分布数据，生成对应的声场热力图。

进一步的，可以在声场热力图中标记n3帧声场分布数据的声压级变动范围，以提示用户该起伏噪声的声压级可能变动范围，便于用户更加直观了解当前的起伏噪声。

2)若所述声源物当前时刻的运动状态为运动：

在包含当前时刻的最近连续n3帧声场分布数据中，随机选取m1帧声场分布数据，并基于m1帧中每一帧声场分布数据生成对应的声场热力图，得到m1幅声场热力图。m1≥2。

进一步的，可以在声场热力图中标记n3帧声场分布数据的声压级变动范围，以提示用户该起伏噪声的声压级可能变动范围，便于用户更加直观了解当前的起伏噪声。

当目标噪声态为脉冲态时：

由于脉冲态的噪声存在突发性且持续时间短，能量高的特性，本实施例中可以采用下述方式来生成声场热力图。

1)若所述声源物当前时刻的运动状态为静止：

在已确定的当前时刻及历史时刻的声场分布数据中，选取一帧峰值声场分布数据，并基于该峰值声场分布数据生成对应的声场热力图。

其中，在选取峰值声场分布数据时，可以是随机选取，也可以是选取距离当前时刻最近的一帧峰值声场分布数据。

2)若所述声源物当前时刻的运动状态为运动：

在已确定的当前时刻及历史时刻的声场分布数据中，选取至少两帧峰值声场分布数据，并基于选取的每帧峰值声场分布数据生成对应的声场热力图，得到至少两幅声场热力图。

其中，在选取峰值声场分布数据时，可以是随机选取，也可以是选取距离当前时刻最近的至少两帧峰值声场分布数据。

当目标噪声态为间歇态时：

考虑到间歇态噪声的特性是，声压级保持在背景噪声之上的持续时间大于或等于1秒，并多次突然下降到背景噪声声级，本实施例中可以采用下述方式来生成声场热力图：

1)若所述声源物当前时刻的运动状态为静止：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续n4帧声场分布数据，从n4帧声场分布数据中选取一帧声场分布数据生成声场热力图。

进一步，还可以在生成的声场热力图中标记所述n4帧声场分布数据的声压级变动范围，便于用户更加直观了解当前的间歇噪声。

2)若所述声源物当前时刻的运动状态为运动：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续n4帧声场分布数据，从n4帧声场分布数据中选取m2帧声场分布数据生成声场热力图，并基于m2帧中每一帧声场分布数据生成对应的声场热力图，得到m2幅声场热力图，m2≥2。

进一步，还可以在生成的每幅声场热力图中标记所述n4帧声场分布数据的声压级变动范围，便于用户更加直观了解当前的间歇噪声。

根据上述各实施例介绍的声场热力图的生成方式，本实施例中介绍了前述步骤S130，生成声学成像图的一种可选实现方式，具体可以包括：

基于所述声场热力图生成过程所使用的声场分布数据的确定时刻，获取所述确定时刻对应采集的视频图像，作为所述声场热力图对应的视频图像；将所述声场热力图及其对应的视频图像，按照位置映射关系进行叠加，得到声学成像图并展示。

其中，声场分布数据的确定时刻与确定该声场分布数据时所依据的音频数据的采集时刻相同。也即，在合成声学成像图时，声场热力图及对应的视频图像需要是相同时刻的数据。

可以理解的是，若生成的声场热力图为一幅，则最终合成显示的是一幅声学成像图；若生成的声场热力图为多幅，则最终合成显示的是多幅声学成像图。

下面对本申请实施例提供的声学成像装置进行描述，下文描述的声学成像装置与上文描述的声学成像方法可相互对应参照。

参见图2，图2为本申请实施例公开的一种声学成像装置结构示意图。

如图2所示，该装置可以包括：

声场分布数据确定单元11，用于基于采集的音频数据确定当前时刻的声场分布数据；

噪声态确定单元12，用于基于当前时刻及历史时刻的声场分布数据，确定当前时刻所处的噪声态作为目标噪声态，其中噪声态包括稳态和非稳态；

声场热力图生成单元13，用于按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

声学成像图处理单元14，用于基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示。

本申请的声学成像装置，基于采集的音频数据确定当前时刻的声场分布数据，进一步能够基于当前时刻及历史时刻的声场分布数据，主动确定当前时刻所处的噪声态作为目标噪声态，这里噪声态可以包括稳态和非稳态两种。本申请可以配置有与稳态和非稳态对应的声场热力图生成策略，进而在确定了当前时刻的目标噪声态之后，按照配置的与目标噪声态对应的生成策略，生成声场热力图，进而基于声场热力图和采集的视频图像，生成声学成像图并显示。本申请考虑了噪声形态的区别，将其划分为稳态和非稳态，并配置了对应的声场热力图生成策略，成像过程中可以主动确定当前时刻所处的目标噪声态，并据此生成最终的声学成像图，使得生成的声学成像图效果更好，更加方便用户定位噪声位置。

进一步，本申请能够主动依据声场分布数据去确定当前时刻所处的目标噪声态，无需用户手动干预，提高了操作便利度，同时又实现了更加准确的确定当前噪声态的目的，为后续声学成像提供基础。

进一步可选的，声学成像装置还可以包括：

声源物确定单元，用于根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源物；

声源物运动状态确定单元，用于根据所述声源物在已采集的各视频图像中的位置，确定所述声源物当前时刻的运动状态；

则上述声场热力图生成单元按照配置的与所述目标噪声态对应的生成策略，生成声场热力图的过程，具体包括：参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

其中，所述生成策略包括：当声源物运动时对应的第一生成策略，和当声源物静止时对应的第二生成策略。

可选的，上述声源物确定单元可以包括：

对象识别单元，用于对采集的每个时刻的视频图像进行对象识别，确定视频图像中包含的各对象；

声源位置确定单元，用于根据当前时刻的声场分布数据，确定当前时刻的视频图像中的声源位置；

声源位置比对单元，用于根据所述声源位置，在当前时刻的视频图像所包含的各对象中，确定作为声源物的对象。

可选的，上述声场热力图生成单元，参考所述声源物当前时刻的运动状态，按照配置的与所述目标噪声态对应的生成策略，生成声场热力图的过程可以包括：

当所述目标噪声态为稳态时：

若所述声源物当前时刻的运动状态为静止，则对包含当前时刻的最近连续n1帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图；

若所述声源物当前时刻的运动状态为运动，则对包含当前时刻的最近连续n2帧声场分布数据进行平滑处理，并基于平滑后的声场分布数据生成声场热力图；n2<n1。

进一步的，当所述目标噪声态为非稳态时：

若所述声源物当前时刻的运动状态为静止，则利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图；

若所述声源物当前时刻的运动状态为运动，则利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图。

可选的，非稳态可以包括起伏态；

则，上述声场热力图生成单元利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图的过程，可以包括：

在包含当前时刻的最近连续n3帧声场分布数据中，随机选取一帧声场分布数据，并基于选取的该帧声场分布数据生成一幅声场热力图，同时，在生成的声场热力图中标记所述n3帧声场分布数据的声压级变动范围；

上述声场热力图生成单元利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图的过程，可以包括：

在包含当前时刻的最近连续n3帧声场分布数据中，随机选取m1帧声场分布数据，并基于m1帧中每一帧声场分布数据生成对应的声场热力图，得到m1幅声场热力图，m1≥2。

可选的，非稳态可以包括脉冲态；

则，上述声场热力图生成单元利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图的过程，可以包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取一帧峰值声场分布数据，并基于该峰值声场分布数据生成对应的声场热力图；

上述声场热力图生成单元利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图的过程，可以包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取至少两帧峰值声场分布数据，并基于选取的每帧峰值声场分布数据生成对应的声场热力图，得到至少两幅声场热力图。

可选的，非稳态可以包括间歇态；

则，上述声场热力图生成单元利用当前时刻及历史时刻的声场分布数据，生成一幅声场热力图的过程，可以包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续n4帧声场分布数据，从n4帧声场分布数据中选取一帧声场分布数据生成声场热力图，同时，在生成的声场热力图中标记所述n4帧声场分布数据的声压级变动范围；

上述声场热力图生成单元利用当前时刻及历史时刻的声场分布数据，生成至少两幅声场热力图的过程，可以包括：

在已确定的当前时刻及历史时刻的声场分布数据中，选取最近的声压级大于设定声压级阈值的连续n4帧声场分布数据，从n4帧声场分布数据中选取m2帧声场分布数据生成声场热力图，并基于m2帧中每一帧声场分布数据生成对应的声场热力图，得到m2幅声场热力图，m2≥2。

可选的，上述声学成像图处理单元基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示的过程，可以包括：

基于所述声场热力图生成过程所使用的声场分布数据的确定时刻，获取所述确定时刻对应采集的视频图像，作为所述声场热力图对应的视频图像；

将所述声场热力图及其对应的视频图像，按照位置映射关系进行叠加，得到声学成像图并展示。

本申请实施例提供的声学成像装置可应用于声学成像设备，如声学照相机等。可选的，图3示出了声学成像设备的硬件结构框图，参照图3，声学成像设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

基于采集的音频数据确定当前时刻的声场分布数据；

基于当前时刻及历史时刻的声场分布数据，确定当前时刻所处的噪声态作为目标噪声态，其中噪声态包括稳态和非稳态；

按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：

基于采集的音频数据确定当前时刻的声场分布数据；

基于当前时刻及历史时刻的声场分布数据，确定当前时刻所处的噪声态作为目标噪声态，其中噪声态包括稳态和非稳态；

按照配置的与所述目标噪声态对应的生成策略，生成声场热力图；

基于生成的所述声场热力图及采集的视频图像，生成声学成像图并展示。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。