阅读说明：本技术 声源定位方法、装置、设备和存储介质 (Sound source positioning method, device, equipment and storage medium ) 是由 王备 于 2020-08-07 设计创作，主要内容包括：本申请涉及声源定位方法、装置、设备和存储介质。该方法包括：音频采集设备利用设置的麦克风阵列采集音频信号,其中,所述麦克风阵列中包含有多个麦克风,所述多个麦克风分别设置于所述音频采集设备的不同方向；所述音频采集设备确定所述音频信号的频域信号；所述音频采集设备基于所述麦克风所对应的所述频域信号的频率信息,计算多个方向上的目标广义互相关值；所述音频采集设备基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向。如此,能够快速基于广义互相关值对声源进行定位,即便多声源情况下,也能够实现快速定位,从根本上解决了现有技术反应速度慢、无法支持多声源场景的问题。(The application relates to a sound source positioning method, a sound source positioning device, a sound source positioning equipment and a storage medium. The method comprises the following steps: the audio acquisition equipment acquires audio signals by utilizing an arranged microphone array, wherein the microphone array comprises a plurality of microphones which are respectively arranged in different directions of the audio acquisition equipment; the audio acquisition equipment determines a frequency domain signal of the audio signal; the audio acquisition equipment calculates target generalized cross-correlation values in multiple directions based on frequency information of the frequency domain signal corresponding to the microphone; the audio acquisition device determines a sound source direction of the audio signal from the plurality of directions based on the delay characteristics characterized by the target generalized cross-correlation values in the plurality of directions. Therefore, the sound source can be quickly positioned based on the generalized cross-correlation value, and quick positioning can be realized even under the condition of multiple sound sources, so that the problems that the prior art is slow in reaction speed and cannot support multiple sound source scenes are fundamentally solved.)

声源定位方法、装置、设备和存储介质

技术领域

本申请涉及音频处理技术，特别是涉及一种声源定位方法、装置、设备和存储介质。

背景技术

目前，远程会议场景中使用的麦克风阵列，常采用能量估计方式来进行音频传输，即利麦克风阵列波束形成技术，在预先设定的多个不同方向的固定波束中，选择采集到的能量最大的固定波束的信号作为目标信号来完成音频传输。这种方法虽然实现简单，但是存在如下缺点：其一，无法实现声源定位；其二，反应速度较慢，容易在新声源出现瞬间出现丢字现象，这是因为能量估计需要一定的累积时间，不容易实现瞬间反应；其二，当多个声源同时出现时，能量相对较弱的声源会被忽略。

发明内容

为解决上述问题，本发明提出了一种声源定位方法、装置、设备和存储介质，能够快速基于广义互相关值对声源进行定位，即便多声源情况下，也能够实现快速定位，从根本上解决了现有技术反应速度慢、无法支持多声源场景的问题。

第一方面，本申请实施例提供一种声源定位方法，包括：

音频采集设备利用设置的麦克风阵列采集音频信号，其中，所述麦克风阵列中包含有多个麦克风，所述多个麦克风分别设置于所述音频采集设备的不同方向，用于从不同方向采集音频信号；

所述音频采集设备确定所述音频信号的频域信号；

所述音频采集设备基于所述麦克风所对应的所述频域信号的频率信息，计算多个方向上的目标广义互相关值，其中，所述多个方向中任意一个方向上的目标广义互相关值用于表征频率信息到达所述麦克风阵列中一对麦克风的延迟特征；

所述音频采集设备基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向。

本申请方案一具体示例中，所述方法还包括：

将所述麦克风阵列中任意两个麦克风进行组合，得到N对麦克风，其中，所述

所述M为所述麦克风阵列中麦克风的数量。

本申请方案一具体示例中，所述音频采集设备基于所述麦克风所对应的所述频域信号的频率信息，计算多个方向上的目标广义互相关值，包括：

基于所述麦克风所对应的所述频域信号的各频率信息，计算得到针对一个方向的所述麦克风阵列中各对麦克风对应的广义互相关值；

基于针对一个方向上的所有广义互相关值，得到一个方向上的目标广义互相关值，以得到多个方向上的目标广义互相关值。

本申请方案一具体示例中，所述音频采集设备基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向，包括：

将所述目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

本申请方案一具体示例中，所述音频采集设备基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向，包括：

基于所述目标广义互相值所表征的延迟特征从多个方向中选取出所述音频信号的疑似声源方向；

确定出所述疑似声源方向对应的多个相邻方向；

计算得到所述多个相邻方向的目标广义互相关值，并从所述多个相邻方向中确定出所述音频信号的声源方向。

本申请方案一具体示例中，所述从所述多个相邻方向中确定出所述音频信号的声源方向，包括：

将所述多个相邻方向的目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

第二方面，本申请实施例提供一种声源定位装置，包括：

采集单元，用于利用设置的麦克风阵列采集音频信号，其中，所述麦克风阵列中包含有多个麦克风，所述多个麦克风分别设置于所述音频采集设备的不同方向，用于从不同方向采集音频信号；

信号转换单元，用于确定所述音频信号的频域信号；

计算单元，用于基于所述麦克风所对应的所述频域信号的频率信息，计算多个方向上的目标广义互相关值，其中，所述多个方向中任意一个方向上的目标广义互相关值用于表征频率信息到达所述麦克风阵列中一对麦克风的延迟特征；

定位单元，用于基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向。

本申请方案一具体示例中，所述计算单元，还用于：

将所述麦克风阵列中任意两个麦克风进行组合，得到N对麦克风，其中，所述所述M为所述麦克风阵列中麦克风的数量。

本申请方案一具体示例中，所述计算单元，还用于：

基于所述麦克风所对应的所述频域信号的各频率信息，计算得到针对一个方向的所述麦克风阵列中各对麦克风对应的广义互相关值；

基于针对一个方向上的所有广义互相关值，得到一个方向上的目标广义互相关值，以得到多个方向上的目标广义互相关值。

本申请方案一具体示例中，所述定位单元，还用于将所述目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

本申请方案一具体示例中，所述定位单元，还用于：

基于所述目标广义互相值所表征的延迟特征从多个方向中选取出所述音频信号的疑似声源方向；

确定出所述疑似声源方向对应的多个相邻方向；

计算得到所述多个相邻方向的目标广义互相关值，并从所述多个相邻方向中确定出所述音频信号的声源方向。

本申请方案一具体示例中，所述定位单元，还用于：

将所述多个相邻方向的目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

第三方面，本申请实施例提供一种声源定位设备，包括：

一个或多个处理器；

与所述一个或多个处理器通信连接的存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行以上所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现以上所述的方法。

这样，由于本申请方案能够利用麦克风阵列中各麦克风从不同方向采集音频信号，并利用音频信号对应频率信息到达麦克风对(即麦克风阵列中任意两个麦克风组成的一对麦克风)中各所述麦克风的延迟特征不同，快速计算得到在多个方向上的广义互相关值(也即目标广义互相关值)，进而完成声源定位；而且，该定位方式即便对多声源而言同样适用，同样能够实现快速定位，不会出现丢字现象，因此，从根本上解决了现有技术反应速度慢、无法支持多声源场景的问题。

附图说明

图1为本发明实施例声源定位方法的实现流程示意图；

图2为本申请实施例声源定位方法在一具体应用场景的示意图；

图3为本申请实施例两步定位法的示意图；

图4为本发明实施例声源定位装置的结构示意图；

图5本发明实施例声源定位设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

本申请实施例提供了一种声源定位方法、装置、设备和存储介质；具体地，图1为本发明实施例声源定位方法的实现流程示意图，如图1所示，所述方法包括：

步骤101：音频采集设备利用设置的麦克风阵列采集音频信号，其中，所述麦克风阵列中包含有多个麦克风，所述多个麦克风分别设置于所述音频采集设备的不同方向，用于从不同方向采集音频信号。比如，所述麦克风阵列中包含有M个麦克风，各所述麦克风设置于所述音频采集设备的不同方向，以从不同方向采集音频信号。

本申请方案中，所述麦克风阵列为全指向的麦克风阵列，其中，所述麦克风阵列中各麦克风设置于音频采集设备的不同方向，如此，能够采集到四面八方的音频信号；而且，由于音频信号到达不同位置的麦克风的延迟不同，所以，能够为实现声源定位奠定基础。

步骤102：所述音频采集设备确定所述音频信号的频域信号，比如，所述音频采集设备对所有所述麦克风采集到的所述音频信号进行短时傅里叶变换，得到所述音频信号的频域信号。

实际应用中，对于同一声源而言，由于麦克风设置于不同方向上，所以，不同麦克风采集到的针对该同一声源的音频信号不同。此时，所述音频采集设备对所有麦克风采集到的音频信号进行短时傅里叶变换，得到各所述麦克风采集到的音频信号所对应的频域信号。

步骤103：所述音频采集设备基于所述麦克风所对应的所述频域信号的频率信息，计算多个方向上的目标广义互相关值，其中，所述多个方向中任意一个方向上的目标广义互相关值用于表征频率信息到达所述麦克风阵列中一对麦克风的延迟特征。

在一具体示例中，可以采用如下方式得到一对麦克风，也可称为麦克风对，比如，将所述麦克风阵列中任意两个麦克风进行组合，得到N个麦克风对，此时，所述

也就是说，将麦克风两两组合，得到所述麦克风对，如此，为实现声源定位奠定了基础。

步骤104：所述音频采集设备基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向。

实际应用中，所述音频信号可以为一个声源所对应的音频信号，也可以多个声源混杂的音频信号，也就是说，本申请方案能够针对一个声源进行定位，同时，也能够实现多声源定位。这里，当音频信号为多个声源混杂的音频信号，此时，确定出的声源方向也为多个方向。

这里，所述的方向为提前设置的多个方向，如此，通过计算提前设置的方向上的目标广义互相关值来完成声源定位。

在一具体示例中，可以采用如下方法得到目标广义互相关值，具体地，基于所述麦克风所对应的所述频域信号的各频率信息，计算得到针对一个方向的所述麦克风阵列中各对麦克风对应的广义互相关值；基于针对一个方向上的所有广义互相关值，得到一个方向上的目标广义互相关值，以得到多个方向上的目标广义互相关值。比如，基于所述麦克风所对应的所述频域信号的一个频率信息以及一个麦克风对，得到一个广义互相关值，以此类推，得到针对一个方向的所有广义互相关值，换言之，一个频率信息和一个麦克风对，得到一个广义互相关值，而频域信号中包含有多个频率信息，同时，麦克风对也存在多个，所以，一个方向能够得到多个广义互相关值，进而，基于针对一个方向上的所有广义互相关值，得到一个方向上的目标广义互相关值，进而得到多个方向上的目标广义互相关值。比如，将针对一个方向上的所有广义互相关值进行相加后得到该方向上的目标广义互相关值。

实际应用中，当确定出每个方向上的目标广义互相关值后，将所述目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向，如此，来实现声源定位。

在一具体示例中，为减少计算量，可以采用下述两步法来得到所述音频信号的声源方向，比如，先粗略定位，基于所述目标广义互相值所表征的延迟特征从多个方向中选取出所述音频信号的疑似声源方向，这里，为简单起见，粗略定位的方向可以具体为麦克风正对的采集方向；然后，在精细定位，即确定出所述疑似声源方向对应的多个相邻方向，比如，将与疑似声源方向的正负预设度数中选取出多个相邻方向，进而，采用相同的方式，计算得到所述多个相邻方向的目标广义互相关值，并基于所述多个相邻方向的目标广义互相关值从所述多个相邻方向中确定出所述音频信号的声源方向。如此，在数据量减小的情况下，实现快速定位。当然，在一具体示例中，可以将所述多个相邻方向的目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

这里，由于本申请方案能够实现多声源的快速定位，所以，能够支持多人会议通话场景，该场景下，当完成声源定位后，基于定位结果从已经定位的声源方向上进行音频采集，并将采集后的信号进行混叠后传输，以完成会议通话场景中的音频采集和传输流程；而且，由于本申请方案能够进行快速定位，所以，不会存在丢字等问题；当声源方向发生变化后，依然能够快速定位到，所以，从根本上解决了现有技术反应速度慢、无法支持多声源会议场景的问题。进一步地，由于本申请方案只将选择出的音频进行传输，所以，能够确保通话场景中的通话质量，为提升用户体验奠定了基础。

这样，由于本申请方案能够利用麦克风阵列中各麦克风从不同方向采集音频信号，并利用音频信号对应频率信息到达麦克风对(即麦克风阵列中任意两个麦克风组成的一对麦克风)中各所述麦克风的延迟特征不同，快速计算得到在多个方向上的广义互相关值(也即目标广义互相关值)，进而完成声源定位；而且，该定位方式即便对多声源而言同样适用，同样能够实现快速定位，不会出现丢字现象，因此，从根本上解决了现有技术反应速度慢、无法支持多声源场景的问题。

以下结合具体示例对本申请方案做进一步详细说明，具体地，本示例以会议通话场景为例，利用均匀环形麦克风阵列(均匀环形麦克风阵列，所有麦克风等间距的放在一个圆上)来实现声源的快速定位，进而从根本上解决了现有技术反应速度慢、无法支持多声源场景的问题。这里，本示例所述的声源定位(Sound Source Localization，SSL)指使用麦克风采集到的信号的相位信息，实现快速声源定位。

如图2所示，基于相位信息的快速声源定位流程如下：

对于麦克风阵列中的所有麦克风，获得一帧时域信号；

对于所有麦克风而言，通过短时傅里叶变换(Short Time Fourier Transform，STFT)，将获取到的时域信号变换为频域信号；

对于所有麦克风而言，计算频域信号的相位(phase)，得到频域信号对应的频率信息；

将麦克风阵列中所有麦克风进行两两配对，得到个麦克风对，其中，M为麦克风的个数。例如，使用6个麦克风，此时，得到15个麦克风对；

预先设定D个目标方向，其中，D大于等于2的正整数；对每一个目标方向而言，基于每一个麦克风对以及每一个时域信号对应的频率信息，计算一个广义互相关GeneralizedCorrelation，GCC)值，对于所有频率新修和所有麦克风对而言，按照相同方式计算，即可得到针对一个目标方向上的多个广义互相关值，将多个广义互相关值求和处理，最终得到该目标方向上的输出值(也即目标广义互相关值)(在上图中以加粗箭头表示)；

对于D个方向而言，得到D个输出值，找出D个输出值的最大值，其对应的目标方向即为声源方向(Direction of Arrival，DOA)。

实际应用中，可以采用如下方式计算得到广义互相关(以下简称GCC)值，具体地：

以1和2号麦克风组成的麦克风对为例，在角频率ω下，其广义互相关定义为：

其中，Ψ₁₂(ω)为与角频率相关的加权函数，ω＝2^πf(f表征频率信息)，X₁(ω)和X₂(ω)分别为1和2号麦克风STFT后在角频率ω下的频域系数，*表示共轭，τ表示当前方向的远场声源在1和2号麦克风位置所形成的时间差(Time Difference of Arrival，TDOA)。

这里，为了实现快速的声源定位，可以使用相位变换(Phase Transform，PHAT)加权函数，即

此时，广义互相关公式可变换为：

考虑实信号傅里叶变换的共轭对称性，即∠X_m(-ω)＝-∠X_m(ω),m＝1,2,…，以上公式可简化为：

实际应用中，考虑到语音特性，会将积分上下限限制在某一频段，例如[500，3000]Hz，如此，增加算法稳定性。

这里，为减少计算量，本示例还可以采用两步定位(Two-step SSL)方式来实现快速定位，具体地，在会议通话场景中，通常需要在二维水平面，也即360°全空间进行声源定位。为了提高定位精度，希望预先设定的目标方向的个数D尽量大。例如，当D＝60时，定位精度即可为δθ＝360°/2D＝3°。但是，随着D的增大，计算量也会增加，因此，在不降低D的取值(也即不降低精确度)的前提下，显著降低计算量，本示例基于均匀环形阵列的圆周对称性提出两步定位法定位方案。具体步骤如下：

假设均匀环形阵列中包含M个麦克风，为了实现方便，使D为M的整数倍，即D＝D₁M,D₁∈Z⁺。比如，对于6麦克风均匀环形阵列，即M＝6，可选择D＝D₁M＝60,D₁＝10，其中，D₁为精度。

第一步，粗略定位：先对M个麦克风正对方向进行扫描，找出GCC最大值对应的方向。

第二部，精细定位：在第一步返回的方向两侧各D₁-1个精细方向，共计2(D₁-1)+1个方向上进行扫描后，找出GCC最大值对应的方向得出最终的定位结果。

举例来说，以M＝6,D＝60为例，如图3所述：

第一步，在6个麦克风所示的方向上进行粗略定位，得到GCC最大值对应的方向(图中灰色图标所对应方向)。

第二步，在灰色图标所对应方向两侧进行精细扫描(如弧线所示)，每一侧有D₁-1＝D/M-1＝9个等间隔方向，两侧加上灰色图标所对应方向，共有2(D₁-1)+1＝19个方向，得到最终的定位结果。

在图3所示示例中，使用两步定位方向，仅需要扫描6+19＝25个方向，相比直接扫描60个方向而言，减少了超过一半的计算量。

这里，语音激活检测(Voice Activity Detection，VAD)，当音频不存在时，声源定位算法如果继续工作，可能会定位到噪声源，或者出现随机定位结果，因此，声源定位算法需要与语音激活检测算法协同工作。只有在检测到音频存在时，声源定位才输出DOA；当语音不存在时，声源定位输出为NULL(空)。

本申请实施例还提供了一种声源定位装置，如图4所示，所述装置包括：

采集单元41，用于利用设置的麦克风阵列采集音频信号，其中，所述麦克风阵列中包含有多个麦克风，所述多个麦克风分别设置于所述音频采集设备的不同方向，用于从不同方向采集音频信号；

信号转换单元42，用于确定所述音频信号的频域信号；

计算单元43，用于基于所述麦克风所对应的所述频域信号的频率信息，计算多个方向上的目标广义互相关值，其中，所述多个方向中任意一个方向上的目标广义互相关值用于表征频率信息到达所述麦克风阵列中一对麦克风的延迟特征；

定位单元44，用于基于所述多个方向上的目标广义互相关值所表征的延迟特征从所述多个方向中确定出所述音频信号的声源方向。

本申请方案一具体示例中，所述计算单元43，还用于：

将所述麦克风阵列中任意两个麦克风进行组合，得到N对麦克风，其中，所述所述M为所述麦克风阵列中麦克风的数量。

本申请方案一具体示例中，所述计算单元43，还用于：

基于所述麦克风所对应的所述频域信号的各频率信息，计算得到针对一个方向的所述麦克风阵列中各对麦克风对应的广义互相关值；

基于针对一个方向上的所有广义互相关值，得到一个方向上的目标广义互相关值，以得到多个方向上的目标广义互相关值。

本申请方案一具体示例中，所述定位单元44，还用于将所述目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

本申请方案一具体示例中，所述定位单元44，还用于：

基于所述目标广义互相值所表征的延迟特征从多个方向中选取出所述音频信号的疑似声源方向；

确定出所述疑似声源方向对应的多个相邻方向；

计算得到所述多个相邻方向的目标广义互相关值，并从所述多个相邻方向中确定出所述音频信号的声源方向。

本申请方案一具体示例中，所述定位单元44，还用于：

将所述多个相邻方向的目标广义互相关值中最大值对应的方向作为所述音频信号的声源方向。

这里需要指出的是：以上装置实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。

本申请实施例还提供了一种声源定位设备，包括：一个或多个处理器；与所述一个或多个处理器通信连接的存储器；一个或多个应用程序；其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行以上所述的方法。

在一具体示例中，本申请实施例所述的声源设备可具体为如图5所示的结构，所述声源设备至少包括处理器51、存储介质52以及至少一个外部通信接口53；所述处理器51、存储介质52以及外部通信接口53均通过总线54连接。所述处理器51可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码，所述计算机可执行代码能够执行以上任一实施例所述的方法。在实际应用中，所述采集单元41、信号转换单元42、计算单元43以及定位单元44均可以通过所述处理器51实现。

这里需要指出的是：以上声源定位设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明声源定位设备实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。

本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现以上所述的方法。

这里，计算机可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

上述所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。