具体实施方式

下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

立体声是指采用多个扬声器声道发出的具有空间感的声音，其更加逼近自然界真实的声音，可以起到更好的音视频效果，因此被广泛应用于例如视频会议、在线游戏等场景下。立体声语音系统的两个扬声器发出的声音，会被近端的麦克风再次拾取，并将该声音传输至远端形成声学回声，声学回声会严重影响语音通话的质量。

相关技术中，针对立体声回声的消除，其中一类方法是设置两个自适应滤波器，例如NLMS(Normalized Least Mean Squares，归一化最小均方)滤波器，每个自适应滤波器分别估计一个扬声器到麦克风的回声路径来消除该扬声器产生的回声，从而实现立体声回声消除。但是，对于多人在线语音等复杂的双讲(Double talk)场景下，由于立体声系统的回声路径不断发生变化，自适应滤波器无法快速准确的估计回声路径的变化，导致回声消除效果不佳。

相关技术中另一类方法是基于独立成分分析(ICA，Independent ComponentAnalysis)方法的回声消除，通过对每个扬声器回声信号进行分析，从麦克风拾取信号中分辨出回声信号实现回声消除。但是，在复杂音频场景下，由于音频信号固有的频率排列模糊，会导致近端语音信号失真，影响语音通信效果。

基于上述相关技术中存在的缺陷，本公开实施方式提供了一种音频信号处理方法、装置、音频系统以及存储介质，旨在提高立体声音频系统的回声消除效果。

第一方面，本公开实施方式提供了一种音频信号处理方法，该方法可以应用于具有语音通信系统的电子设备中，例如手机、平板电脑、笔记本电脑等，本公开对此不作限制。

如图1所示，在一些实施方式中，本公开示例的音频信号处理方法包括：

S110、根据第一参考信号、第二参考信号以及麦克风拾取的第一音频信号确定第一信号向量。

具体而言，本公开实施方式的语音通信系统为立体声系统，系统包括组成立体声的两个扬声器，也即第一扬声器和第二扬声器。第一扬声器和第二扬声器可分别设于系统的不同位置，从而形成立体声。

可以理解，在第一扬声器和第二扬声器播放声音时，麦克风可以同时拾取到两个扬声器播放的回声信号。由于两个扬声器位置不同，因此与麦克风拾取的第一扬声器和第二扬声器的回声具有不同的回声路径。

第一参考信号和第二参考信号为系统接收到的远端语音信号，例如对于通话场景，参考信号指系统接收到的远端讲话人说话产生的语音信号。第一参考信号为通过第一扬声器播放的远端语音信号，而第二参考信号为通过第二扬声器播放的远端语音信号。

在第一扬声器播放第一参考信号时，通过第一扬声器与麦克风之间的回声路径传播，麦克风会接收到第一参考信号到达麦克风时的第一回声信号。同理，在第二扬声器播放第二参考信号时，通过第二扬声器与麦克风之间的回声路径传播，麦克风会接收到第二参考信号到达麦克风时的第二回声信号。

同时，对于双讲场景，麦克风还会采集到近端讲话人讲话时产生的近端语音信号以及近端的背景噪声信号。也就是说，麦克风拾取到的第一音频信号包括：近端语音信号、背景噪声信号、第一回声信号、第二回声信号。

在本公开实施方式中，根据第一参考信号、第二参考信号以及麦克风拾取的第一音频信号，确定第一信号向量。

例如在一些实施方式中，可对第一参考信号、第二参考信号以及第一音频信号由时域形式转换为频域形式，从而将频域形式的各信号组合成矩阵，也即第一信号向量。本公开下述实施方式进行具体说明，在此暂不详述。

S120、根据当前帧的第一信号向量和前一帧的回声分离向量，得到第一残差信号向量。

值得说明的是，麦克风拾取的第一音频信号为时域上连续的信号，在信号处理时，需要将时域上连续的信号划分为连续的多帧信号。本公开实施方式所述的“当前帧”指当前待处理的帧信号，而“前一帧”指位于当前帧之前一帧的连续信号。

在本公开实施方式中，通过S110可知，第一信号向量表示包括近端语音和立体声回声的向量，回声分离向量指由第一信号向量中分离出立体声回声的向量。通过回声分离向量对第一信号向量处理，可分离处第一信号向量中的立体声回声，而保留近端语音。

但是，在本公开实施方式中，对当前帧的第一信号向量处理时，首先基于前一帧的回声分离向量对第一信号向量进行分离处理。在回声路径发生较大变化的场景下，当前帧回声信号与前一帧回声信号变化较大，因此基于前一帧的回声分离向量并不能准确的从第一信号向量中完全分离出立体声回声。也就是说，利用前一帧回声分离向量对第一信号向量进行处理之后，得到的第一残差信号向量包括近端语音信号和残留的立体声回声信号。

因此，在本公开实施方式中，需要基于第一残差信号向量对前一帧的回声分离向量进行更新，得到相对准确的当前帧的回声分离向量。当前帧的回声分离向量可相对准确地表示当前帧的立体声回声路径，因此利用当前帧回声分离向量可更加准确地由第一信号向量中分离出立体声回声，而保留近端语音。下面S130～S140中进行具体说明。

对于基于前一帧的回声分离向量对当前帧第一信号向量进行处理，得到第一残差信号向量的过程，本公开下述实施方式中进行具体说明，在此暂不详述。

S130、根据第一信号向量和第一残差信号向量对前一帧的回声分离向量进行更新，得到当前帧的回声分离向量。

在一些实施方式中，可基于第一信号向量、第一残差信号向量以及前一帧的辅助变量，计算得到当前帧的辅助变量，根据当前帧的辅助变量得到当前帧的回声分离向量。本公开下述中进行具体说明，在此暂不详述。

可以理解，当前帧的回声分离向量表示对应于当前帧的立体声回声信号，相对于前一帧的回声分离向量，可以更好的表示当前时刻的立体声回声路径，对于回声路径变化的复杂场景，可以更好的分离立体声回声信号。

S140、基于当前帧的回声分离向量对第一信号向量进行回声分离，得到目标音频信号。

在得到当前帧的回声分离向量之后，通过前述可知，第一信号向量表示当前帧包括近端语音和立体声回声的向量，而当前帧的回声分离向量表示当前帧的立体声回声的回声路径。

从而，基于当前帧的回声分离向量对第一信号进行回声分离，也即两个向量相乘，即可得到目标音频信号。目标音频信号表示消除立体声回声之后的近端语音信号。

上述对第一音频信号中的一帧信号处理过程进行了具体说明，在连续帧的处理过程中，随着时间的推移，每一个“当前帧”的处理过程都重复执行上述S110至S140过程，实现对麦克风拾取信号的处理，得到消除立体声回声后干净的近端语音信号。

通过上述可知，本公开实施方式中，采用基于独立向量分析(Independent VectorAnalysis，IVA)的方法消除立体声回声，也即，将麦克风拾取的第一音频信号以及两个扬声器产生的立体声回声信号构建为第一信号向量，然后基于该独立向量(第一信号向量)进行立体声回声的分离处理，将回声消除问题转变为多通道语音分离问题，实现立体声回声消除。

并且，相较于相关技术中的双滤波器回声消除方法，无需额外的双讲场景检测和自适应步长控制，从根本上避免了检测和控制不准确导致的双讲场景立体声回声消除效果较差的问题。相较于相关技术中的ICA方法，避免了频带上可能发生错误排列导致的近端语音信号失真的问题，而且近端语音信号与回声分离向量更新速度更快，提高语音通信效果。

图2示出了本公开一些实施方式中音频信号处理方法的原理图，下面结合图2对本公开方法进行说明。

如图2所示，本公开示例的音频系统为立体声系统，其包括两个扬声器，也即第一扬声器210、第二扬声器220以及麦克风100。第一扬声器210可将接收到的远端第一参考信号x1(n)播放，从而麦克风100拾取到的播放第一参考信号x1(n)所产生的第一回声信号y1(n)。第二扬声器220可将接收到的远端第二参考信号x2(n)播放，从而麦克风100拾取到的播放第一参考信号x2(n)所产生的第一回声信号y2(n)。

同时，在双讲场景下，近端讲话人讲话产生的近端语音信号s(n)，以及近端背景噪声信号v(n)同样可以被麦克风100拾取到。也就是说，麦克风100拾取到的第一音频信号d(n)可表示为：

d(n)＝s(n)+v(n)+y1(n)+y2(n)

其中，s(n)+v(n)表示近端音频信号，其包括近端语音信号和背景噪声信号。y1(n)+y2(n)表示立体声回声信号，本公开实施方式的方法旨在从第一音频信号d(n)中消除立体声回声信号y1(n)和y2(n)。

如图3所示，在一些实施方式中，本公开示例的音频信号处理方法包括：

S310、分别将第一参考信号、第二参考信号以及第一音频信号由时域变换到频域，得到第一频域参考信号、第二频域参考信号以及第一频域音频信号。

S320、将第一频域参考信号、第二频域参考信号以及第一频域音频信号的向量按照预设方向排列，得到第一信号向量。

具体来说，第一参考信号、第二参考信号以及第一音频信号为时域信号，为便于对信号处理计算，首先将时域信号转换为频域。

在一些实施方式中，可采用短时傅里叶变换(STFT，short-time Fouriertransform)将时域信号转换为频域信号。在一个示例中，图2中STFT的处理过程表示为：

Xn＝fft(d.*win)

Xf1＝fft(x1.*win)

Xf2＝fft(x2.*win)

其中，d是麦克风100拾取的第一音频信号，x1是第一参考信号，x2是第二参考信号，fft(·)是短时傅里叶变换。

win是短时分析窗，其表示为：

win＝[0；sqrt(hanning(N-1))]

hanning(n)＝0.5*[1-cos(2π*n/N)]

其中，N是分析帧长度，hanning(n)是长度为N-1的汉宁窗。在一个示例中，短时分析窗可如图4所示。

通过上式计算得到第一参考信号Xf1、第二参考信号Xf2以及第一音频信号Xn，然后将第一参考信号Xf1、第二参考信号Xf2以及第一音频信号Xn组合为矩阵形式，得到第一信号向量，表示为：

X(l)＝[Xn,Xf1,Xf2]

其中，l表示帧索引，k表示频率点，X(l)表示第一信号向量。

继续参照图2，在得到第一信号向量之后，回声消除模块300对第一信号向量中的立体声回声信号进行分离。在本公开实施方式中，根据当前帧的第一信号向量和前一帧的回声分离向量，得到第一残差信号向量，表示为：

E₁(l,k)＝W^T(l-1,k)×X(l,k)

其中，X(l,k)表示当前帧(第l帧)的第一信号向量，W^T(l-1,k)表示前一帧(第l-1帧)的回声分离向量，E₁(l,k)表示当前帧的第一残差信号向量。也即，上式中，首先通过前一帧的回声分离向量对当前帧第一信号向量中的立体声回声进行消除，得到的第一残差信号向量E₁(l,k)。

值得说明的是，在初始帧信号处理时，由于初始帧没有前一帧信号，因此可以预设初始回声分离向量，在当前帧为初始帧的情况下，初始帧的第一信号向量基于初始回声分离向量得到第一残差信号向量。

而在当前帧不是初始帧的情况下，由于每一帧信号均可以计算得到当前帧对应的回声分离向量，因此当前帧的第一信号向量基于前一帧的回声分离向量得到第一残差信号向量。后续计算得到的当前帧的回声分离向量又作为下一帧信号的前一帧回声分离向量，如此循环迭代处理即可。

如图5所示，在一些实施方式中，本公开示例的音频信号处理方法包括：

S510、根据当前帧的第一信号向量和第一残差信号向量，以及前一帧的辅助变量，确定当前帧的辅助变量。

S520、根据当前帧的辅助变量对前一帧的回声分离向量进行更新，得到当前帧的回声分离向量。

具体来说，通过前述可知，本公开实施方式中，需要基于第一残差信号向量得到当前帧的回声分离向量。在本公开实施方式中，引入辅助变量函数来计算得到当前帧的回声分离向量。

首先，根据当前帧的第一残差信号E₁(l,k)计算得到评价函数r，表示为：评价函数r表示对第一残差信号E₁(l,k)中每个频率点的分析评价。然后根据评价函数确定对比度函数表示为：然后根据当前帧的第一信号向量X(l,k)确定第一协方差矩阵Xf(l,k)，表示为：Xf(l,k)＝X(l,k)*X^H(l,k)，其中(·)^H表示厄米特共轭转置。之后，基于上述函数和协方差矩阵对前一帧的辅助变量进行更新，得到当前帧的辅助变量，表示为：

其中，V(l,k)表示当前帧(第l帧)的辅助变量，V(l-1,k)表示前一帧(第l-1帧)的辅助变量，α表示平滑函数，表示对比度函数。

在确定当前帧的辅助变量V(l,k)之后，即可根据当前帧的辅助变量V(l,k)得到当前帧的回声分离向量，表示为：

W(l,k)＝V(l,k)^-1I

其中，W(l,k)表示当前帧(第l帧)的回声分离向量，I是单位向量，I＝[1,0,0]^T。

通过上述过程，计算得到当前帧的回声分离向量W(l,k)，从而即可基于当前帧的回声分离向量对当前帧的第一信号向量中的立体声回声进行分离。

如图6所示，在一些实施方式中，本公开示例的音频信号处理方法包括：

S610、基于当前帧的回声分离向量对第一信号向量进行回声分离，得到目标频域信号。

S620、将目标频域信号由频域转换为时域，得到目标音频信号。

具体来说，对当前帧的第一信号向量进行回声分离的过程表示为：

E₂(l,k)＝W^T(l,k)×X(l,k)

其中，W^T(l,k)表示当前帧的回声分离向量，X(l,k)表示当前帧的第一信号向量。基于当前帧的回声分离向量对当前帧的第一信号向量进行回声分离，即可得到消除立体声回声之后的音频信号。

值得说明的是，如图2所示，回声消除模块300在对当前帧第一信号向量进行回声分离消除之后，得到的为频域形式的目标频域信号，因此可通过短时傅里叶逆变换(ISTFT)将目标频域信号转换到时域，得到时域形式的目标音频信号e，可表示为：

e＝ifft(E(l)).*win

其中，e是目标音频信号，ifft(·)是短时傅里叶逆变换。目标音频信号e即为消除立体声回声之后干净的近端音频信号，其主要包括近端语音和背景噪声。

通过上述可知，本公开实施方式中，采用基于独立向量分析技术来估计立体声回声的回声分离向量，引入辅助变量来加速回声分离向量的更新，实现立体声回声的消除，相较于传统的回声消除方法，提高复杂场景下的立体声回声消除效果，同时避免损伤近端语音，提高语音通信质量。

第二方面，本公开实施方式提供了一种音频信号处理装置，该装置可以应用于具有语音通信系统的电子设备中，例如手机、平板电脑、笔记本电脑等，本公开对此不作限制。

如图7所示，在一些实施方式中，本公开示例的音频信号处理装置包括：

确定模块701，被配置为根据第一参考信号、第二参考信号以及麦克风拾取的第一音频信号确定第一信号向量；第一音频信号包括由第一扬声器播放第一参考信号所产生的第一回声信号和由第二扬声器播放第二参考信号所产生的第二回声信号；

得到模块702，被配置为根据当前帧的第一信号向量和前一帧的回声分离向量，得到第一残差信号向量；

向量更新模块703，被配置为根据第一信号向量和第一残差信号向量对前一帧的回声分离向量进行更新，得到当前帧的回声分离向量；

回声分离模块704，被配置为基于当前帧的回声分离向量对第一信号向量进行回声分离，得到目标音频信号。

通过上述可知，本公开实施方式中，采用基于独立向量分析技术来估计立体声回声的回声分离向量，引入辅助变量来加速回声分离向量的更新，实现立体声回声的消除，相较于传统的回声消除方法，提高复杂场景下的立体声回声消除效果，同时避免损伤近端语音，提高语音通信质量。

在一些实施方式中，确定模块701具体被配置为：

分别将第一参考信号、第二参考信号以及第一音频信号由时域变换到频域，得到第一频域参考信号、第二频域参考信号以及第一频域音频信号；

将第一频域参考信号、第二频域参考信号以及第一频域音频信号的向量按照预设方向排列，得到第一信号向量。

在一些实施方式中，得到模块702具体被配置为：

在当前帧不是初始帧的情况下，基于前一帧的回声分离向量对第一信号向量进行回声分离，得到第一残差信号向量；

在当前帧为初始帧的情况下，基于预设的初始回声分离向量对第一信号向量进行回声分离，得到第一残差信号向量。

在一些实施方式中，向量更新模块703具体被配置为：

根据当前帧的第一信号向量和第一残差信号向量，以及前一帧的辅助变量，确定当前帧的辅助变量；

根据当前帧的辅助变量对前一帧的回声分离向量进行更新，得到当前帧的回声分离向量。

在一些实施方式中，向量更新模块703具体被配置为：

根据当前帧的第一残差信号向量确定评价函数；

根据评价函数确定对比度函数；

根据当前帧的第一信号向量确定第一协方差矩阵；

根据前一帧的辅助变量、第一协方差矩阵、对比度函数以及平滑函数，确定当前帧的回声分离向量。

在一些实施方式中，回声分离模块704具体被配置为：

基于当前帧的回声分离向量对第一信号向量进行回声分离，得到目标频域信号；

将目标频域信号由频域转换为时域，得到目标音频信号。

第三方面，本公开实施方式提供了一种电子设备，包括：

麦克风；

第一扬声器；

第二扬声器；

处理器；以及

存储器，存储有计算机指令，计算机指令用于使处理器执行根据第一方面中任一实施方式的方法。

本公开实施方式的电子设备，参照前述任一实施方式说明即可，本公开对此不再赘述。

第四方面，本公开实施方式提供了一种存储介质，存储有计算机指令，计算机指令用于使计算机执行根据第一方面任一实施方式的方法。

图8中示出了本公开一些实施方式中的电子设备的结构框图，下面结合图8对本公开一些实施方式的电子设备及存储介质相关原理进行说明。

参照图8，电子设备1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1808，音频组件1810，输入/输出(I/O)接口1812，传感器组件1816，以及通信组件1818。

处理组件1802通常控制电子设备1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。又如，处理组件1802可以从存储器读取可执行指令，以实现电子设备相关功能。

存储器1804被配置为存储各种类型的数据以支持在电子设备1800的操作。这些数据的示例包括用于在电子设备1800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1806为电子设备1800的各种组件提供电力。电源组件1806可以包括电源管理系统，一个或多个电源，及其他与为电子设备1800生成、管理和分配电力相关联的组件。

多媒体组件1808包括在所述电子设备1800和用户之间的提供一个输出接口的显示屏。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当电子设备1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当电子设备1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1818发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。

I/O接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1816包括一个或多个传感器，用于为电子设备1800提供各个方面的状态评估。例如，传感器组件1816可以检测到电子设备1800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1800的显示器和小键盘，传感器组件1816还可以检测电子设备1800或电子设备1800一个组件的位置改变，用户与电子设备1800接触的存在或不存在，电子设备1800方位或加速/减速和电子设备1800的温度变化。传感器组件1816可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1816还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1816还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1818被配置为便于电子设备1800和其他设备之间有线或无线方式的通信。电子设备1800可以接入基于通信标准的无线网络，如Wi-Fi，2G，3G，4G，5G或6G，或它们的组合。在一个示例性实施例中，通信组件1818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1818还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。

显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。