具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明提供的语音增强方法一实施例的流程示意图。

步骤S11：获取到待增强语音。

获取到待增强语音。其中，可以通过语音接收器获取到待增强语音或通过语音播放器播放的待增强语音。其中，语音接收器包括有线麦克风、无线麦克风、电话听筒等语音接收器。语音播放器包括：智能设备播放器、电话播放器等语音播放器。

在一个具体的应用场景中，可以通过多支麦克风获取到多通道的待增强语音。在另一个具体的应用场景中，也可以通过单个电话听筒获取到单通道的待增强语音。

步骤S12：基于待增强语音确定待增强语音的信号协方差矩阵的逆矩阵。

基于待增强语音确定待增强语音的信号协方差矩阵的逆矩阵。其中，协方差矩阵中的每个元素是各个向量元素之间的协方差。

在一个具体的应用场景中，可以基于待增强语音获得待增强语音的矩阵，再对矩阵进行矩阵变换得到待增强语音的信号协方差矩阵，对信号协方差矩阵进行求逆运算，得到待增强语音的信号协方差矩阵的逆矩阵。

在另一个具体的应用场景中，也可以基于待增强语音确定待增强语音的信号协方差矩阵的伴随矩阵，再基于该伴随矩阵求解逆矩阵，得到待增强语音的信号协方差矩阵的逆矩阵。

具体地计算待增强语音的信号协方差矩阵的逆矩阵的方法在此不做限定。

步骤S13：利用待增强语音中目标语音对应的掩码矩阵确定目标语音的目标信号协方差矩阵。

利用待增强语音中目标语音对应的掩码矩阵来确定目标语音的目标信号协方差矩阵。其中，目标语音指的是待增强语音中需要在增强的语音。在一个具体的应用场景中，当待增强语音为会议记录麦克风所接受的语音时，目标语音为会议发言人的语音，除此之外均为背景音。

其中，掩码矩阵用于对待增强语音进行掩码，以掩盖背景音突出目标语音。在一个具体的应用场景中，可以通过对待增强语音的矩阵的各元素进行目标语音存在的概率估计，概率越大，目标语音存在的概率越大，从而获得待增强语音中目标语音对应的掩码矩阵。在其他应用场景中，也可以通过深度神经网络对待增强语音的矩阵进行过滤，进而得到待增强语音中目标语音对应的掩码矩阵。

而目标信号协方差矩阵为目标语音所对应的信号协方差矩阵。通过目标语音对应的掩码矩阵来突出目标语音，进而来确定目标语音的目标信号协方差矩阵，能够提高目标信号协方差矩阵的准确性和可靠性。

步骤S14：通过信号协方差矩阵的逆矩阵和目标信号协方差矩阵对待增强语音进行语音增强。

通过上述步骤获得的信号协方差矩阵的逆矩阵和目标信号协方差矩阵对待增强语音进行语音增强。

在一个具体的应用场景中，可以通过信号协方差矩阵的逆矩阵和目标信号协方差矩阵计算得到波束形成器系数，进而通过波束形成器系数对待增强语音进行语音增强。其中，波束形成器系数为MVDR(Minimum Variance Distortionless Response)波束形成器系数，通过MVDR波束形成器系数对待增强语音进行处理，能够基于MVDR算法的约束条件让待增强语音的背景音最小化。其中，约束条件是是纯净语音信号保持不变的情况下，使得输出的方差最小化。则能够完成背景音信号的最小化。

在另一个具体的应用场景中，也可以通过信号协方差矩阵的逆矩阵和目标信号协方差矩阵直接与待增强语音的矩阵进行结合计算，以对待增强语音进行语音增强。

在另一个具体的应用场景中，也可以基于信号协方差矩阵的逆矩阵和目标信号协方差矩阵通过机器学习的方式对待增强语音进行语音增强。具体地增强方式在此不做限定。

通过上述方法，本实施例的语音增强方法通过先确定待增强语音的信号协方差矩阵的逆矩阵，再利用待增强语音中目标语音对应的掩码矩阵确定目标语音的目标信号协方差矩阵，最后通过信号协方差矩阵的逆矩阵和目标信号协方差矩阵对待增强语音进行语音增强，本实施例能够针对待增强语音中的目标语音进行针对性增强，提高语音增强的效果。

请参阅图2，图2是本发明提供的语音增强方法另一实施例的流程示意图。

步骤S21：获取到时域形式的初始语音，依次对初始语音进行加窗、分帧以及傅里叶变换，得到时频域信号形式的待增强语音。

获取到时域形式的初始语音，再对初始语音进行加窗、分帧以及傅里叶变换，得到时频域信号形式的待增强语音。在一个具体的应用场景中，可以通过多支麦克风获取到多通道的时域形式的初始语音，再依次对初始语音进行加窗、分帧以及傅里叶变换(FFT，Fourier Transformation)，得到时频域信号形式的待增强语音。其中，时频域信号形式的待增强语音中包括多帧待增强语音。

在其他实施例中，也可以直接获取时频域信号形式的待增强语音，例如：获取到处理器或其他处理设备输出的时频域信号形式的待增强语音。

步骤S22：对待增强语音进行变换，得到待增强语音当前帧对应的矩阵，以及获取到待增强语音初始帧的信号协方差矩阵的逆矩阵，利用当前帧的矩阵以及矩阵的共轭转置矩阵、初始帧的信号协方差矩阵的逆矩阵基于第一递推关系式得到待增强语音当前帧的信号协方差矩阵的逆矩阵。

对时频域信号形式的待增强语音进行变换，得到待增强语音当前帧对应的矩阵。在一个具体的应用场景中，本实施例的语音增强可以在麦克风获取语音时实时对当前每一帧的语音进行增强，也可以在麦克风获取完整个语音后，依次对每一帧的语音进行增强。

在本实施例中可以将时频域信号形式的待增强语音当前帧对应的矩阵表示为：

y(f,t)＝[y_1,f,t,y_2,f,t,...y_J,f,t]^T

其中，y(f,t)为时频域信号形式当前帧对应的矩阵，后续公式中的y_f,t与当前帧对应的矩阵y(f,t)相同，y(f,t)表示在时间t或第t帧，频率f处的J×1维的观测向量。J为麦克风的数目，即y_1,f,t,y_2,f,t,...y_J,f,t为J支麦克风分别对应的语音信号。T为矩阵的转置。t为当前帧时间，或任意帧时间。f为当前频率或任意频率。

再获取到待增强语音初始帧的信号协方差矩阵的逆矩阵，也就是初始帧为t为0时刻的语音帧。进而利用当前帧的矩阵以及矩阵的共轭转置矩阵、初始帧的信号协方差矩阵的逆矩阵基于第一递推关系式得到待增强语音当前帧的信号协方差矩阵的逆矩阵。其中，第一递推关系式表征当前帧的信号协方差矩阵的逆矩阵与前一帧的信号协方差矩阵的逆矩阵的对应关系。

具体地，第一递推关系式如下：

其中，为待增强语音的第t帧的信号协方差矩阵的逆矩阵，为第t-1帧的信号协方差矩阵的逆矩阵，y_f,t为待增强语音的第t帧的矩阵，为待增强语音第t帧矩阵的共轭转置矩阵。t为当前帧时刻，当待增强语音共有s帧时，t可以包括(0、1、2...s)，具体基于当前所针对的语音帧设置。

第一递推关系式表征当前帧的信号协方差矩阵的逆矩阵与前一帧的信号协方差矩阵的逆矩阵的对应关系，也就是每相邻两帧的信号协方差矩阵的逆矩阵之间的对应关系。因此，当获取到待增强语音初始帧的信号协方差矩阵的逆矩阵，即将待增强语音初始帧的信号协方差矩阵的逆矩阵代入到t为0第一递推关系式中，计算得到第一帧的信号协方差矩阵的逆矩阵，进而再将第一帧的信号协方差矩阵的逆矩阵代入到t为1第一递推关系式中，计算得到第二帧的信号协方差矩阵的逆矩阵，依次类推，则可以利用各帧的矩阵以及各帧矩阵的共轭转置矩阵、初始帧的信号协方差矩阵的逆矩阵基于第一递推关系式得到待增强语音所有帧的信号协方差矩阵的逆矩阵。

本步骤获取待增强语音所有帧的信号协方差矩阵的逆矩阵的方法仅需获取各帧的矩阵以及各帧矩阵的共轭转置矩阵以及初始帧的信号协方差矩阵后，基于第一递推关系式进行计算即可得到，无需依次针对待增强语音中每一帧的信号协方差矩阵的逆矩阵进行求逆运算，本步骤大量减少了语音增强过程中的计算量和计算复杂度，提高了语音增强效率。

其中，第一递推关系式是通过待增强语音的当前帧的矩阵以及共轭转置矩阵构建第一对应关系后，对第一对应关系进行逆运算后得到的。具体地，可以基于待增强语音的当前帧的矩阵以及共轭转置矩阵构建当前帧的信号协方差矩阵与前一帧的信号协方差矩阵的第一对应关系，第一对应关系如下：

其中，Y_f,t为待增强语音第t帧的信号协方差矩阵，Y_f,t-1为待增强语音第t-1帧的信号协方差矩阵。对第一对应关系，即公式(2)进行求逆运算，则获得第一递推关系式，即公式(1)。

第一对应关系表征了待增强语音相邻帧的信号协方差矩阵之间的迭代更新方式，只需对第一对应关系进行一次求逆运算，即可得到第一递推关系式，进而基于第一递推关系式以及初始帧的信号协方差矩阵的逆矩阵递推求得待增强语音每一帧的信号协方差矩阵的逆矩阵，此过程大量减少了获取待增强语音每一帧的信号协方差矩阵的逆矩阵的计算量与计算复杂度，提高了获取待增强语音每一帧的信号协方差矩阵的逆矩阵的速度和效率。

其中，初始帧的信号协方差矩阵的逆矩阵可以包括单位矩阵、值范围在0-1的随机矩阵或服从正态分布的概率矩阵等简单矩阵，从而将初始帧的信号协方差矩阵代入到第一递推关系式后，能够进一步减少递推计算的计算量，提高计算效率。

步骤S23：利用待增强语音对应的矩阵得到待增强语音的当前帧存在目标语音的概率，获取到初始帧的掩码矩阵，利用初始帧的掩码矩阵以及概率得到待增强语音信号的当前帧的掩码矩阵，利用当前帧的掩码矩阵、当前帧对应的矩阵以及共轭转置矩阵得到目标语音的当前帧的目标信号协方差矩阵。

利用待增强语音对应的矩阵得到待增强语音的当前帧存在目标语音的概率，再获取到初始帧的掩码矩阵，利用初始帧的掩码矩阵以及概率得到待增强语音信号的当前帧的掩码矩阵，进而利用当前帧的掩码矩阵、当前帧对应的矩阵以及共轭转置矩阵得到目标语音的当前帧的目标信号协方差矩阵。

在一个具体的应用场景中，可以通过下列公式计算待增强语音的当前帧存在目标语音的概率：

其中，p(y_f,t)为待增强语音的第t帧存在目标语音的概率，e是自然常数，而其中，J为麦克风的数目，tr()表示求矩阵的迹，为目标矩阵协方差矩阵。而目标矩阵协方差矩阵可以通过第二对应关系进行获取，第二对应关系请具体参阅公式(5)。

获取到待增强语音的当前帧存在目标语音的概率后，利用概率以及初始帧的掩码矩阵，基于第二递推关系式得到当前帧的掩码矩阵。第二递推关系式如下：

其中，为第t帧的掩码矩阵，为第t-1帧的掩码矩阵。超参数α和β满足关系α+β＝1。

其中，第二递推关系式表征当前帧的掩码矩阵与前一帧的掩码矩阵的对应关系；因此，获取到初始帧的掩码矩阵后，将初始帧的掩码矩阵代入到第二递推关系式中，即可求得第一帧的掩码矩阵，进而将第一帧的掩码矩阵再次代入到第二递推关系式中，即可求得第二帧的掩码矩阵中，依次类推，即可获得待增强语音信号的所有帧的掩码矩阵。

其中，初始帧的掩码矩阵可以包括单位矩阵、值范围在0-1的随机矩阵或服从正态分布的概率矩阵等元素在0-1之间的简单矩阵，从而将初始帧的掩码矩阵代入到第一递推关系式后，能够进一步减少递推计算的计算量，提高计算效率。

获得待增强语音信号的所有帧的掩码矩阵后，利用当前帧的掩码矩阵、当前帧对应的矩阵以及共轭转置矩阵得到目标语音的目标信号协方差矩阵。具体地，利用当前帧的掩码矩阵、当前帧对应的矩阵以及共轭转置矩阵、初始帧的目标信号协方差矩阵利用第三递推关系式得到当前帧的目标信号协方差矩阵，第三递推关系式具体如下：

其中，为第t帧的目标信号协方差矩阵，为第t-1帧的目标信号协方差矩阵。为第t帧的掩码矩阵，由上述可知第三递推关系式表征当前帧的目标信号协方差矩阵与前一帧的目标信号协方差矩阵的对应关系。只要将初始帧的目标信号协方差矩阵代入到第三递推关系式中，即可依次递推出所有帧的目标信号协方差矩阵。

而第三递推关系式是通过待增强语音的当前帧的矩阵以及共轭转置矩阵、目标信号协方差矩阵以及当前帧的掩码矩阵构建第二对应关系后，对第二对应关系进行变换后得到的。

第二对应关系具体如下：

其中，为第t帧的掩码矩阵，为整个目标语音的目标信号协方差矩阵，通过第t帧的掩码矩阵对第t帧的待增强语音的矩阵以及第t帧的待增强语音的共轭转置矩阵进行掩码，即可获得目标语音的目标信号协方差矩阵

获得目标语音的目标信号协方差矩阵后，基于公式(6)进行转换可以得到初始帧的目标信号协方差矩阵，进而将初始帧的目标信号协方差矩阵代入到公式(5)，完成所有帧的目标信号协方差矩阵的计算。

步骤S24：通过当前帧的信号协方差矩阵的逆矩阵和当前帧的目标信号协方差矩阵计算得到当前帧的波束形成器系数，将波束形成器系数与当前帧的待增强语音进行相乘，以对当前帧的待增强语音进行增强。

获取到所有帧的信号协方差矩阵的逆矩阵和所有帧的目标信号协方差矩阵后，通过每一帧的信号协方差矩阵的逆矩阵和每一帧的目标信号协方差矩阵计算得到每一帧的波束形成器系数。

在一个具体的应用场景中，通过当前帧的信号协方差矩阵的逆矩阵和当前帧的目标信号协方差矩阵计算得到当前帧的波束形成器系数的具体计算方式如下：

其中，w_f,t为第t帧的波束形成器系数，也称为MVDR滤波器系数，tr()表示求矩阵的迹，d是一个M*1维的0-1向量，本实施例中可以为1或0。

将第t帧的波束形成器系数w_f,t进行转换，得到整个波束形成器系数的矩阵W_f，进而对整个波束形成器系数的矩阵W_f进行转换，得到整个波束形成器系数的共轭转置矩阵

将波束形成器系数与每一帧的待增强语音进行相乘，即可通过波束形成器系数对每一帧的待增强语音进行增强。

在一个具体的应用场景中，以当前帧为例进行计算，具体计算过程如下：

其中，为第t帧的待增强语音y_f,t经过整个波束形成器系数的共轭转置矩阵进行增强后的第t帧的待增强语音。本实施例中，第t帧即为当前帧。

通过上述公式(7)对每一帧的待增强语音进行增强，即可实现对整个待增强语音的语音增强。

在整个待增强语音的语音增强后，对语音增强后的语音进行傅里叶逆变换得到语音增强后的时域形式的语音信号，便于通过语音增强后的时域形式的语音信号进行应用，例如匹配声音播放器的格式等。

通过上述步骤，本实施例的语音增强方法先构建当前帧的掩码矩阵与前一帧的掩码矩阵的对应关系以及当前帧的信号协方差矩阵的逆矩阵与前一帧的信号协方差矩阵的逆矩阵的对应关系，然后再获取初始帧的掩码矩阵以及信号协方差矩阵的逆矩阵，进而通过上述对应关系依次递推出所有帧的掩码矩阵以及信号协方差矩阵的逆矩阵，进而基于上述矩阵计算得到波束形成器系数，最后利用波束形成器系数完成对每一帧的待增强语音的语音增强，本实施例能避免对每一帧的信号协方差矩阵进行求逆运算，而是直接基于初始帧的信号协方差矩阵进行递推获取，从而大量减少了计算信号协方差矩阵的逆矩阵的计算量和计算复杂度，且能避免单独计算每一帧的掩码矩阵，而是基于初始帧的掩码矩阵进行递推获取，进一步减少了掩码矩阵的计算量和计算复杂度，且本实施例还获取到数值简单的初始帧的掩码矩阵和信号协方差矩阵的逆矩阵，从而降低递推计算难度，提高计算效果。因此，本实施例的语音增强方法能够大幅降低计算量与计算复杂度，提高计算效率。减少计算失误，提高语音增强效果。

基于同样的发明构思，本发明还提出了一种电子设备，该电子设备能够被执行以实现上述任一实施例的语音增强方法，请参阅图3，图3是本发明提供的电子设备一实施例的结构示意图，电子设备包括处理器31以及存储器32。

处理器31用于执行存储器32中存储的程序指令，以实现上述任一语音增强方法实施例的步骤。在一个具体的实施场景中，电子设备可以包括但不限于：微型计算机、服务器，此外，电子设备还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器31用于控制其自身以及存储器32以实现上述任一语音增强方法实施例的步骤。处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器31可以由集成电路芯片共同实现。

上述方案，能够实现对待增强语音的语音增强。

基于同样的发明构思，本发明还提出了一种计算机可读存储介质，请参阅图4，图4是本发明提供的计算机可读存储介质一实施例的结构示意图。计算机可读存储介质40中存储有至少一个程序数据41，程序数据41用于实现上述任一方法。在一个实施例中，计算机可读存储介质40包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。