一种指向信息引导的实时语音分离方法和装置
阅读说明：本技术 一种指向信息引导的实时语音分离方法和装置 (Real-time voice separation method and device guided by pointing information ) 是由 何平 蒋升 于 2021-08-20 设计创作，主要内容包括：本发明公开了一种指向信息引导的实时语音分离方法和装置,属于信息处理的领域,该方法包括以下步骤：S1：对每个麦克风的时域信号进行导向矢量与指向滤波器初始化；S2：对初始化后的信号进行时频分解,完成从时域信号到时频域信号的变换；S3：对时频域信号进行分离滤波器计算,获取用于分离目标语音与剩余信号的滤波器；S4：根据获取的滤波器,得到目标语音的时频域信号,进而得到目标语音时域信号。本发明基于超指向滤波器构建实时IVA的初始估计,并且修正IVA的优化函数,保证分离算法可以快速收敛,并且准确提取目标语音信号。(The invention discloses a real-time voice separation method and a device for pointing information guidance, belonging to the field of information processing, wherein the method comprises the following steps: s1: initializing a guide vector and a directional filter for a time domain signal of each microphone; s2: performing time-frequency decomposition on the initialized signal to finish the transformation from the time domain signal to the time-frequency domain signal; s3: performing separation filter calculation on the time-frequency domain signal to obtain a filter for separating the target voice from the residual signal; s4: and according to the obtained filter, obtaining a time-frequency domain signal of the target voice, and further obtaining a time-domain signal of the target voice. The method constructs the initial estimation of the real-time IVA based on the super-directional filter, and modifies the optimization function of the IVA, thereby ensuring that the separation algorithm can be rapidly converged and accurately extracting the target voice signal.)
技术领域
本发明属于信息处理的领域，具体涉及一种指向信息引导的实时语音分离方法和装置。
背景技术
目前，麦克风阵列波束形成技术广泛应用于在线会议系统、车载人机交互、智能家居等领域。实际环境中，存在显著的噪声、竞争说话人等干扰，会显著降低会议通讯的听感和后续语音识别的准确率。基于麦克风阵列多阵元进行波束生成是降低信号噪声、提高通讯质量最常用的方法。如何有针对性的提取某一个方向的语音信号，同时显著压制其他噪声，对提升会议通讯质量、提升语音识别率等有重要意义。
基于独立矢量分析(Independent vector analysis,IVA)是目前最常用的语音分离/拾取技术。首先把所有阵元拾取的时域信号通过短时傅里叶变化转化到时频域，随后基于分离语音互熵最小的原则构建优化函数，基于该优化函数迭代更新分离矩阵，估计出分离矩阵之后，可以得到目标信号的频域估计，最后基于傅里叶逆变换得到时域估计。最新的一些IVA方法中，通过增加了分离矩阵与目标方向导向矢量的距离约束，使得IVA分离结果可以实时提取目标方语音。
现有技术的主要缺点如下：
1)现有的方向性IVA通过直接增加分离矩阵与导向矢量距离的约束，由于导向矢量在混响场景下准确度大大下降，导致在混响场景下性能显著不足。
2)方向性IVA技术在初始估计上不做约束，导致收敛时间过长，如果环境发生变化，比如干扰说话人在走动，会导致IVA分离矩阵收敛速度跟不上声学环境变化的速度。
有鉴于此，特提出本发明。
发明内容
本发明的目的是提供一种指向信息引导的实时语音分离方法和装置，其基于超指向滤波器构建实时IVA的初始估计，并且修正IVA的优化函数，保证分离算法可以快速收敛，并且准确提取目标方语音信号。
为了实现上述目的，本发明提供的一种指向信息引导的实时语音分离方法，应用于基于麦克风阵列的系统，包括以下步骤：
S1：对每个麦克风的时域信号进行导向矢量与指向滤波器初始化；
S2：对初始化后的信号进行时频分解，完成从时域信号到时频域信号的变换；
S3：对时频域信号进行分离滤波器计算，获取用于分离目标语音与剩余信号的滤波器；
S4：根据获取的滤波器，得到目标语音的时频域信号，进而得到目标语音时域信号。
进一步地，所述步骤S1之前还包括：获取每个麦克风的时域信号xm(n)；
所述步骤S1中，进行导向矢量的方法如下：对每个频带k，计算导向矢量u(k)，
q(θ)＝[cos(θ)，sin(θ)]
其中，fk为第k个频带的频率，k＝1,2,...K；c为声速，c＝340m/s；dm为第m个麦克风的二维坐标值；q(θ)为方向矢量，ωk为频带圆频率；
进行指向滤波器初始化的方法如下：对每个频带k计算超指向滤波器h(k)：
其中，R(k)代表均匀散射场的各个麦克风关于拾取信号归一化的自相关系数。
进一步地，所述步骤S2包括：
S201：对时域信号xm(n)进行短时傅里叶变换得到时频域表达：
其中，N为帧长，N＝512；w(n)为长度512的汉明窗，l为时间帧序号，k为频率序号。Xm(l，k)为第m个麦克风信号，在第l帧，第k个频带的频谱；
S202：对每一个频带k,构建一个频域原始向量X(l，k)：
X(l，k)＝[X1(l，k)，X2(l，k)，...，XM(l，k)]T。
进一步地，所述步骤S3包括：
S301：计算帧级别分离引导因子：
其中，r1(l)和r2(l)分别用于引导目标方语音与剩余信号；
S302：计算每一个频带的分离引导矩阵：
ψ1(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
ψ2(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
其中，ψ1(k)和ψ2(k)分别代表目标语音与剩余信号的引导矩阵；α为平滑因子，取值范围为0到1；
S303：为分离目标语音与剩余信号的滤波器构建新的优化函数，优化函数如下：
其中，G1(k)和G2(k)分别为分离目标语音与剩余信号的滤波器
S304：最小化优化函数，得到最优的滤波器。
所述最小化优化函数的过程为求解以下方程：
Ψ(k)G(k)＝ρ(k)
其中，
最优的滤波器G(k)可以求解为：
G(k)＝Ψ-1(k)ρ(k)。
进一步地，所述步骤S4包括：
S401：根据求解得到的最优滤波器，进而得到目标语音的频域估计：
S402：进行傅里叶逆变换得到目标语音时域估计：
本发明还提供了一种指向信息引导的实时语音分离装置，应用于基于麦克风阵列的系统，包括初始化模块、信号分解模块、分离滤波器计算模块和目标语音估计模块：
初始化模块用于对每个麦克风的时域信号进行导向矢量与指向滤波器初始化；
信号分解模块用于对初始化后的信号进行时频分解，完成从时域信号到时频域信号的变换；
分离滤波器计算模块用于对时频域信号进行分离滤波器计算，获取用于分离目标语音与剩余信号的滤波器；
目标语音估计模块用于根据获取的滤波器，得到目标语音的时频域信号，进而得到目标语音时域信号。
进一步地，所述初始化模块还用于获取每个麦克风的时域信号xm(n)；
所述信号分解模块用于进行导向矢量的方法如下：对每个频带k，计算导向矢量u(k)，
q(θ)＝[cos(θ)，sin(θ)]
其中，fk为第k个频带的频率，k＝1,2,...K；c为声速，c＝340m/s；dm为第m个麦克风的二维坐标值；q(θ)为方向矢量，ωk为频带圆频率；
所述信号分解模块用于进行指向滤波器初始化的方法如下：对每个频带k计算超指向滤波器h(k)：
其中，R(k)代表均匀散射场的各个麦克风关于拾取信号归一化的自相关系数。
进一步地，所述信号分解模块的操作步骤如下：
首先，对时域信号xm(n)进行短时傅里叶变换得到时频域表达：
其中，N为帧长，N＝512；w(n)为长度512的汉明窗，l为时间帧序号，k为频率序号。Xm(l，k)为第m个麦克风信号，在第l帧，第k个频带的频谱；
其次，对每一个频带k,构建一个频域原始向量X(l，k)：
X(l，k)＝[X1(l，k)，X2(l，k)，...，XM(l，k)]T。
进一步地，所述分离滤波器计算模块操作步骤如下：
首先，计算帧级别分离引导因子：
其中，r1(l)和r2(l)分别用于引导目标语音与剩余信号；
其次，计算每一个频带的分离引导矩阵：
ψ1(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
ψ2(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
其中，ψ1(k)和ψ2(k)分别代表目标语音与剩余信号的引导矩阵；α为平滑因子，取值范围为0到1；
之后，为分离目标语音与剩余信号的滤波器构建新的优化函数，优化函数如下：
其中，G1(k)和G2(k)分别为分离目标语音与剩余信号的滤波器
最后，最小化优化函数，得到最优的滤波器。
所述最小化优化函数的过程为求解以下方程：
Ψ(k)G(k)＝ρ(k)
其中，
最优的滤波器G(k)可以求解为：
G(K)＝Ψ-1(k)ρ(k)。
更进一步地，所述语音估计模块的操作步骤如下：
首先，根据求解得到的最优滤波器，进而得到目标语音的频域估计：
其次，进行傅里叶逆变换得到目标语音时域估计：
本发明提供的一种指向信息引导的实时语音分离方法和装置，具有如下有益效果：
1、相比于传统IVA，本发明用超指向滤波器计算引导因子，因此收敛性更快，可以适应声学环境变化的场景。
2、本项发明所设计的目标函数，既考虑到了信号之间的差异性，又增加了歧义性约束，可以得到解析最优解，不需要迭代，因此鲁棒性更强，分离效果更稳定、可靠。
附图说明
图1为本
具体实施方式
中的指向信息引导的实时语音分离方法的流程图。
图2为本具体实施方式中的使用的汉明窗函数的示意图。
图3为本具体实施方式中的指向信息引导的实时语音分离装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施方式对本发明作进一步的详细说明。
如图1所示，本发明的一实施方式为一种指向信息引导的实时语音分离方法，其能够应用于基于麦克风阵列的系统，例如语音会议系统、车载语音通讯系统及人机交互系统，可以实时提取目标语音信号，有助于提升在线语音会议通讯质量，也可以提高后续语音识别的准确性。
具体包括以下四个实施步骤：
S1：对每个麦克风的时域信号进行导向矢量与指向滤波器初始化。
在步骤S1之前，还包括获取每个麦克风的语音信号，获取的语音信号如下：假设xm(n)代表M个麦克风阵元实时拾取的原始时域信号，其中，m代表麦克风序号标签，其取值从1到M，n代表时间标签，目标语音相对麦克风阵列的方向为θ。
其中，目标语音是指对应目标方向的语音信号，对于语音分离任务而言，目标方向是根据所提取的信号提前知晓的，比如对于大屏语音通讯设备，希望分离的是90度方位的语音信号。
具体地，进行导向矢量的方法如下：
对每个频带k，计算导向矢量u(k)，其中，频带是指某个频率对应的信号分量：
q(θ)＝[cos(θ)，sin(θ)]
其中，fk为第k个频带的频率，k＝1,2,...K，其中K的取值是根据后续傅里叶变换来确定，如果帧长为512，那么K的取值为帧长的一半；c为声速，c＝340m/s；dm为第m个麦克风的二维坐标值；上标H代表共轭转置算符；j代表虚数单位q(θ)为方向矢量，ωk为频带圆频率。
进行指向滤波器初始化的方法如下：
对每个频带k计算超指向滤波器h(k)：
其中，R(k)代表均匀散射场的各个麦克风关于拾取信号归一化的自相关系数，其上标-1代表矩阵的逆。
通过上述两个步骤完成了对滤波器的初始化，用以计算后续空间区分性信息。
S2：对初始化后的信号进行时频分解，完成从时域信号到时频域信号的变换。
具体地，包括以下步骤：
S201：对时域信号xm(n)进行短时傅里叶变换得到时频域表达：
其中，N为帧长，N＝512；w(n)为长度512的汉明窗，其中，n代表时间上的序号，因此w(n)代表每一个对应时间序号n上的值；l为时间帧序号，以帧为单位；k为频率序号。Xm(l，k)为第m个麦克风信号，在第l帧，第k个频带的频谱。本发明中，使用的汉明窗函数如图2所示。
S202：对每一个频带k，构建一个频域原始向量X(l，k)：
X(l，k)＝[X1(l，k)，X2(l，k)，...，XM(l，k)]T
其中，上标T代表转置运算符，得到该原始向量为M维度列向量。
通过上述步骤能够完成从时域信号到时频域的变换。
S3：对时频域信号进行分离滤波器计算，获取用于分离目标语音与剩余信号的滤波器。
具体地，包括以下步骤：
S301：计算帧级别分离引导因子：
其中，|.|代表取复数的模，r1(l)和r2(l)分别用于引导目标语音与剩余信号。目标方向是指，对于用户感兴趣的方向，目标语音就是来自这一方向的语音信号；剩余信号则是指，除目标语音信号之外，来自于其他方位的声音和环境噪声，剩余信号可以理解为麦克风获取的全部信号减去目标语音信号，则是剩余信号。该步骤用以下一步骤计算引导矩阵，提供先验。
S302：计算每一个频带的分离引导矩阵：
ψ1(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
ψ2(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
其中，ψ1(k)和ψ2(k)分别代表目标语音与剩余信号的引导矩阵；α为平滑因子，取值范围为0到1，优选的本发明采用取值为α＝0.85，采用该取值可以避免对历史信息的过度依赖，也可以充分挖掘信号的空间信息。
通过该步骤引导矩阵的计算，直接用以后续分离滤波器的更新。
S303：为分离目标语音与剩余信号的滤波器构建新的优化函数，优化函数如下：
其中，G1(k)和G2(k)分别为分离目标语音与剩余信号的滤波器。
该优化函数的第一项最大化分离信号之间的差异，第二项可以避免滤波器估计出现歧义，保证分离结果之和和麦克风信号的值尽可能一致。
S304：最小化上述优化函数，得到最优的滤波器。
该最小化过程等价于求解以下方程：
Ψ(k)G(k)＝ρ(k)
其中，
上标*代表取共轭算符。
最优的滤波器G(k)可以求解为：
G(k)＝Ψ-1(k)ρ(k)。
求解得到G(k)之后，根据向量的对应关系，即得到分离目标语音与剩余信号的滤波器G1(k)和G2(k)。
在步骤S301中，采用超指向滤波器计算语音分离引导因子；在步骤S302中，基于上述引导因子，计算分离引导矩阵；在步骤S303中，所设计的语音分离优化函数；在步骤S304中，所采用的公式为所发明的最优分离滤波器计算方法，其采用了最小均方误差的原理，由公式ψ*G＝ρ得出，最小均方误差的解就是G＝ψ-1*ρ，进而保证了所定义J的最小化。
因此，步骤S3能够实现频域分离滤波器的计算。
S4：根据获取的滤波器，得到目标语音的时频域信号，进而得到目标语音时域信号。
具体包括以下步骤：
S401：根据求解得到的最优滤波器，进而得到目标语音的频域估计：
S402：进行傅里叶逆变换得到目标语音时域估计，进而得到目标语音时域信号：
该步骤实现了目标语音时域信号的获取。
通过本发明的上述步骤，可以实现麦克风矩阵信号的初始化、信号分解、分离滤波器计算和目标语音估计。
如图3所示，本发明的一实施方式为一种指向信息引导的实时语音分离装置，应用于基于麦克风阵列的系统，其包括初始化模块1、信号分解模块2、分离滤波器计算模块3和目标语音估计模块4。
初始化模块1用于对每个麦克风的语音信号进行导向矢量与指向滤波器初始化。
初始化模块1还能够用于获取每个麦克风的语音信号，获取的语音信号如下：假设xm(n)代表M个麦克风阵元实时拾取的原始信号，其中，m代表麦克风序号标签，其取值从1到M，n代表时间标签，目标语音相对麦克风阵列的方向为θ。
具体地，进行导向矢量的方法如下：
对每个频带k，计算导向矢量u(k)，其中，频带是指某个频率对应的信号分量：
q(θ)＝[cos(θ)，sin(θ)]
其中，fk为第k个频带的频率，k＝1,2,...K；c为声速，c＝340m/s；dm为第m个麦克风的二维坐标值；上标H代表共轭转置算符；j代表虚数单位q(θ)为方向矢量，ωk为频带圆频率。
进行指向滤波器初始化的方法如下：
对每个频带k计算超指向滤波器h(k)：
其中，R(k)代表均匀散射场的各个麦克风关于拾取信号归一化的自相关系数，其上标-1代表矩阵的逆。
通过上述两个步骤完成了对滤波器的初始化，用以计算后续空间区分性信息。
信号分解模块2用于对初始化后的信号进行时频分解，完成从时域信号到时频域信号的变换。
具体地，信号分解模块2的操作步骤如下：
首先，对时域信号xm(n)进行短时傅里叶变换得到时频域表达：
其中，N为帧长，N＝512；w(n)为长度512的汉明窗，l为时间帧序号，k为频率序号。Xm(l，k)为第m个麦克风信号，在第l帧，第k个频带的频谱。汉明窗函数如图2所示。
其次，对每一个频带k,构建一个频域原始向量X(l，k)：
X(l，k)＝[X1(l，k)，X2(l，k)，...，XM(l，k)]T
其中，上标T代表转置运算符，得到该原始向量为M维度列向量。
通过上述步骤能够完成从时域信号到时频域的变换。
分离滤波器计算模块3用于对时频域信号进行分离滤波器计算，获取用于分离目标语音与剩余信号的滤波器。
具体地，分离滤波器计算模块3的操作步骤如下：
首先，计算帧级别分离引导因子：
其中，|.|代表取复数的模，r1(l)和r2(l)分别引导目标语音与剩余信号。上述操作用以下一步骤计算引导矩阵，提供先验。
其次，计算每一个频带的分离引导矩阵：
ψ1(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
ψ2(k)＝αψ1(k)+(1-α)r1(l)X(l，k)XH(l，k)
其中，ψ1(k)和ψ2(k)分别代表目标语音与剩余信号的引导矩阵；α为平滑因子，取值范围为0到1，优选的本发明采用取值为α＝0.85，采用该取值可以避免对历史信息的过度依赖，也可以充分挖掘信号的空间信息。
通过该操作引导矩阵的计算，直接用以后续分离滤波器的更新。
之后，为分离目标语音与剩余信号的滤波器构建新的优化函数，优化函数如下：
其中，G1(k)和G2(k)分别为分离目标语音与剩余信号的滤波器。
该优化函数的第一项最大化分离信号之间的差异，第二项可以避免滤波器估计出现歧义，保证分离结果之和和麦克风信号的值尽可能一致。
最后，最小化上述优化函数，得到最优的滤波器。
该最小化过程等价于求解如下方程：
Ψ(k)G(k)＝ρ(k)
其中，
上标*代表取共轭算符。
最优的滤波器G(k)可以求解为：
G(k)＝Ψ-1(k)ρ(k)
通过上述操作能够实现频域分离滤波器的计算。
目标语音估计模块4，用于根据获取的滤波器，得到目标语音的时频域信号，进而得到目标语音时域信号。
具体地，目标语音估计模块4的操作步骤如下：
首先，根据求解得到的最优滤波器，进而得到目标语音的频域估计：
其次，进行傅里叶逆变换得到目标语音时域估计：
目标语音估计模块4能够实现目标语音时域信号的获取。
上述实施方式中，括初始化模块1、信号分解模块2、分离滤波器计算模块3和目标语音估计模块4的这4个模块缺一不可，任一模块的缺失，都会导致目标语音无法提取。
本文中应用了具体个例对发明构思进行了详细阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离该发明构思的前提下，所做的任何显而易见的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。