具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本 领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和 修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的 描述中省略了对公知功能和结构的描述。

下面参考附图描述本申请实施例的信号处理方法、装置、电子设备和存储介质。

图1为本申请实施例所提供的一种信号处理方法的流程示意图。

如图1所示，该方法包括以下步骤：

步骤101，获取麦克风采集的原始信号。

本实施例中，麦克风采集的原始信号，是未经处理的信号，其中携带了 混响引号。

步骤102，对麦克风采集的原始信号进行短时傅里叶变换，得到频域信 号。

本实施例中，麦克风采集的原始信号，先进行分帧处理，得到多个语音 帧，针对每一个语音信号帧，进行加窗，并对加窗后的该帧语音信号进行短 时傅里叶变换，最终得到该帧的频域信号。

步骤103，采用卡尔曼滤波器对频域信号估计混响谱。

在本申请实施例的一种实现方式中，根据频域信号的历史音频帧进行混 响谱估计时的估计预测误差，预测对当前音频帧进行混响谱估计的估计预测 误差，根据当前音频帧进行混响谱估计的估计预测误差，更新卡尔曼滤波器 的系数，根据历史音频帧的去混响信号和更新后的卡尔曼滤波器的系数，预 测当前音频帧的混响谱。

步骤104，根据混响谱，对频域信号进行混响抑制得到去混响信号。

在本申请实施例的一种实现方式中，根据混响谱，采用维纳滤波算法对 频域信号中的晚期混响进行抑制，得到去混响信号，提高了语音质量和可懂 度。

步骤105，对去混响信号中各频谱部分采用对应的平滑系数进行倒谱平 滑。

本申请实施例中，对去混响信号划分得到各频谱部分，其中，各频谱部 分包括设定低频的第一频谱部分、基音和基音的相邻频点所在的第二频谱部 分，以及除第一频谱部分和第二频谱部分之外的第三频谱部分，从各频谱部 分中选取第二频谱部分和第三频谱部分进行倒谱平滑，其中，第二频谱部分 采用的平滑系数小于第三频谱部分采用的平滑系数。本申请中在上述通过倒 谱平衡系数，对去混响信号中的不同频谱部分采用不同的平滑策略进行平滑， 减少了在对混响信号进行抑制过程中引入的音乐噪声等人工产物，提高了语 音质量。

步骤106，根据平滑后的去混响信号进行短时傅里叶逆变换，得到目标 信号。

本申请中，将平滑后的去混响信号通过短时傅里叶逆变换，得到去除了 混响噪声和音乐噪声的目标信号，实现了将目标信号转换至时域信号。

本申请实施例的信号处理方法中，获取麦克风采集的原始信号，对麦克 风采集的原始信号进行短时傅里叶变换，得到频域信号，采用卡尔曼滤波器 对频域信号估计混响谱，根据混响谱，对频域信号进行混响抑制得到去混响 信号，对去混响信号中各频谱部分采用对应的平滑系数进行倒谱平滑，根据 平滑后的去混响信号进行短时傅里叶逆变换，得到目标信号，本申请中通过 卡尔曼滤波器自适应估计混响谱，并通过谱增强技术对估计混响谱进行抑制 得到去混响信号，增强了频谱特征，提高了语音质量，同时采用倒谱平滑方法来有效解决谱增强过程中所引入的音乐噪声问题，进一步提高了语音质量。

基于上述实施例，本实施例提供了另一种信号处理方法，具体说明了针 对获取到的每一帧语音信号，如何根据卡尔曼滤波器对麦克风采集的语音信 号自适应的估计混响谱，以实现去除麦克风输入信号中的混响成分，进而将 得到的无混响的语音信号，去除音乐噪声，以进一步提高语音质量。图2为 本申请实施例提供的另一种信号处理方法的流程示意图，如图2所示，上述 步骤103包含以下步骤：

步骤201，获取麦克风采集的原始信号。

本实施例的一种实现方式中，麦克风采集的原始信号可以由卷积传递函 数模型表示为(本申请公式使用l表示帧，k表示频率)：

其中S(l，k)是无混响语音信号的傅里叶变换后的频域表示，H(l，k)是卷积 滤波器系数，X(l，k)是混响语音信号，V(l，k)是加性噪声。

本实施例中，可以将混响信号分成早期反射和晚期混响这两部分：

X(l，k)＝X_D(l，k)+R_D(l，k)

其中延时D用来区分早期反射和晚期混响，X_D(l，k)是早期反射，R_D(l，k) 是晚期混响，其中，研究发现早期反射可以提高语音的可识别度，而晚期混 响会对直达声产生重叠-掩蔽(overlap-mask)效应，影响语音质量和可理解度， 需要进行去除和抑制。

步骤202，对麦克风采集的原始信号进行短时傅里叶变换，得到频域信 号。

作为一种实现方式，加窗操作中的窗为汉宁窗。

Y(l)＝fft(y*win)

其中，Y(l)是麦克风输入信号经过傅里叶变换得到的频域信号Y(l，k)的向 量形式，1表示帧，k表示频率，y是麦克风输入信号的向量，win是短时分 析窗，fft(·)是傅里叶变换。

y＝[y(n)，y(n-1)，…，y(n-N+1)]^T；

win＝[0；sqrt(hanming(N-1))]；

hanning(n)＝0.5*[1-cos(2π*n/N)]；

其中，hanning(n)是长度为N-1的汉宁窗，n表示采样点的下标，一帧 信号具有N个采样点。

本实施例中，通过将麦克风采集的原始信号通过分帧和加窗处理后，再 进行傅里叶变换将原始的一帧信号从时域转换至频域中，以便于后续的处理。

步骤203，根据频域信号的历史音频帧进行混响谱估计时的估计预测误 差，预测对当前音频帧进行混响谱估计的估计预测误差。

本申请实施例的一种实现方式中，利用卡尔曼滤波器，根据麦克风的频 域信号的历史音频帧进行混响谱估计，预测对当前音频帧进行混响谱估计的 估计预测误。

首先，获取麦克风频域信号的历史音频帧，即当前音频帧的前一音频帧， 根据估计的历史音频帧的去除混响后的信号和历史音频帧对应的卡尔曼滤波 器的系数，确定当前音频帧的先验误差信号E(l|l-1，k)。

其中，Y(l，k)是麦克风的频域信号，是前一音频帧对应的卡尔曼 自适应滤波器的系数，X^T(l-1，k)是前一音频帧估计的去除混响后的信号。

进而，根据当前音频帧的先验误差信号E(l|l-1，k)，确定当前音频帧的 先验误差方差

进而，获取前一音频帧的后验误差方差根据获取的前一音频 帧的后验误差方差和当前音频帧的先验误差方差进 行加权平均计算，以预测对当前音频帧进行混响谱估计的估计预测误差

其中，β是遗忘因子，0≤β≤1。需要说明的是，前一音频帧的后验误 差方差是根据前一音频帧的去混响信号，确定的前一音频帧进行混响谱估计 的后验误差方差。

步骤204，根据当前音频帧进行混响谱估计的估计预测误差，更新卡尔 曼滤波器的系数。

在本实施例的一种实现方式中，获取估计的前一帧的后验状态误差协方 差矩阵和过程噪声协方差矩阵Φ_w(l，k)，以确定当前音频帧的先验状 态误差协方差矩阵P(l|l-1，k)。

P(l|l-1，k)＝P(l-1，k)+Φ_w(l，k)；

其中，Φ_w(l，k)可为标度单位矩阵，I是单位矩阵， 是控制卡尔曼自适应滤波器目标系数g(l，k)不确定度的参数，参数

进而，根据当前音频帧进行混响谱估计的估计预测误差和当前音 频帧的先验状态误差协方差矩阵P(l|l-1，k)，确定当前音频帧对应的卡尔曼 增益K(l，k)。

进而，根据当前音频帧对应的卡尔曼增益K(l，k)、当前音频帧的先验误差信 号E(l|l-1，k)，和前一音频帧时估计的卡尔曼自适应滤波器系数预测当前音频帧时对应的卡尔曼自适应滤波器系数，以更新卡尔曼自适应滤 波器系数

步骤205，根据历史音频帧的去混响信号和更新后的卡尔曼滤波器的系 数，预测当前音频帧的混响谱。

本申请实施例的一种实现方式中，根据历史音频帧的去混响信号和更新 后的卡尔曼滤波器的系数，采用一阶的递归平均算法确定当前音频帧的混响 谱。

其中，是预测的当前音频帧的混响谱，是前一音频帧进 行混响谱估计的估计预测误差，λ是遗忘因子，0≤λ≤1。

步骤206，根据当前音频帧的混响谱，对频域信号进行混响抑制得到当 前音频帧的去混响信号。

在本实施例的一种实现方式中，根据当前音频帧的混响谱，采用维纳滤 波算法对频域信号中的晚期混响进行抑制，得到当前音频帧的去混响信号， 实现了将频率信号中的晚期混响信号进行抑制，提高了麦克风采集信号的质 量。

具体来说，计算麦克风输入信号Y(l，k)的估计功率谱。

根据混响谱和麦克风输入信号的估计功率谱，确定当前音频帧后 验信噪比γ(l，k)；

其中，是麦克风输入信号Y(l，k)的估计功率谱。

进而，确定当前音频帧的前一帧目标信号的估计功率谱其中，是指对去除晚期混响的的目标信号进行功率谱估计得到的估计功 率谱。

进一步，根据当前音频帧的混响谱和当前音频帧的前一帧目标信 号的估计功率谱通过决策导向方法计算得到当前音频帧的估计 后验信噪比。

其中，η是遗忘因子，0≤η≤1，ξ_min是最小先验信噪比。

进一步，确定用于去除晚期混响信号的增益函数

从而，将确定的增益函数与麦克风输入的当前帧的信号，得到去除混响 的当前音频帧的去混响信号X^T(l，k)，X^T(l，k)＝Y(l，k)*G(l，k)。

步骤207，根据当前音频帧的去混响信号，确定当前音频帧进行混响谱 估计的后验误差方差。

其中，当前音频帧的后验误差方差，用于预测后续音频帧进行混响谱估 计的估计预测误差，估计预测误差指示了当前音频帧的信号和无混响的理想 目标信号之间的差异，实现了在对混响谱估计过程中，通过不断的迭代确定 估计预测误差，使得估计预测误差指示的当前音频帧的信号和无混响的理想 目标信号之间的差异越来越小，以及不断的更新卡尔曼滤波器的系数，最后 使得卡尔曼滤波器达到最优的状态，即提高利用卡尔曼滤波器得到的估计混 响谱的准确度。

本实施例中，根据当前音频帧的去混响信号X^T(l，k)，确定当前音频帧进 行混响谱估计的后验误差方差

步骤208，对当前音频帧的去混响信号划分得到各频谱部分，其中，各 频谱部分包括设定低频的第一频谱部分、基音和基音的相邻频点所在的第二 频谱部分，以及除第一频谱部分和第二频谱部分之外的第三频谱部分。

本实施例中，将当前音频帧的去混响信号划分得到各频谱部分，其中， 各个频谱部分包含对应的频点，各个频谱部分包含的对应的频点的频率不同， 各个频点具有对应的增益函数。

步骤209，从各频谱部分中选取第二频谱部分和第三频谱部分进行倒谱 平滑。

其中，第二频谱部分采用的平滑系数小于第三频谱部分采用的平滑系数。

本实施例中，为了保证语音起始点以及摩擦音和爆破音的谱包络不被平 滑过程所扭曲，不对设定低频的第一频谱部分进行平滑。此外，对基音和基 音的相邻频点所在的第二频谱部分使用较小的平滑系数，加上浊音持续时间 较长，因此语音信号的精细结构(如基音和谐波)不会受到影响。综上所述， 平滑系数β的选取采用如下策略：

1)对于设定低频的第一频谱部分，不进行平滑。

2)对于基音和基音的相邻频点所在的第二频谱部分，使用较小的平滑系 数。

3)对于第一频谱部分和第二频谱部分以外的频谱部分，使用较大的平滑 系数。

其中，k_low’表示设定低频的第一频谱部分的最高频点，低于此频点的频谱 部分对应的倒谱域增益系数不平滑。k′_pitch表示基音的倒谱频点，可通过在语 音段搜索在80Hz到500Hz之间G_cep(l，k’)的最大值对应的频点来确定，其相邻的 三个频点使用较小的平滑参数β_low。对于其它倒谱频点，使用较大的平滑参数 β_high进行平滑，其中，β_high大于β_low。

在本实施例的一种实现方式中，将当前音频帧的去混响信号的增益函数 G(l，k)表示为向量形式G(l)，并对向量形式的增益函数进行逆傅里叶变换，得 到增益函数的倒谱域表示G_cep(l)。

G_cep(1)＝ifft(log(G(l)))。

进而，根据平滑参数进行倒谱平滑后得到的倒谱域的增益函数表示为 G_{sm_cep}(l，k)＝βG_{sm_cep}(l-1，k)+(1-β)G_cep(l，k)；

其中，k’是倒谱域的频点。

进而，将平滑后得到的倒谱域的增益函数通过傅里叶变换转换至频域中， 得到：

G_sm(l)＝exp(fft(G_{sm_cep}(l)))；

其中，G_{sm_cep}(l)是G_{sm_cep}(l，k’)所有频点的向量形式。

进一步，根据平滑后的增益函数与麦克风输入的当前帧的信号，得到当 前音频帧平滑后的去混响信号X(l)，即X(l)为去除混响同时去除了音乐噪声 的平滑后的增强信号，其中，X(l)＝Y(l).*G_sm(l)。

本实施例中，上述在进行混响谱抑制过程中，也就是谱增益自适应过程 中就会出现异常值，会导致一种称为音乐噪声的听觉现象，通过对不同的频 谱部分设置不同的平滑策略，具体通过对第一频谱部分和第二频谱部分对应 的倒谱域的增益进行平滑，即可以减少较高的增益造成的信号在时间上的动 态表现，抑制音乐噪声的产生，提高了语音信号的质量。

步骤210，根据当前语音帧的平滑后的去混响信号进行短时傅里叶逆变 换，得到当前语音帧的目标信号。

本实施例的一种实现方式中，当前语音帧的目标信号为：

e＝ifft(Y(l).*G_sm(l)).*win。

本实施例的信号处理方法中，获取麦克风采集的原始信号，对麦克风 采集的原始信号进行短时傅里叶变换，得到频域信号，采用卡尔曼滤波器 对频域信号估计混响谱，根据混响谱，对频域信号进行混响抑制得到去混 响信号，对去混响信号中各频谱部分采用对应的平滑系数进行倒谱平滑， 根据平滑后的去混响信号进行短时傅里叶逆变换，得到目标信号，本申请 中通过卡尔曼滤波器自适应估计混响谱，并通过谱增强技术对估计混响谱进行抑制得到去混响信号，增强了频谱特征，提高了语音质量，同时采用 倒谱平滑方法来有效解决谱增强过程中所引入的音乐噪声问题，进一步提 高了语音质量。

为了实现上述实施例，本实施例提供了一种信号处理装置。

图3为本申请实施例提供的一种信号处理装置的结构示意图，如图3 所示，该装置包含：

获取模块31，用于获取麦克风采集的原始信号；

第一处理模块32，用于对所述麦克风采集的原始信号进行短时傅里叶变 换，得到频域信号；

第二处理模块33，用于采用卡尔曼滤波器对所述频域信号估计混响谱；

第三处理模块34，用于根据所述混响谱，对所述频域信号进行混响抑制 得到去混响信号；

第四处理模块35，用于对所述去混响信号中各频谱部分采用对应的平滑 系数进行倒谱平滑；

第五处理模块36，用于根据平滑后的去混响信号进行短时傅里叶逆变换， 得到目标信号。

进一步，在本申请实施例的一种实现方式中，第二处理模块33，具体用 于：

根据所述频域信号的历史音频帧进行混响谱估计时的估计预测误差，预 测对当前音频帧进行混响谱估计的估计预测误差；

根据当前音频帧进行混响谱估计的估计预测误差，更新所述卡尔曼滤波 器的系数；

根据所述历史音频帧的去混响信号和更新后的所述卡尔曼滤波器的系 数，预测当前音频帧的混响谱。

在本申请实施例的一种实现方式中，第二处理模块33，具体还用于：

根据所述历史音频帧的去混响信号和更新后的所述卡尔曼滤波器的系 数，采用一阶的递归平均算法确定所述混响谱。

在本申请实施例的一种实现方式中，所述装置，还包括：

确定模块，用于根据当前音频帧的所述去混响信号，确定当前音频帧进 行混响谱估计的后验误差方差；其中，当前音频帧的后验误差方差，用于预 测后续音频帧进行混响谱估计的估计预测误差。

在本申请实施例的一种实现方式中，第三处理模块34，具体用于：

根据所述混响谱，采用维纳滤波算法对所述频域信号中的晚期混响进行 抑制，得到所述去混响信号。

在本申请实施例的一种实现方式中，第四处理模块35，具体用于：

对所述去混响信号划分得到各频谱部分，其中，各频谱部分包括设定低 频的第一频谱部分、基音和所述基音的相邻频点所在的第二频谱部分，以及 除所述第一频谱部分和所述第二频谱部分之外的第三频谱部分；

从各频谱部分中选取所述第二频谱部分和所述第三频谱部分进行倒谱平 滑；其中，所述第二频谱部分采用的平滑系数小于所述第三频谱部分采用的 平滑系数。

需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装 置，原理相同，本实施例中不再赘述。

本实施例的信号处理装置中，获取麦克风采集的原始信号，对麦克风采 集的原始信号进行短时傅里叶变换，得到频域信号，采用卡尔曼滤波器对频 域信号估计混响谱，根据混响谱，对频域信号进行混响抑制得到去混响信号， 对去混响信号中各频谱部分采用对应的平滑系数进行倒谱平滑，根据平滑后 的去混响信号进行短时傅里叶逆变换，得到目标信号，本申请中通过卡尔曼 滤波器自适应估计混响谱，并通过谱增强技术对估计混响谱进行抑制得到去 混响信号，增强了频谱特征，提高了语音质量，同时采用倒谱平滑方法来有效解决谱增强过程中所引入的音乐噪声问题，进一步提高了语音质量。

为了实现上述实施例，本实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所 述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例 所述的信号处理方法。

为了实现上述实施例，本实施例提供了一种存储有计算机指令的非瞬 时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述 计算机执行前述方法实施例所述的信号处理方法。

为了实现上述实施例，本实施例提供了一种计算机程序产品，包括计算 机程序，所述计算机程序在被处理器执行时实现前述方法实施例所述的信号 处理方法。

图4示出了适于用来实现本申请实施方式的示例性电子设备的框图。图 4显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范 围带来任何限制。

如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的 组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28， 连接不同系统组件(包括存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器 控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意 总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系 结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结 构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、 视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA) 局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称： PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何 能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的 和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机 存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存 存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非 易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移 动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图 4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的 磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video DiscRead OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读 写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介 质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品 具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各 实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例 如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个 应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中 可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的 功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、 显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互 的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行 通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输 入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20 与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)， 广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特 网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块 通信。应当明白，尽管图4中未示出，可以结合电子设备12使用其它硬件和 /或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁 盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在存储器28中的程序，从而执行各种功能 应用以及数据处理，例如实现前述实施例中提及的方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或 删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地 执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望 的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术 人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和 改进等，均应包含在本申请保护范围之内。