语音通话的噪声消除方法、装置、电子设备及存储介质

文档序号:1044761 发布日期:2020-10-09 浏览:24次 >En<

阅读说明:本技术 语音通话的噪声消除方法、装置、电子设备及存储介质 (Noise elimination method and device for voice call, electronic equipment and storage medium ) 是由 孙岩丹 王瑞璋 马骏 王少军 肖京 于 2020-06-19 设计创作,主要内容包括:本发明实施例涉及声纹识别技术,揭露了一种语音通话的噪声消除方法,包括:对通话音频进行语音端点检测,得到人声语音集;对所述人声语音集进行语音特征提取,得到语音特征集;依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每个待检测语音特征集进行聚类处理,并对所述聚类进行评分;根据所述评分,将所述人声语音集分成第一说话人声和第二说话人声,并从所述第一说话人声和第二说话人声中区分出背景人声,并将所述背景人声从所述人声语音集中删除。本发明还涉及区块链技术,通话音频可存储于区块链中。本发明可以删除语音通话中的背景人声,从而提升语音通话质量。(The embodiment of the invention relates to a voiceprint recognition technology, and discloses a noise elimination method for voice communication, which comprises the following steps: carrying out voice endpoint detection on the call audio to obtain a voice set; carrying out voice feature extraction on the voice set to obtain a voice feature set; intercepting a voice feature set to be detected with accumulated time as a preset time threshold from the voice feature set according to a time sequence to obtain a plurality of voice feature sets to be detected, clustering each voice feature set to be detected, and grading the cluster; and according to the scores, dividing the voice speech set into a first speaker voice and a second speaker voice, distinguishing background speaker voices from the first speaker voice and the second speaker voice, and deleting the background speaker voices from the voice speech set. The invention also relates to a block chain technology, and the call audio can be stored in the block chain. The invention can delete the background voice in the voice communication, thereby improving the voice communication quality.)

语音通话的噪声消除方法、装置、电子设备及存储介质

技术领域

本发明涉及声纹识别技术领域,尤其涉及一种语音通话的噪声消除方法、装置、电子设备及计算机可读存储介质。

背景技术

客户服务系统,尤其是智能外呼系统,常常需要面对客户所处环境的背景噪音干扰。在所有的噪音中,背景人声的噪音干扰最为强烈,智能外呼系统的自动语音识别会把背景人声也识别出来,并当作对话的目标,大幅度影响整体对话的成功率。

然而,目前的噪声消除技术主要是消除非人声的背景噪音,对于背景人声的噪音消除效果较差,造成语音通话质量较差。

发明内容

本发明提供一种语音通话的噪声消除方法、装置、电子设备及计算机可读存储介质,其主要目的在于删除语音通话中的背景人声,并提升对话系统的成功率。

为实现上述目的,本发明提供的一种语音通话的噪声消除方法,包括:

对通话音频进行语音端点检测,得到人声语音集;

对所述人声语音集进行语音特征提取,得到语音特征集;

依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值;

根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声;

计算所述第一说话人声和第二说话人声的时长,并根据所述第一说话人声和第二说话人声的时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除。

可选地,所述对所述人声语音集进行语音特征提取,得到语音特征集,包括:

对所述人声语音集进行预加重、分帧和加窗,得到语音帧序列;

对所述语音帧序列中的每一帧语音,通过快速傅里叶变换得到对应的频谱;

通过梅尔滤波器组将所述频谱转换为梅尔频谱;

在所述梅尔频谱上进行倒谱分析,得到所述人声语音集对应的语音特征集。

可选地,所述对每一个所述待检测语音特征集进行聚类处理,包括:

步骤a、在所述待检测语音特征集中随机选择两个特征向量作为类别中心;

步骤b、对于所述待检测语音特征集中每个特征向量,通过计算所述特征向量到每一个所述类别中心的距离,将所述特征向量与距离最近的类别中心进行聚类,得到两个初始类别;

步骤c、更新两个初始类别的类别中心;

步骤d、重复上述步骤b和步骤c直至达迭代次数达到预设次数阈值,得到两个标准类别。

可选地,所述根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声,包括:

选择其中一个待检测语音特征集,获取对应的评分值;

将所述评分值与预设的评分阈值进行比较;

当所述评分值大于预设的评分阈值时,将选择的所述待检测语音特征集的两个标准类别合并为单一语音类别,并计算所述单一语音类别的类别中心,根据所述单一语音类别和类别中心生成第一说话人声;

当所述评分值小于或者等于预设的评分阈值时,根据所述两个标准类别生成第一说话人声和第二说话人声;

选择下一个待检测语音特征集,获取对应的评分值,并根据所述评分值,将所述待检测语音特征集中的两个标准类别归类至所述第一说话人声或所述第二说话人声。

可选地,所述根据所述评分值,将所述待检测语音特征集中的两个标准类别归类至所述第一说话人声或所述第二说话人声,包括:

若所述评分值大于所述评分阈值,则将所述待检测语音特征集的两个标准类别合并为单一语音类别,计算所述单一语音类别的类别中心,并根据所述单一语音类别的类别中心与上述第一说话人声和第二说话人声的类别中心之间的余弦距离,将所述单一语音类别归类到所述第一说话人声或第二说话人声中;

若所述评分值小于或等于评分阈值,根据所述待检测语音特征集中两个标准类别的类别中心与第一说话人声和第二说话人声的类别中心之间的余弦距离,将所述两个标准类别分别归类至所述第一说话人声和第二说话人声中。

可选地,所述归类包括:

将所述单一语音类别与所述第一说话人声或第二说话人声进行合并,并重新计算合并后的类别中心,将所述单一语音类别的帧数与所述第一说话人声或第二说话人声的时长进行累加;或

将两个标准类别分别与所述第一说话人声和第二说话人声进行合并,并重新计算合并的类别中心,将所述标准类别的帧数与所述第一说话人声或第二说话人声的时长进行累加。

可选地,所述将所述背景人声从所述人声语音集中删除,包括:

利用预设的时长算法计算所述背景人声在本次通话中的时长比例;

将所述时长比例与预设的比例阈值进行对比;

当所述时长比例大于所述比例阈值时,将所述背景人声从所述人声语音集中删除,去除所述通话音频中的背景人声。

为了解决上述问题,本发明还提供一种语音通话的噪声消除装置,所述装置包括:

语音端点检测模块,用于对通话音频进行语音端点检测,得到人声语音集;

语音特征提取模块,用于对所述人声语音集进行语音特征提取,得到语音特征集;

聚类评分模块,用于依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值;

人声分类模块,用于根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声;

背景人声去除模块,用于计算所述第一说话人声和第二说话人声时长,并根据所述第一说话人声和第二说话人声时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除。

为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现上述中任意一项所述的语音通话的噪声消除方法。

为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储所创建的数据,存储程序区存储有计算机程序,所述计算机程序被处理器执行时实现上述中任意一项所述的语音通话的噪声消除方法。

本发明实施例对通话音频进行语音端点检测,删除所述通话音频中的非人声噪音,减少计算机后续的处理量;对所述人声语音集进行语音特征提取,得到语音特征集,便于后续将所述通话音频中的背景人声分离出来;依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值,使用聚类结合评分的方式可以检测出碎片化、模糊、音量小的背景人声;根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声,可以实时保存并动态更新说话人和背景人声的音频特征;计算所述第一说话人声和第二说话人声时长,并根据所述第一说话人声和第二说话人声时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除,以提高语音通话质量。因此本发明提出的语音通话的噪声消除方法、装置及计算机可读存储介质,可以删除语音通话中的背景人声,并提升对话系统的成功率。

附图说明

图1为本发明一实施例提供的语音通话的噪声消除方法的流程示意图;

图2为本发明一实施例提供的语音特征提取方法的流程示意图;

图3为本发明一实施例提供的人声分离方法的流程示意图;

图4为本发明一实施例提供的语音通话的噪声消除装置的模块示意图;

图5为本发明一实施例提供的实现语音通话的噪声消除方法的电子设备的内部结构示意图;

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本申请实施例提供的语音通话的噪声消除方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述语音通话的噪声消除方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。

本发明提供一种语音通话的噪声消除方法。参照图1所示,为本发明一实施例提供的语音通话的噪声消除方法的流程示意图。

在本实施例中,所述语音通话的噪声消除方法包括:

S1、对通话音频进行语音端点检测,得到人声语音集。

详细地,本发明实施例中所述通话音频包括在人群中或在有较多人声的环境中对话产生的音频,如在充满背景人声的环境中通过电话或者即时通信软件等通信系统通话时产生的通话音频。所述通话音频可直接从所述通信系统中获取,或从用于存储语音对话信息的数据库中调用获取。需要强调的是,为进一步保证上述通话音频的私密和安全性,上述通话音频还可以存储于一区块链的节点中。

所述语音端点检测是指在有噪声或其他干扰的环境下分辨出通话音频中的人声数据和非人声数据(静音和环境噪音),并确定人声数据的起始点和终止点,以删除所述通话音频中的非人声噪音,减少计算机后续的处理量,提高效率,为后续的信号处理提供必要的支持。

本发明较佳实施例中,所述语音端点检测模型可以为基于深度神经网络(deepneural network,DNN)的语音活动性检测(voice activity detection,VAD)模型。

S2、对所述人声语音集进行语音特征提取,得到语音特征集。

详细地,参阅图2所示,所述S2包括:

S21、对所述人声语音集进行预加重、分帧和加窗,得到语音帧序列;

其中,所述预加重是利用一个高通滤波器提升所述人声语音集中语音信号的高频部分,使所述语音信号的频谱变得平坦;所述分帧是采用可移动的有限长度的窗口进行加权以将所述语音信号分为一些短段,使语音信号具有平稳性;所述加窗是为了使没有周期性的语音信号呈现出周期函数的部分特征,便于后续进行傅里叶展开。

S22、对所述语音帧序列中的每一帧语音,通过快速傅里叶变换得到对应的频谱;

较佳地,由于语音信号在时域上的变换通常很难看出信号的特性,所以通常将语音信号转换为频域上的能量分布,不同的能量分布,就能代表不同语音的特性。

S23、通过梅尔滤波器组将所述频谱转换为梅尔频谱;

其中,所述梅尔(Mel)滤波器组是一组梅尔尺度的三角形滤波器组,通过所述梅尔滤波器组可以对所述频谱转换为梅尔频谱,所述梅尔频率能准确反映人耳的听觉特性。

S24、在所述梅尔频谱上进行倒谱分析,得到所述人声语音集对应的语音特征集。

进一步地,所述倒谱分析包括取对数和离散余弦变化,并输出特征向量。所述语音特征集包括经过倒谱分析后输出的所述语音帧序列对应的特征向量。

S3、依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值。

本发明实施例在所述语音特征集累计时长到达预设的时长阈值时,进行一次检测计算,并将本次累积获取的语音特征集称为待检测语音特征集。

详细地,所述对每一个所述待检测语音特征集进行聚类处理,包括:

步骤a、在所述待检测语音特征集中随机选择两个特征向量作为类别中心;

步骤b、对于所述待检测语音特征集中每个特征向量,通过计算其到每一个所述类别中心的距离,将所述特征向量与距离最近的类别中心进行聚类,得到两个初始类别。

详细地,本发明实施例利用如下距离算法计算所述特征向量与每一个所述所述类别中心的距离:

其中,L(X,Y)为所述距离值,X为所述类别中心,Yi为所述待检测语音特征集内的特征向量。

步骤c、更新两个初始类别的类别中心;

较佳地,本发明实施例计算每个所述初始类别下的所有特征向量的均值,并将所述均值更新为该类别的类别中心。

步骤d、重复上述步骤b和步骤c直至达迭代次数达到预设次数阈值,得到两个标准类别。

进一步地,本发明利用预设的评估算法对得到的两个标准类别进行评分,得到所述标准类别的评分值。优选地,本发明实施例中,所述评估算法如下:

Figure BDA0002547480920000072

其中,n1和n2分别是两个标准类别的类别中心,Hs为所述标准类别属于同一类别的假设,Hd为所述标准类别属于不同类别的假设;P(n1,n2|Hs)为n1和n2来自同一空间的似然函数;P(n1|Hd),P(n2|Hd)分别为n1和n2来自不同空间的似然函数。所述似然函数是一种关于统计模型参数的函数,用来检测某个假设是否有效的一种检验。

较佳地,所述评分值越高,两个所述标准类别对应的语音属于同一说话人的可能性越大;所述评分值越低,则两个所述标准类别对应的语音属于同一说话人的可能性越小。

S4、根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声。

详细地,参阅图3所示,所述S4包括:

S40、选择其中一个待检测语音特征集,获取其对应的评分值;

S41、将所述评分值与预设的评分阈值进行比较;

当所述评分值大于预设的评分阈值时,执行S42、将选择的所述待检测语音特征集的两个标准类别合并为单一语音类别,并计算所述单一语音类别的类别中心,根据所述单一语音类别和类别中心生成第一说话人声;

其中,所述第一说话人声包括语音特征和时长,所述语音特征包括所述单一语音类别和类别中心,所述时长包括所述单一语音类别的帧数。

当所述评分值小于或者等于预设的评分阈值时,执行S43、根据所述两个标准类别生成第一说话人声和第二说话人声;

相似地,所述第一说话人声和第二说话人声包括语音特征和时长,所述语音特征包括所述标准类别和类别中心,所述时长包括所述标准类别的帧数。

S44、选择下一个待检测语音特征集,获取其对应的评分值,并根据其评分值,将所述待检测语音特征集中的两个标准类别归类至所述第一说话人声或所述第二说话人声;

S45、判断是否每一个所述待检测语音特征集都选择完毕,并重复所述S44,直到每一个所述待检测语音特征集都选择完毕,得到第一说话人声和第二说话人声。

详细地,所述将所述待检测语音特征集中的两个标准类别归类至所述第一说话人声或所述第二说话人声,包括:

本发明其中一个实施例中,若所述待检测语音特征集的评分值大于评分阈值,将所述待检测语音特征集的两个标准类别合并为单一语音类别,并计算所述单一语音类别的类别中心,计算所述单一语音类别的类别中心与上述第一说话人声和第二说话人声的类别中心之间的余弦距离,根据所述余弦距离,将所述单一语音类别归类到所述第一说话人声或第二说话人声中。

其中,若所述单一语音类别的类别中心与上述第一说话人声的类别中心的余弦距离较近,则将所述所述单一语音类别归类至所述第一说话人声中,若所述单一语音类别的类别中心与上述第二说话人声的类别中心的余弦距离较近,则将所述所述单一语音类别归类至所述第二说话人声中。

所述归类包括:将所述单一语音类别与所述第一说话人声或第二说话人声进行合并,并重新计算合并后的类别中心;将所述单一语音类别的帧数与所述第一说话人声或第二说话人声的时长进行累加。

本发明另一个实施例中,若所述评分值小于或等于评分阈值,通过计算所述待检测语音特征集中每个标准类别的类别中心与第一说话人声和第二说话人声的类别中心之间的余弦距离,根据余弦距离将所述两个标准类别分别归类至所述第一说话人声和第二说话人声中。

其中,假设待检测语音特征集中包括标准类别A及标准类别B,若标准类别A的类别中心与第一说话人声的类别中心得余弦距离较近且标准类别B的类别中心与第二说话人声的类别中心得余弦距离较近,则将所述标准类别A归类至第一说话人声中并将所述标准类别B归类至第二说话人声中。

相同的,所述归类包括:将所述标准类别A及标准类别分别与所述第一说话人声或第二说话人声进行合并,并重新计算合并后的类别中心;将所述标准类别A及标准类别B的帧数与所述第一说话人声或第二说话人声的时长进行累加。

S5、计算所述第一说话人声和第二说话人声时长,并根据所述第一说话人声和第二说话人声时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除。

较佳地,在所述通话音频中,一般目标说话人的时长会大于背景说话人的时长,因此本发明实施例将所述第一说话人声和第二说话人声中时长较长的说话人声作为目标说话人,将余下的说话人声作为背景说话人。

详细地,所述将所述背景人声从所述人声语音集中删除,包括:

利用预设的时长算法计算所述背景人声在本次通话中的时长比例;

将所述时长比例与预设的比例阈值进行对比;

当所述时长比例大于所述比例阈值时,将所述背景人声从所述人声语音集中删除,去除所述通话音频中的背景人声。

其中,所述时长算法如下:

R=t/T

其中,R为背景人声在本次通话中的时长比例,t为背景人说话人的时长,T为通话总时长,即目标说话人与背景说话人的时长之和。

较佳地,当所述时长比例小于所述比例阈值时,表示本次通话受到的背景人声噪音干扰很小,不需要对所述通话音频进行处理;当所述时长比例大于所述比例阈值时,则表示本次通话受到比较严重的背景人声噪音干扰,将所述背景人声从所述人声语音集中删除可以降低因背景人声造成的错误识别,提升语音通话质量。

本发明实施例对通话音频进行语音端点检测,删除所述通话音频中的非人声噪音,减少计算机后续的处理量;对所述人声语音集进行语音特征提取,得到语音特征集,便于后续将所述通话音频中的背景人声分离出来;依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值,使用聚类结合评分的方式可以检测出碎片化、模糊、音量小的背景人声;根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声,可以实时保存并动态更新说话人和背景人声的音频特征;计算所述第一说话人声和第二说话人声时长,并根据所述第一说话人声和第二说话人声时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除,以提高语音通话质量。因此本发明提出的语音通话的噪声消除方法、装置及计算机可读存储介质,可以删除语音通话中的背景人声,并提升对话系统的成功率。

如图4所示,是本发明语音通话的噪声消除装置的功能模块图。

本发明所述语音通话的噪声消除装置100可以安装于电子设备中。根据实现的功能,所述语音通话的噪声消除装置可以包括语音端点检测模块101、语音特征提取模块102、聚类评分模块103、人声分类模块104和背景人声去除模块105。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

所述语音端点检测模块101,用于对通话音频进行语音端点检测,得到人声语音集。

详细地,本发明实施例中所述通话音频包括在人群中或在有较多人声的环境中对话产生的音频,如在充满背景人声的环境中通过电话或者即时通信软件等通信系统通话时产生的通话音频。所述通话音频可直接从所述通信系统中获取,或从用于存储语音对话信息的数据库中调用获取。需要强调的是,为进一步保证上述通话音频的私密和安全性,上述通话音频还可以存储于一区块链的节点中。

所述语音端点检测是指在有噪声或其他干扰的环境下分辨出通话音频中的人声数据和非人声数据(静音和环境噪音),并确定人声数据的起始点和终止点,以删除所述通话音频中的非人声噪音,减少计算机后续的处理量,提高效率,为后续的信号处理提供必要的支持。

本发明较佳实施例中,所述语音端点检测模型可以为基于深度神经网络(deepneural network,DNN)的语音活动性检测(voice activity detection,VAD)模型。

所述语音特征提取模块102,用于对所述人声语音集进行语音特征提取,得到语音特征集。

详细地,所述语音特征提取模块102具体执行:

对所述人声语音集进行预加重、分帧和加窗,得到语音帧序列;

对所述语音帧序列中的每一帧语音,通过快速傅里叶变换得到对应的频谱;

通过梅尔滤波器组将所述频谱转换为梅尔频谱;

在所述梅尔频谱上进行倒谱分析,得到所述人声语音集对应的语音特征集。其中,所述预加重是利用一个高通滤波器提升所述人声语音集中语音信号的高频部分,使所述语音信号的频谱变得平坦;所述分帧是采用可移动的有限长度的窗口进行加权以将所述语音信号分为一些短段,使语音信号具有平稳性;所述加窗是为了使没有周期性的语音信号呈现出周期函数的部分特征,便于后续进行傅里叶展开。

较佳地,由于语音信号在时域上的变换通常很难看出信号的特性,所以通常将语音信号转换为频域上的能量分布,不同的能量分布,就能代表不同语音的特性。

其中,所述梅尔(Mel)滤波器组是一组梅尔尺度的三角形滤波器组,通过所述梅尔滤波器组可以对所述频谱转换为梅尔频谱,所述梅尔频率能准确反映人耳的听觉特性。

进一步地,所述倒谱分析包括取对数和离散余弦变化,并输出特征向量。所述语音特征集包括经过倒谱分析后输出的所述语音帧序列对应的特征向量。

所述聚类评分模块103,用于依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值。

本发明实施例在所述语音特征集累计时长到达预设的时长阈值时,进行一次检测计算,并将本次累积获取的语音特征集称为待检测语音特征集。

详细地,所述对每一个所述待检测语音特征集进行聚类处理,包括:

步骤a、在所述待检测语音特征集中随机选择两个特征向量作为类别中心;

步骤b、对于所述待检测语音特征集中每个特征向量,通过计算其到每一个所述类别中心的距离,将所述特征向量与距离最近的类别中心进行聚类,得到两个初始类别。

详细地,本发明实施例利用如下距离算法计算所述特征向量与每一个所述所述类别中心的距离:

Figure BDA0002547480920000121

其中,L(X,Y)为所述距离值,X为所述类别中心,Yi为所述待检测语音特征集内的特征向量。

步骤c、更新两个初始类别的类别中心;

较佳地,本发明实施例计算每个所述初始类别下的所有特征向量的均值,并将所述均值更新为该类别的类别中心。

步骤d、重复上述步骤b和步骤c直至达迭代次数达到预设次数阈值,得到两个标准类别。

进一步地,本发明利用预设的评估算法对得到的两个标准类别进行评分,得到所述标准类别的评分值。优选地,本发明实施例中,所述评估算法如下:

Figure BDA0002547480920000131

其中,n1和n2分别是两个标准类别的类别中心,Hs为所述标准类别属于同一类别的假设,Hd为所述标准类别属于不同类别的假设;P(n1,n2|Hs)为n1和n2来自同一空间的似然函数;P(n1|Hd),P(n2|Hd)分别为n1和n2来自不同空间的似然函数。所述似然函数是一种关于统计模型参数的函数,用来检测某个假设是否有效的一种检验。

较佳地,所述评分值越高,两个所述标准类别对应的语音属于同一说话人的可能性越大;所述评分值越低,则两个所述标准类别对应的语音属于同一说话人的可能性越小。

所述人声分类模块104,用于根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声。

详细地,所述人声分类模块104具体用于:

选择其中一个待检测语音特征集,获取其对应的评分值;

将所述评分值与预设的评分阈值进行比较;

当所述评分值小于或者等于预设的评分阈值时,根据所述两个标准类别生成第一说话人声和第二说话人声;

选择下一个待检测语音特征集,获取其对应的评分值,并根据其评分值,将所述待检测语音特征集中的两个标准类别归类至所述第一说话人声或所述第二说话人声;

判断是否每一个所述待检测语音特征集都选择完毕,直到每一个所述待检测语音特征集都选择完毕,得到第一说话人声和第二说话人声。

当所述评分值大于预设的评分阈值时,所述人声分类模块104将选择的所述待检测语音特征集的两个标准类别合并为单一语音类别,并计算所述单一语音类别的类别中心,根据所述单一语音类别和类别中心生成第一说话人声;

其中,所述第一说话人声包括语音特征和时长,所述语音特征包括所述单一语音类别和类别中心,所述时长包括所述单一语音类别的帧数。

相似地,所述第一说话人声和第二说话人声包括语音特征和时长,所述语音特征包括所述标准类别和类别中心,所述时长包括所述标准类别的帧数。

详细地,所述将所述待检测语音特征集中的两个标准类别归类至所述第一说话人声或所述第二说话人声,包括:

本发明其中一个实施例中,若所述待检测语音特征集的评分值大于评分阈值,将所述待检测语音特征集的两个标准类别合并为单一语音类别,并计算所述单一语音类别的类别中心,计算所述单一语音类别的类别中心与上述第一说话人声和第二说话人声的类别中心之间的余弦距离,根据所述余弦距离,将所述单一语音类别归类到所述第一说话人声或第二说话人声中。

其中,若所述单一语音类别的类别中心与上述第一说话人声的类别中心的余弦距离较近,则将所述所述单一语音类别归类至所述第一说话人声中,若所述单一语音类别的类别中心与上述第二说话人声的类别中心的余弦距离较近,则将所述所述单一语音类别归类至所述第二说话人声中。

所述归类包括:将所述单一语音类别与所述第一说话人声或第二说话人声进行合并,并重新计算合并后的类别中心;将所述单一语音类别的帧数与所述第一说话人声或第二说话人声的时长进行累加。

本发明另一个实施例中,若所述评分值小于或等于评分阈值,通过计算所述待检测语音特征集中每个标准类别的类别中心与第一说话人声和第二说话人声的类别中心之间的余弦距离,根据余弦距离将所述两个标准类别分别归类至所述第一说话人声和第二说话人声中。

其中,假设待检测语音特征集中包括标准类别A及标准类别B,若标准类别A的类别中心与第一说话人声的类别中心得余弦距离较近且标准类别B的类别中心与第二说话人声的类别中心得余弦距离较近,则将所述标准类别A归类至第一说话人声中并将所述标准类别B归类至第二说话人声中。

相同的,所述归类包括:将所述标准类别A及标准类别分别与所述第一说话人声或第二说话人声进行合并,并重新计算合并后的类别中心;将所述标准类别A及标准类别B的帧数与所述第一说话人声或第二说话人声的时长进行累加。

所述背景人声去除模块105,用于计算所述第一说话人声和第二说话人声时长,并根据所述第一说话人声和第二说话人声时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除。

较佳地,在所述通话音频中,一般目标说话人的时长会大于背景说话人的时长,因此本发明实施例将所述第一说话人声和第二说话人声中时长较长的说话人声作为目标说话人,将余下的说话人声作为背景说话人。

详细地,所述背景人声去除模块105通过下述方法将所述背景人声从所述人声语音集中删除,包括:

利用预设的时长算法计算所述背景人声在本次通话中的时长比例;

将所述时长比例与预设的比例阈值进行对比;

当所述时长比例大于所述比例阈值时,将所述背景人声从所述人声语音集中删除,去除所述通话音频中的背景人声。

其中,所述时长算法如下:

R=t/T

其中,R为背景人声在本次通话中的时长比例,t为背景人说话人的时长,T为通话总时长,即目标说话人与背景说话人的时长之和。

较佳地,当所述时长比例小于所述比例阈值时,表示本次通话受到的背景人声噪音干扰很小,不需要对所述通话音频进行处理;当所述时长比例大于所述比例阈值时,则表示本次通话受到比较严重的背景人声噪音干扰,将所述背景人声从所述人声语音集中删除可以降低因背景人声造成的错误识别,提升语音通话质量。

如图5所示,是本发明实现语音通话的噪声消除方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如语音通话的噪声消除程序12。

其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如语音通话的噪声消除程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行语音通话的噪声消除程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。

进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的语音通话的噪声消除程序12是多个指令的组合,在所述处理器10中运行时,可以实现:

对通话音频进行语音端点检测,得到人声语音集;

对所述人声语音集进行语音特征提取,得到语音特征集;

依时间顺序从所述语音特征集中截取累计时长为预设时长阈值的待检测语音特征集,得到多个待检测语音特征集,对每一个所述待检测语音特征集进行聚类处理,并利用预设的评估算法对得到的聚类结果进行评分,得到每一个所述待检测语音特征集的评分值;

根据所述评分值,将所述人声语音集分成第一说话人声和第二说话人声;

计算所述第一说话人声和第二说话人声时长,并根据所述第一说话人声和第二说话人声时长判断所述人声语音集中的背景人声,将所述背景人声从所述人声语音集中删除。

进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

21页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种语音去噪方法、装置、电子设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!