具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1-4，在本申请实施例中，本发明提供了一种基于MVGG-CTC的关键词搜索方法，所述方法包括步骤：

S1：获取语音数据；

在本申请实施例中，语音数据可以通过多种存储设备进行获取。

S2：对所述语音数据进行预处理；

在本申请实施例中，所述对所述语音数据进行预处理包括步骤：

对所述语音数据进行特征提取；

对所述语音数据进行静音检测；

对所述语音数据进行多环境混响增强。

在本申请实施例中，当对所述语音数据进行预处理时，通过对接收的输入语音信号提取声学特征，所述声学特征包括语谱图特征、FilterBank(滤波器组)特征、MFCC(梅尔倒谱系数)特征或PLP(感知线性预测)特征其中的任意一种；对输入模型的训练和测试的语音数据使用基于信噪比SNR(信噪比)的静音检测方法、基于GMM(高斯混合模型)的静音检测方法或基于DNN(深度神经网络)的静音检测方法其中的任意一种，实现去除音频信号中的非语音段；使用多环境混响的语音增强方式把包括室内混响、室外噪音以及音乐噪音等增强至原有训练语料中进行扩充以便达到更好的拟合效果和泛化能力。

S3：将所述语音数据输入MVGG-CTC模型中训练；

在本申请实施例中，所述将所述语音数据输入MVGG-CTC模型中训练包括步骤：

构建MVGG模型；

构建连接时序分类器；

将所述语音数据依次输入所述MVGG模型和所述连接时序分类器；

获取所述连接时序分类器输出的拼音序列。

在本申请实施例中，当将所述语音数据输入MVGG-CTC模型中训练时，对步骤S1处理后的训练语音特征进入MVGG-CTC模型中训练，该模型识别语音特征到拼音序列。其训练过程如以下步骤：对于原始VGG网络进行修改在每层网络间增加批标准化层并调整卷积核大小和全连接层维度，以便加速和适配语音特征信号的训练，其具体结构包含16个卷积层、6个池化层、18个BatchNormalization(批标准化)层以及2个全连接层，最后通过softmax归一化得到语音神经元特征向量用于计算CTC损失函数。对于CTC连接时序分类，以给定一个输入序列为条件，其网络输出是标签序列对应输入序列所有可能方式的概率分布。其目标函数P(Y|X)通过以下形式计算：

首先计算该式代表给定长度为T的输入序列X，输出为A序列的概率，a_t代表t时刻的拼音标签，输入语音神经元特征向量维度是200维向量，每个时间点默认输出的拼音维度是1424(即1423个拼音和1个空白块)。

然后计算是由于A序列中的连续空白块移除的过程会导致序列重复的现象，如A(c_a__t)和A(_c__at)移除空白块都是A(cat)，移除空白块的序列为最终输出序列，对移除空白块后相同的序列分布概率进行求和计算。

基于以上公式，CTC根据如下公式获得最可能的序列：

h(X)＝argmaxP(A|X)，

对于语音段特征输入X＝{x₁,x₂,...,x_t}，经过[0013]～[0017]过程，输出拼音序列为Y＝{y₁,y₂,...,y_n}。

S4：构建语音模型和词典；

在本申请实施例中，所述构建语音模型和词典包括步骤：

构建一元言模型和二元语言模型；

把所述一元语言模型的汉字构建成拼音词典。

在本申请实施例中，当构建语音模型和词典时，使用基于统计的方法构建一元、二元语言模型，用于计算单字与两字词分别的概率；然后利用pypinyin工具把一元语言模型中的汉字转录成为拼音词典，具体形式是每个拼音对应其相应的多个汉字。

S5：将所述MVGG-CTC模型输出的拼音序列转化为连续文字；

在本申请实施例中，所述将所述MVGG-CTC模型输出的拼音序列转化为连续文字包括步骤：

构建马尔可夫模型；

基于恐慌补偿的维特比算法构建解码器；

将所述拼音序列依次输入所述马尔可夫模型和所述解码器；

获取所述解码器输出的连续文字。

在本申请实施例中，当将所述MVGG-CTC模型输出的拼音序列转化为连续文字时，对于MVGG-CTC模型输出的拼音序列使用基于恐慌补偿的维特比解码器转化成连续的文字；该步骤分为以下两个分步骤：构建马尔可夫模型，用于计算词与词之间的转移概率；构建基于恐慌补偿的维特比算法构建解码器，用于实现连续拼音序列解码成文字序列。

S6：利用倒排索引构建语音关键词搜索库；

在本申请实施例中，所述利用倒排索引构建语音关键词搜索库包括步骤：

识别所述语音数据中每段语音所对应的文字序列；

构建倒排索引库；

构建搜索程序。

在本申请实施例中，当利用倒排索引构建语音关键词搜索库时，对所需要识别语音数据通过步骤S1到步骤S5对每段语音进行自动识别得到所对应的文字序列，其形式为：(语音ID，创建时间，文字序列)；然后构建倒排索引库，对于每句话中的每个词作为索引ID，其对应的属性是一个创建时间和语音ID的集合，其形式为：{索引ID,[(创建时间1，语音ID1),(创建时间2，语音ID2),……,(创建时间n，语音IDn)]}；接着构建搜索程序，利用jieba工具对输入的信息进行分词，对分词的结果传入倒排索引库中进行搜索，返回查询到的创建时间和语音ID的序列。

S7：在所述语音关键词搜索库中输入关键词进行检索；

S8：获取所述语音关键词搜索库输出的检索结果。

在本申请实施例中，根据输入的关键词进行检索，输出待识别的关键词所属语音ID及其详细信息，作为检索结果。至此整个系统流程完成。

本申请提供的一种基于MVGG-CTC的关键词搜索方法具有如下有益效果：

(1)改进了网络结构，提升了语音识别的效率与准确度；

(2)提升模型的鲁棒性；

(3)能够实现快速关键词检索的智能自动识别。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。