本发明实施例提供了一种噪声提取及指令识别方法和电子设备,涉及人工智能技术领域。该方法包括：获取目标语音数据对应的目标文本信息；将所述目标文本信息输入到预先训练的噪声识别模型中,获得所述目标文本信息映射到各个预设噪声标签的预测概率；其中,所述预设噪声标签用于表示预测噪声文本的索引位置,所述预测噪声文本为所述目标文本信息中的词组,所述词组为所述目标文本信息中一个字或连续的多个字的组合；将所述预测概率最大的预设噪声标签对应的所述预测噪声文本确定为所述目标噪声文本。与现有技术相比,应用本发明实施例提供的方案,可以实现在不借助停用词表的情况下,提取待进行自然语言处理的文本中的噪声。

本公开实施例公开了语音信息处理方法、装置和电子设备。该方法的一具体实施方式包括：获取至少一帧待翻译语音信息的第一声学特征信息；在流式语音识别下,确定第一声学特征信息是否对应完整语义；响应于确定结果为是,对所述第一声学特征信息执行翻译操作,得到对应的翻译结果,提高了翻译结果的准确度,降低了翻译结果的输出延迟。

本发明提供一种语音数据处理方法、装置、设备及计算机可读存储介质,方法包括：获取语音数据；将语音数据转换为拼音数据；在预设的拼音知识库中获取与拼音数据相似度最高的标准问题；若拼音数据与标准问题之间的相似度低于预设的阈值,将拼音数据输入至预设的预测模型,获得目标标准问题；将与目标标准问题对应的目标答案转换为目标语音数据,播放目标语音数据。通过将语音数据转换为拼音数据,在拼音数据与标准问题之间的相似度低于预设的阈值时,通过预设的预测模型确定拼音数据对应的目标标准问题,从而能够避免直接将语音数据转换为文字数据造成的信息损失,提高播报的目标语音数据与用户的语音数据对应的问题之间的匹配度。

本发明提供的端到端语音识别模型训练方法、语音识别方法及相关装置,该方法包括：根据文本语料,获得训练后的语言模型；根据语言模型构建端到端语音识别模型,并根据音频语料对构建后的端到端语音识别模型进行训练,获得训练后的端到端语音识别模型。本发明基于数量级较大的文本语料先训练出一个语言模型,让这个语言模型可以学习更多的语言知识,进而,利用训练后的语言模型构建端到端语音识别模型,在结合音频语料进行训练,不仅可以让训练后的模型避免因多音字现象造成识别准确度降低的现象,同时在避免可训练之前需要对音频语料进行标注成本较大的问题。

本发明适用于人类语言处理技术领域,提供了一种基于双向上下文的非自回归语音识别网络、方法、设备及存储介质,本发明提供的语音识别网络采用Transformer的编码器-解码器结构,语音识别网络的编码器用于对输入的语音特征进行初步识别,得到初步识别结果,语音识别网络的解码器用于利用由初步识别结果提供的双向语言信息对初步识别结果进行调整,并输出最终的语音识别结果,其中,解码器通过预设的、应用于解码器的每个多头自注意力层的注意力掩码利用双向语言信息,从而充分了利用了语言信息,提高了语音识别效果,且相较于使用两个单向解码器分别利用单向语言信息的方法,结构更加高效统一。

本发明提供了一种端到端长时语音识别方法。该方法包括：选取语料库为训练数据集,对训练数据集中的语音数据进行数据预处理和特征提取,生成语音特征；构造融合外部语言模型和长时语音识别算法的改进的RNN-T模型,将语音特征输入进的RNN-T模型进行训练,得到训练好的改进的RNN-T模型；将训练好的改进的RNN-T模型作为互学习知识蒸馏算法中的教师模型,利用互学习知识蒸馏算法训练互学习知识蒸馏算法中的学生模型,利用训练和验证好的学生模型对待识别的长时语音数据进行识别,输出语音识别结果。本发明通过对外部语言模型、长时语音识别算法模块和RNN-T模型三部分进行融合,提升了模型长时语音识别的鲁棒性和泛化能力的同时,优化了算法的时间和空间复杂度。

本发明提供一种机器与人工翻译相融合的口语翻译方法。所述机器与人工翻译相融合的口语翻译方法包括以下步骤：S1：获取待识别语音数据,对语音数据进行语种识别并确定语种类型；S2：对所述语音数据进行识别并进行断句,得到以句子为单位的输入文本；S3：建立机器翻译模型,将所述输入文本带入所述机器翻译模型进行翻译并得到机器翻译结果；S4：对所述机器翻译结果进行置信度打分；S5：由人工翻译所输入文本获得人工翻译结果并进行质量评估；S6：根据所述机器翻译结果的翻译置信度评估以及所述人工翻译结果的质量评估。本发明提供的机器与人工翻译相融合的口语翻译方法具有语种覆盖面广、翻译时考虑外部世界场景信息因素、翻译准确率高的优点。

本公开涉及基于场境的语音识别语法选择方法和系统。除其它外,本说明书的主题可以实现在包括以下的方法中：接收从与第一计算设备相关联的非语言用户行为取得的地理信息。非语言用户行为暗示用户对地理位置感兴趣。该方法还包括使用取得的地理信息来识别与该地理位置相关联的语法,以及输出语法指示符以供在选择所识别的语法对来自用户的话音输入进行语音识别处理中使用。

本公开是关于一种语音信号处理方法及装置,电子设备及存储介质。所述语音信号处理方法可包括：获取客户端采集的语音信号；基于第一模型得到所述语音信号的第一文本序列,其中,所述第一文本序列包括：所述语音信号转换成的至少一个文本；基于识别工具,校正所述第一文本序列,得到所述语音信号的识别文本；其中,所述识别工具为：根据所述客户端提供的通信录信息生成的。

接收合成训练数据项,该合成训练数据项包括表示由模拟器输出的合成句子的第一符号序列。使用机器学习模型处理所述合成训练数据项,该机器学习模型输出表示所述合成句子的第二符号序列。通过用第二符号序列替换第一符号序列来修改所述合成训练数据项。在第一符号序列与第三符号序列之间存在统计学上的显著不匹配,该第三符号序列可由声学模型输出,该声学模型处理表示所述合成句子的话语的一组声学特征,并且在第二符号序列与第三符号序列之间不存在统计学上的显著不匹配。所述经修改的合成训练数据项可以被用于训练第二机器学习模型,该第二机器学习模型处理由所述声学模型输出的数据。