具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

请参阅图1，是本发明第一实施例提供的模型训练方法的流程图，该模型训练方法可以应用与任一终端设备，该终端设备包括服务器、手机、平板或可穿戴智能设备等，该模型训练方法包括步骤：

步骤S10，对样本语音进行抽样，得到抽样语音，并对所述抽样语音进行语音标注，得到转写文本；

其中，采用多个不同说话人的语音，以得到该样本语音，该样本语音包括目标语种和至少一个待识别语种，该目标语音和待识别语种均可以根据需求进行设置，本实施例中，该目标语种为普通话，该待识别语种为闽南，可选的，该步骤中，该样本语音还包括编码转换语音，该编码转换语音为待识别语种穿插有目标语种的语音；

该步骤中，对样本语音进行抽样的抽样数量可以根据需求进行设置，该步骤中，通过构建语音识别发音词典，基于构建后的语音识别发音词典，对抽样语音进行语音标注，得到各抽样语音对应的转写文本；

步骤S20，对剩余样本语音进行切分，得到切分语音，并根据所述切分语音设置自监督学习模型的回归任务标签；

其中，通过对剩余样本语音进行切分，提高了后续各个模型训练数据的数据量。

该步骤中，所述对剩余样本语音进行切分之前还包括：分别确定各剩余样本语音的语音时长；若任一剩余样本语音的语音时长小于预设时长时，则删除该样本语音；

其中，该预设时长可以根据需求进行设置，例如，该预设时长可以设置为1秒、2秒或3秒等，该步骤中，通过删除语音时长小于预设时长的样本语音，确保了每条样本语音中均可以携带有较多的语音信息。

进一步地，该步骤中，根据预设时间间隔对分别对各样本语音进行切分，得到该切分语音，该预设时间间隔可以根据需求进行设置，例如，该预设时间间隔可以设置为1秒、2秒或3秒等。

可选的，该步骤中，所述根据所述切分语音设置自监督学习模型的回归任务标签，包括：

分别提取所述切分语音的梅尔倒谱系数(Mel-scale Frequency CepstralCoefficients，MFCC)特征、MFCC一阶差分特征、MFCC二阶差分特征、Fbank特征、语音信号线性预测特征(LPC)、韵律特征、时间弯折特征和频率掩码特征；

将所述切分语音、所述MFCC特征、所述MFCC一阶差分特征、所述MFCC二阶差分特征、所述Fbank特征、所述LPC特征、所述韵律特征、所述时间弯折特征和所述频率掩码特征，分别设置为所述自监督学习模型的回归任务标签；

其中，通过将MFCC特征、MFCC一阶差分特征、MFCC二阶差分特征、Fbank特征、LPC特征、韵律特征、时间弯折特征和频率掩码特征，分别设置为自监督学习模型的回归任务标签，提高了自监督学习模型训练的准确性，是为了让自监督学习模型学习到提取这些特征的参数，且该步骤中，通过将切分语音设置为自监督学习模型的回归任务标签，提高了收敛后自监督学习模型的抗噪、抗混响和抗变形失真能力。

步骤S30，对所述切分语音进行采样，得到样本对，并将所述样本对输入所述自监督学习模型进行模型训练，直至所述自监督学习模型收敛；

其中，该自监督学习模型中包括编码器、鉴别器和分类器，该编码器用于对输入自监督学习模型的样本对进行特征编码，该鉴别器用于鉴别经编码器编码后的特征是否来自同一个说话人，该分类器对该鉴别器的鉴别结果进行损失计算，以得到表征该编码器和鉴别器参数误差的模型损失参数。

可选的，该步骤中，所述样本对包括正样本对和负样本对，所述对切分语音进行采样，得到样本对，包括：

对所述切分语音进行采样，得到采样语音，且当同一轮采样到的各采样语音来自同一条语音，则将采样到的各采样语音设置为所述正样本对；

其中，每轮采样的数量均可以根据需求进行设置，该步骤中，每轮采样的数量为两个，即，在不同的切分语音中随机采样两个语音，得到两个采样语音，并当同一轮采样中的两个采样语音来自同一条语音时，将采样到的两个采样语音设置为正样本对；

当同一轮采样到的各采样语音来自不同语音，则将采样到的各采样语音设置为所述负样本对；

其中，当同一轮采样到的两个采样语音来自不同语音，则将采样到的两个采样语音设置为负样本对，该步骤中，基于同一轮采样过程中，各采样语音是否来自同一条语音的判断，以提高对样本对的样本设置，基于设置后的正样本对和负样本对，提高了后续自监督学习模型训练的准确性。

进一步地，该步骤中，所述将所述样本对输入所述自监督学习模型进行模型训练，包括：

将所述样本对输入所述自监督学习模型中的编码器进行编码，得到编码数据，并将所述编码输入输入所述自监督学习模型中的鉴别器进行数据鉴别；

将所述鉴别器的鉴别结果输入所述自监督学习模型中的分类器进行损失计算，得到模型损失参数；

根据所述模型损失参数对所述编码器和所述鉴别器进行参数更新，直至所述编码器和所述鉴别器收敛，输出收敛后的所述自监督学习模型。

其中，所述将所述鉴别器的鉴别结果输入所述自监督学习模型中的分类器进行损失计算所采用的损失函数为：

其中，Θ是所述编码器的参数，Φ是所述鉴别器的参数，下标p表示正样本，n表示负样本，(x1，x2)表示所述正样本对，(x1，xrnd)表示所述负样本对，g函数表示所述鉴别器的输出，L(Θ，Φ)是所述模型损失参数。

更进一步地，该步骤中，所述将所述样本对输入所述自监督学习模型进行模型训练包括：

将样本对输入自监督学习模型中的CNN网络，其中，CNN网络中的激活函数采用sinc函数，通过采用sinc函数，使得CNN网络中的参数数量不会随着卷积核的变化而变化，因此，CNN网络中的卷积核可以设为更大的尺寸，捕获更大区间的上下文信息，另一方面sinc函数可以更好地捕获说话人特性，有利于提升声纹识别效果；

将CNN网络的输出输入至自监督学习模型中的34层残差神经网络(ResNet网络)，并将ResNet网络的输出输入至自监督学习模型中的三层全连接层；

将全连接层的输出作为声学嵌入特征，将声学嵌入特征分别用于训练自监督学习任务后，通过后向传播算法和梯度下降法迭代更新所有神经网络参数，直至该自监督学习模型收敛。

步骤S40，根据所述抽样语音和收敛后的所述自监督学习模型训练声纹识别模型，直至声纹识别模型收敛；

其中，基于收敛后的声纹识别模型，能有效地对输入的待识别声纹数据进行声纹识别。

步骤S50，根据所述转写文本训练语言模型，并根据所述抽样语音和收敛后的所述自监督学习模型训练声学模型；

其中，通过根据转写文本训练语言模型，使得训练后的语言模型能有效地将输入的句子的概率拆解成其中每个词的概率之积，通过根据抽样语音和收敛后的自监督学习模型训练声学模型，使得训练后的声学模型能有效地计算出输入的文字对应的发声概率。

步骤S60，根据训练后的声学模型和所述语言模型构建语音识别模型；

其中，将待识别语音输入所述语音识别模型进行语音识别，得到语音识别结果，通过根据训练后的声学模型和语言模型构建语音识别模型，使得构建后的语音识别模型，能有效地对输入的待识别语音进行语音识别，得到对应的语音识别结果。

本实施例，通过切分语音设置自监督学习模型的回归任务标签，提高了收敛后自监督学习模型的抗噪、抗混响和抗变形失真能力，本发明实施例采用自监督学习的方式进行语音识别模型的构建和声纹识别模型的训练，基于同一个收敛后的自监督学习模型，可以分别训练或构建声纹识别模型和语音识别模型，提高了模型训练效率，无需大量的已标注数据，降低了数据标注的工作量，进一步提高了模型训练效率。

实施例二

请参阅图2，是本发明第二实施例提供的模型训练方法的流程图，该实施例用于对步骤S30作进一步细化，包括步骤：

步骤S31，根据后向传播算法，计算所述编码器和所述鉴别器的偏微分；

其中，通过采用后向传播算法，迭代地处理样本对,将每个样本对的网络预测与真实结果相比较进行学习，对于每个样本对,修改编码器和鉴别器的权重，使得自监督学习模型的预测和结果之间的误差最小。

步骤S32，根据所述偏微分和最大所述模型损失参数，采用梯度下降算法更新所述编码器和所述鉴别器的参数；

其中，可以采用全梯度下降算法(Full gradient descent)，随机梯度下降算法(Stochastic gradient descent)，随机平均梯度下降算法(Stochastic averagegradient descent)或小批量梯度下降算法(Mini-batch gradient descent)的方式，更新编码器和鉴别器的参数,梯度下降算法用于正确地调节编码器和鉴别器中的权重向量，通过为每个权重计算一个梯度，从而更新权值，使目标函数尽可能最小化。

本实施例中，通过计算编码器和鉴别器的偏微分，基于偏微分和最大模型损失参数，能有效地对编码器和鉴别器中的参数进行更新，以达到更新自监督学习模型的效果，直至自监督学习模型收敛，提高了自监督学习模型的准确性。

实施例三

请参阅图3，是本发明第三实施例提供的模型训练系统100的结构示意图，包括：回归任务标签设置模块10、语音采样模块11、声纹模型训练模块12、声学模型训练模块13和语音模型训练模块14，其中：

回归任务标签设置模块10，用于对样本语音进行抽样，得到抽样语音，并对所述抽样语音进行语音标注，得到转写文本；对剩余所述样本语音进行切分，得到切分语音，并根据所述切分语音设置自监督学习模型的回归任务标签。

其中，该回归任务标签设置模块10还用于：分别提取所述切分语音的MFCC特征、MFCC一阶差分特征、MFCC二阶差分特征、Fbank特征、LPC特征、韵律特征、时间弯折特征和频率掩码特征；

将所述切分语音、所述MFCC特征、所述MFCC一阶差分特征、所述MFCC二阶差分特征、所述Fbank特征、所述LPC特征、所述韵律特征、所述时间弯折特征和所述频率掩码特征，分别设置为所述自监督学习模型的回归任务标签。

进一步的，该回归任务标签设置模块10还用于：若任一剩余所述样本语音的语音时长小于预设时长，则删除所述样本语音；

根据预设时间间隔对剩余所述样本语音进行切分，得到所述切分语音。

语音采样模块11，用于对所述切分语音进行采样，得到样本对，并将所述样本对输入所述自监督学习模型进行模型训练，直至所述自监督学习模型收敛。

其中，该语音采集模块11还用于：将所述样本对输入所述自监督学习模型中的编码器进行编码，得到编码数据，并将所述编码输入输入所述自监督学习模型中的鉴别器进行数据鉴别；

将所述鉴别器的鉴别结果输入所述自监督学习模型中的分类器进行损失计算，得到模型损失参数；

根据所述模型损失参数对所述编码器和所述鉴别器进行参数更新，直至所述编码器和所述鉴别器收敛，输出收敛后的所述自监督学习模型。

优选的，该语音采集模块11还用于：根据后向传播算法，计算所述编码器和所述鉴别器的偏微分；

根据所述偏微分和最大所述模型损失参数，采用梯度下降算法更新所述编码器和所述鉴别器的参数。

进一步地，所述将所述鉴别器的鉴别结果输入所述自监督学习模型中的分类器进行损失计算所采用的损失函数为：

其中，Θ是所述编码器的参数，Φ是所述鉴别器的参数，下标p表示正样本，n表示负样本，(x1，x2)表示所述正样本对，(x1，xrnd)表示所述负样本对，g函数表示所述鉴别器的输出，L(Θ，Φ)是所述模型损失参数。

可选的，该语音采集模块11还用于：对所述切分语音进行采样，得到采样语音，且当同一轮采样到的各采样语音来自同一条语音，则将采样到的各采样语音设置为所述正样本对；

当同一轮采样到的各采样语音来自不同语音，则将采样到的各采样语音设置为所述负样本对。

声纹模型训练模块12，用于根据所述抽样语音和收敛后的所述自监督学习模型训练声纹识别模型，直至声纹识别模型收敛。

声学模型训练模块13，用于根据所述转写文本训练语言模型，并根据所述抽样语音和收敛后的所述自监督学习模型训练声学模型。

语音模型训练模块14，用于根据训练后的声学模型和所述语言模型构建语音识别模型，并将待识别语音输入所述语音识别模型进行语音识别，得到语音识别结果。

其中，该语音模型训练模块14还用于：根据训练后的声学模型和所述第三语言模型构建语音识别模型。

本实施例，通过切分语音设置自监督学习模型的回归任务标签，提高了收敛后自监督学习模型的抗噪、抗混响和抗变形失真能力，本发明实施例采用自监督学习的方式进行语音识别模型的构建和声纹识别模型的训练，基于同一个收敛后的自监督学习模型，可以分别训练或构建声纹识别模型和语音识别模型，提高了模型训练效率，无需大量的已标注数据，降低了数据标注的工作量，进一步提高了模型训练效率。

实施例四

图4是本申请第四实施例提供的一种终端设备2的结构框图。如图4所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如模型训练方法的程序。处理器20执行所述计算机程序23时实现上述各个模型训练方法各实施例中的步骤，例如图1所示的S10至S50，或者图2所示的S31至S32。或者，所述处理器20执行所述计算机程序22时实现上述图3对应的实施例中各单元的功能，例如，图3所示的单元10至14的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。

示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成回归任务标签设置模块10、语音采样模块11、声纹模型训练模块12、声学模型训练模块13和语音模型训练模块14，各单元具体功能如上所述。

所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图4仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。