具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是服务器、计算机等，用于执行语言模型的训练方法。下文为便于描述，以计算机为主体为执行主体。

存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的语言模型的训练方法。

参见图2，为本申请一实施例提供的语言模型的训练方法的流程示意图，如图2所示，该方法可以包括以下步骤210-步骤230。

步骤210：根据预设训练语料集训练出多个N元模型。

其中，训练语料集包括用于训练N元模型的语言材料，语言材料可以是文章、句子等。训练语料集中可以包括各种领域的大量语言材料。

计算机可以通过统计方法训练出N元模型。N元模型依据马尔科夫假设建模，一个词的出现机率至于这个词前的n个词关联，建模公式(1)如下：

其中，p为机率；count(w)为词w的出现次数。

示例性的，对于一个二元语言模型的训练，训练文本里，“你”的出现次数为1000，“你好”的出现次数为200，依据上述公式(1)可知，p(好|你)＝200/1000＝0.2。

训练语料集可以包括多个训练子集，不同训练子集可以包含不同来源、性质的语言材料。计算机依据每个训练子集训练出对应的N元模型，从而得到多个N元模型。

步骤220：根据最大期望算法，确定多个N元模型在处理预设目标语料集时，每个N元模型对应的最佳权重系数。

其中，目标语料集包括用于评估已训练N元模型的语言材料。根据待训练的语言模型的应用场景，采集相关的语言材料构成目标语料集。示例性的，语言模型用于财经节目的语音识别任务，可以采集财经领域的语言材料构成目标语料集。

最大期望算法是通过迭代进行极大似然估计的优化算法，可用于优化各个N元模型的权重系数。

计算机可以利用多个N元模型对目标语料集的处理结果，以最大期望算法进行迭代优化，确定所有N元模型对目标语料集的整体处理结果最优时，各个N元模型对应的权重系数，作为最佳权重系数。

步骤230：根据每个N元模型对应的最佳权重系数，对多个N元模型进行插补处理，得到语言模型。

在获得每个N元模型对应的最佳权重系数之后，计算机可以依据各N元的最佳权重系数对多个N元模型进行插补处理，从而得到语言模型。计算机可以依据多个最佳权重系数，对多个N元模型进行加权合并，从而实现插补处理。

示例性的，如果有两个N元模型，通过如下公式(2)进行插补处理：

p(w_i|w_i-1)＝λ₁p₁(w_i|w_i-1)+λ₂p₂(w_i|w_i-₁) (2)

λ₁+λ₂＝1，0≤λ₁，λ₂≤1

其中，p为插补得到的语言模型；p1为第一个N元模型；p2为第二个N元模型；λ₁为第一个N元模型的最佳权重系数；λ₂为第二个N元模型的最佳权重系数。

通过上述措施，可以通过最大期望算法确定各N元模型在处理目标语料集时的最佳权重系数，以最佳权重系数对多个N元模型进行插补处理后，可以得到整体处理结果最优的语言模型。

在一实施例中，最大期望算法可以包括期望算法、权重更新算法和核函数。参见图3，为本申请一实施例提供的最佳权重系数的确定方法的流程示意图，如图3所示，该方法可以包括如下步骤221-步骤224。

步骤221：针对任一N元模型，在多个N元模型当前权重系数基础上，依据期望算法，确定N元模型在处理目标语料集中任一词语的期望参数。

其中，期望算法用于计算期望参数。期望参数用于表征任一N元模型对任一词语所确定的机率，在所有N元模型所确定的机率的相对大小。

在初始情况下，每一N元模型被预配置初始权重系数。以初始权重系数为当前权重系数开始权重系数的迭代过程。每经一次迭代，当前权重系数就会更新。

对于任一N元模型，计算机可以确定该N元在处理目标语料集中任一词语的机率。在计算出的机率和多个N元模型当前权重系数的基础上，计算机根据期望算法确定上述N元模型处理上述词语的期望参数。

对于任一N元模型，计算机可以确定该N元模型处理目标语料集中每个词语的期望参数，从而得到所有N元模型在处理每个词语的期望参数。示例性的，N元模型有3个，目标语料集内有1000个词语，可以确定总共3000个期望参数。

步骤222：针对任一N元模型，根据每个N元模型处理每个词语的期望参数，基于权重更新算法确定N元模型更新后的权重系数。

其中，权重更新算法用于更新权重系数。

在每个N元模型处理每个词语的期望参数的基础上，针对任一N元模型，计算机可以根据权重更新算法确定该N元模型更新后的权重系数。对每个N元模型进行更新后，可以得到每个N元模型更新后的权重系数，此时，完成一轮权重系数的更新过程。

步骤223：根据核函数对多个N元模型更新后的权重系数进行评估，并依据评估结果确定核函数是否收敛。

步骤224：重复上述过程，直至核函数收敛，确定每个N元模型对应的权重系数为最佳权重系数。

其中，核函数用于评估多个N元模型的整体处理结果。

在所有N元模型所确定的目标语料集中每个词语的机率、以及所有N元模型更新后的权重系数的基础上，计算机依据核函数进行计算，核函数的函数值即为多个N元模型整体处理结果的评估结果。

在获得评估结果之后，计算机可以确定本次评估结果与前一次评估结果的差值。在第一次更新权重系数时，前一次评估结果为零。可以通过如下公式(3)表示差值计算过程：

g(t)＝f(D，M)_t-f(D，M)_t-1 (3)

这里，g(t)表示第t次确定的差值；f(D，M)_t表示第t次确定的所有N元模型对所有词语的评估结果；f(D，M)_t-1表示第t-1次确定的所有N元模型对所有词语的评估结果。

计算机可以判断本次评估结果与前一次评估结果的差值是否接近零，如果不是，可以返回步骤221，将更新后的权重系数作为当前权重系数，重新确定各N元模型给处理任一词语时的期望参数，从而执行下一轮的权重更新过程。

在迭代更新过程中，核函数的函数值会逐步增加，且增加幅度会逐渐变小。当核函数的函数值趋于稳定时，也就是本次评估结果与前一次评估结果的差值接近零时，可以认定核函数收敛。

当核函数收敛时，计算机可以将各N元模型的当前权重系数，作为该N元模型的最佳权重系数。

在一实施例中，目标语料集包括多个目标子集，各目标子集可以包含不同的语言材料。参见图4，为本申请一实施例提供的期望参数的确定方法的流程示意图，如图4所示，该方法可以包括如下步骤410-步骤440。

步骤410：针对目标子集中任一词语，依据每个N元模型分别确定词语在目标子集出现的机率，获得多个机率。

针对目标子集中任一词语，确定任一N元模型处理该词语的期望参数时，计算机可以通过每一N元模型分别确定该词语在目标子集出现的机率，从而得到多个机率。

步骤420：根据多个N元模型当前权重系数，对每个N元模型确定的机率加权求和。

计算机可以基于多个N元模型的当前权重系数，对多个N元模型确定的机率进行加权求和。

步骤430：针对任一N元模型，将N元模型的当前权重系数和为词语确定的机率相乘。

在确定任一N元模型处理上述词语的期望参数时，计算机可以将该N元模型确定的机率与其对应的当前权重系数相乘。

步骤440：基于相乘结果和加权求和结果，确定N元模型处理词语的期望参数。

计算机可以将相乘结果除以加权求和结果，从而得到上述N元模型处理上述词语的期望参数。

期望参数的计算过程可以通过如下公式(4)来表示：

其中，P(X_d,w,m)表示第m个N元模型处理目标子集d中的词语w的期望参数；P(w|m,d)表示第m个N元模型确定的目标子集d中词语w的机率；λ_m表示第m个N元模型的当前权重系数；M为N元模型的总数；P(w|m’,d)泛指任一N元模型确定的目标子集d中词语w的机率；λ_m’表示第m’个N元模型的当前权重系数。

在一实施例中，目标语料集包括多个目标子集，各目标子集可以包含不同的语言材料，且各目标子集被配置语料集权值，该语料集权值用于表示目标子集中语言材料的重要程度。参见图5，为本申请一实施例提供的权重系数的更新方法的流程示意图，如图5所示，该方法可以包括如下步骤510-步骤520。

步骤510：针对任一N元模型，根据N元模型处理任一目标子集中每个词语的期望参数、以及目标子集的词语总数，确定N元模型处理目标子集的中间参数。

计算机在更新任一N元模型的权重系数时，可以累加该N元模型处理任一目标子集中每个词语的期望参数，并将累加之和除以该目标子集的词语总数，从而得到该N元模型处理目标子集的中间参数。

对于任一N元模型，计算机可以确定该N元模型处理每个目标子集的中间参数。

步骤520：针对任一N元模型，根据N元模型处理每个目标子集的中间参数、以及每个目标子集的预设语料集权值，确定N元模型更新后的权重系数。

对于上述N元模型，在获得该N元模型处理每个目标子集的中间参数之后，计算机可以依据每个目标子集的语料集权值，对多个中间参数进行加权求和，从而得到该N元模型更新后的权重系数。

权重系数的更新过程可以通过如下公式(5)来表示：

其中，λ_m表示第m个N元模型更新后的权重系数；D表示目标子集的集合；d’泛指一个目标子集；Θ_d’泛指一个目标子集的语料集权值；count(d’)为目标子集d’的词语总数；w’泛指目标子集d’中的词语；P(X_d’,w’,m)表示第m个N元模型处理词语w’的期望参数。

通过执行上述步骤，计算机可以确定每一轮所有N元模型更新后的权重系数。

在一实施例中，目标语料集包括多个目标子集，各目标子集可以包含不同的语言材料，且各目标子集被配置语料集权值，该语料集权值用于表示目标子集中语言材料的重要程度。参见图6，为本申请一实施例提供的权重系数的评估方法的流程示意图，如图6所示，该方法可以包括如下步骤610-步骤620。

步骤610：根据每个N元模型所确定的任一目标子集中每个词语的机率、目标子集的词语总数、每个N元模型更新后的权重系数，确定目标子集对应的中间评估参数。

针对目标子集中任一词语，计算机可以将基于每个N元模型更新后的权重系数，对每个N元模型确定的该词语的机率进行加权求和。计算机可以对加权求和结果进行对数运算，获得该词语对应的对数运算结果。

针对任一目标子集，计算机可以累加目标子集内所有词语对应的对数运算结果，并将累加之和除以该目标子集的词语总数，从而得到该目标子集对应的中间评估参数。

计算机可以确定每个目标子集对应的中间评估参数。

步骤620：根据每个目标子集对应的中间评估参数、以及每个目标子集的预设语料集权值，确定评估结果。

计算机可以依据每个目标子集的语料集权值，对所有目标子集对应的中间评估参数进行加权求和，从而得到评估结果。

核函数可以通过如下公式(6)来表示：

其中，f(D,M)表示所有N元模型对所有词语的评估结果；D表示目标子集的集合；M表示N元模型的集合；d’泛指一个目标子集；w’泛指目标子集d’中的词语；count(d’)为目标子集d’的词语总数；Θ_d’泛指一个目标子集的语料集权值；λ_m’泛指一个N元模型更新后的权重系数；P(w|m,d)泛指一个N元模型确定的目标子集d’中词语w’的机率。

对于上述权重系数更新过程，示例性的，训练语料集包括两个训练子集，由此训练出两个N元模型，这里，N元模型为三元模型。目标语料集包括两个目标子集，每一目标子集内有三个词语，且两个目标子集的语料集权值分别为0.8和0.2。

通过两个N元模型分别对两个目标子集中的词语计算机率，得到结果如下表1所示：

表1

在获得每个N元模型对每个目标子集中每个词语的机率之后，基于两个N元模型的初始权重系数0.5和0.5，确定每个N元模型对于每个词语的期望参数，得到结果如下表2所示：

表2

根据权重更新算法根据多个期望参数，确定两个N元模型第一次更新后的权重系数为0.45和0.55。经核函数进行评估，获得评估结果f(D,M)＝-0.647。重复上述过程，第一次迭代后评估结果f(D,M)＝-0.645，两次评估结果的差值g(1)＝0.0024。第二次迭代后，前后两次评估结果的差值g(2)＝0.0017；第三次迭代后，前后两次评估结果的差值g(3)＝0.0011。直到第二十次迭代后，前后两次评估结果的差值g(20)＝5.9*10^-6，此时差值已逼近零。可将此时两个N元模型的权重系数0.24和0.76认定为最佳权重系数。

在一实施例中，多个N元模型预先配置多组初始权重系数，每组初始权值系数包括每一N元模型的初始权重系数。

这种情况下，计算机可以在多组初始权值系数的基础上，执行权重系数的迭代更新过程，换而言之，计算机可以并行地以多组初始权值系数开始执行权重更新。针对每一组初始权值系数开始的更新过程，可以通过一个核函数对其进行评估。

当多个核函数收敛时，计算机可以确定每一核函数最后两次函数值的差值，并从多个差值中确定最小差值，从而确定收敛程度最高的核函数，作为目标核函数。

计算机可以将目标核函数所处理的每个N元模型更新后的权重系数，确定为每个N元模型的最佳权重系数。

通过该措施，在多组初始权重系数的基础上更新权重系数，可以使得整体处理结果的优化更为成功，获得更好的最佳权重系数。

在一实施例中，计算机对多个N元模型进行插补处理，得到语言模型之后，可以继续对语言模型进行调整。

计算机可以根据预设调试语料集训练出调试集N元模型。这里，调试语料集包括用于调整语言模型的语言材料。

获得调试集N元模型之后，计算机可以根据语言模型和调试集N元模型预设的调试权重系数，对语言模型和调试集N元模型进行插补处理，得到调整后的语言模型。调试权重系数根据调整集N元模型的重要程度进行配置，示例性的，调试集N元模型的调试权重系数为0.7，语言模型的调试权重系数为0.3，计算机以此对调试集N元模型和语言模型进行插补处理。

这种情况下，为训练出语言模型，需要用到训练语料集、目标语料集和调试语料集。

示例性的，在为某财经节目训练用于语音识别任务的语言模型时，需要包含各领域大量语料的训练语料集、包含财经领域的大量语料的目标语料集、包含该节目特殊语料(比如：口号、嘉宾名称、栏目名称等)的调试语料集。

通过训练语料集训练出多个N元模型之后，根据最大期望算法确定多个N元模型在处理目标语料集时，每个N元模型对应的最佳权重系数。根据所有N元模型对应的最佳权重系数进行插补处理，得到语言模型，该语言模型可称为最佳训练集模型。

通过调试语料集训练出调试集N元模型，并根据预设的调试权重系数对调试集N元模型和最佳训练集模型进行插补处理，获得最终的语言模型。该语言模型可用于财经节目的语音识别任务。

参见图7，为本申请一实施例提供的语言模型的训练方法的示意图，如图7所示，基于包含多个训练子集的训练语料集训练出多个N元模型。通过多个N元模型处理包含多个目标子集的目标语料集，并根据最大期望算法确定每个N元对应的最佳权重系数。在最佳权重系数组合的基础上，通过插补处理，获得最佳训练集模型。依据调试语料集训练出调试集N元模型，并依据预设调试权重系数对调试集N元模型和最佳训练集模型进程插补处理，得到语言模型。

图8是本发明一实施例的一种语言模型的训练装置，如图8所示，该装置可以包括：

训练模块810，用于根据预设训练语料集训练出多个N元模型；

确定模块820，用于根据最大期望算法，确定所述多个N元模型在处理预设目标语料集时，每个N元模型对应的最佳权重系数；

插补模块830，用于根据每个N元模型对应的最佳权重系数，对所述多个N元模型进行插补处理，得到语言模型。

上述装置中各个模块的功能和作用的实现过程具体详见上述语言模型的训练方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。