具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中存在的对文本同时进行分词和实体标注时存在边界冲突的问题，本发明实施例提供一种分词模型训练方法、分词方法和数据处理方法及装置，避免了对目标文本同时进行分词和实体标注时的分词边界冲突。

实施例一

本发明实施例一提供一种分词模型训练方法，其流程如图1所示，包括如下步骤：

步骤S11：使用分词标注数据训练得到分词模型。

在一个实施例中，可以是，使用分词标注数据，采用条件随机场(conditionalrandom field，CRF)损失函数训练得到分词模型。

具体的，可以是，选择分词标注数据中的第一标注数据，生成第一标注数据对应的确定标签序列和可能标签序列组合；确定第一标注数据与确定标签序列的第一联合概率，以及第一标注数据分别与可能标签序列组合中的各可能标签序列的第二联合概率；根据第一联合概率和第二联合概率，采用随机梯度下降训练方法训练根据CRF损失函数构建的第一目标函数中的第一规范参数；当第一目标函数的值的下降幅度低于预设的第一下降阈值时，停止训练。

具体的，上述标签序列，可以是BIES序列，其中B为begin，表示一个分词的首字；I为inside，表示一个分词的中间字；E为end，表示一个分词的尾字；S为single，表示一个分词为单个字。

具体的，分词标注数据中的第一标注数据，可以是分词标注数据中各样本的分词信息，根据分词信息可以确定样本中每个字的确定BIES标签，进而生成样本的确定BIES标签序列；根据样本中每个字的可能BIES标签生成样本的所有可能BIES标签序列组合。

以“我在北京市”为例，根据其分词信息生成BIES确定标签序列为{(S)，(S)，(B)，(I)，(E)}。由于分词信息是确定的，故生成的BIES确定标签序列为唯一的。同时，若忽略分词信息，由于“我”字在开头部分，所以对应的标签只可能是B或者S；“在”、“北”和“京”字都在中间位置，可能对应的标签为B、I、E和S中的任一个；“市”字在末尾，可能对应的标签只能是E或S。故最终生成的可能BIES标签序列组合为{(B，S)，(B，I，E，S)，(B，I，E，S)，(B，I，E，S)，(E，S)}，包含了256(2×4×4×4×2)种可能BIES标签序列。

步骤S12：获得实体标注数据，按照预设规则将实体标注数据的实体部分和非实体部分分别添加分词标签。

针对实体标注数据中的每条样本，根据样本中的实体部分的分词情况，确定实体部分每个字的确定标签；确定非实体部分的每个字的可能标签；将实体部分的每个字的确定标签和非实体部分的每个字的可能标签，组成样本数据的确定标签序列组合。不考虑样本中的分词情况，直接确定每个字的可能标签，生成样本数据的可能标签序列组合。

具体的，上述标签序列，可以是BIES序列。

步骤S13：使用添加分词标签之后的实体标注数据对分词模型进行训练。

若步骤S11中是采用条件随机场CRF损失函数训练得到分词模型的，则使用添加分词标签之后的实体标注数据，采用CRF损失函数训练调整分词模型。可选的，分词模型的训练和训练调整也可以采用别的方法，具体方法本实施例不做限定，只要二者使用同样的方法即可。

本发明实施例一提供的上述分词模型训练方法，使用分词数据训练得到分词模型，并利用实体标注数据中的实体标注分词的分词情况对分词模型进一步训练调整，使得分词模型能够拟合实体标注数据中的实体标注分词边界规律，最终使得分词模型和实体标注模型的分词边界一致，避免了分词模型和实体标注模型同时使用时带来的分词边界冲突的可能性。

本发明实施例一提供的上述分词模型训练方法，利用实体标注数据中的实体标注分词结果对分词模型进一步训练调整；而不是在同一份语料上同时进行分词和实体标注，从语料层面确保边界一致。故在语料层面上减少了计算量，降低了分词模型训练的成本。

实施例二

本发明实施例二提供一种分词模型训练方法的具体实现，其流程如图2所示，包括如下步骤：

步骤S21：选择分词标注数据中的第一标注数据，生成第一标注数据对应的确定标签序列和可能标签序列组合。

在一个实施例中，可以包括，根据第一标注数据的分词情况生成确定BIES标签序列；根据第一标注数据中每个字在第一标注数据中的位置确定每个字的可能BIES标签，根据每个字的可能BIES标签生成第一标注数据的可能BIES标签序列组合。

即，根据第一标注数据的分词情况，可以确定每个字唯一的BIES标签，生成第一标注数据对应的唯一的BIES确定标签序列；忽略分词情况，只根据第一标注数据中各个字的位置(起始位置、末尾位置或中间位置)，确定每个字的所有可能BIES标签，根据每个字的所有可能BIES标签生成第一标注数据的可能BIES标签序列组合。

步骤S22：确定第一标注数据与确定标签序列的第一联合概率，以及第一标注数据分别与可能标签序列组合中各可能标签序列的第二联合概率。

步骤S23：根据第一联合概率和第二联合概率，采用随机梯度下降训练方法训练根据CRF损失函数构建的第一目标函数中的第一规范参数。

具体的，可以以下述函数为第一目标函数，下述函数中的w为第一规范参数：

式中，x_i表示分词标注数据中的第i条分词样本数据的第一标注数据，y_i表示第i条第一标注数据对应的确定标签序列，表示第i条第一标注数据对应的第j种可能标签序列，f(x_i,y_i)表示第i条第一标注数据与确定标签序列y_i的第一联合概率，表示第i条第一标注数据与第j种可能标签序列的第二联合概率。

以x₁＝我在北京市，y₁＝{(S)，(S)，(B)，(I)，(E)}为例，则为{(B，S)，(B，I，E，S)，(B，I，E，S)，(B，I，E，S)，(E，S)}标签序列组合中的任一序列，“我”字在开头部分，所以对应的标签只可能是B或者S，“在”、“北”和“京”字都在中间位置，可能对应的标签为B、I、E和S中的任一个，“市”字在末尾，可能对应的标签只能是E或S。

步骤S24：判断第一目标函数的值的下降幅度是否低于预设的第一下降阈值。

若步骤S24判断为否，继续执行步骤S23，直至步骤S24判断为是，执行步骤S25。

由于第一次确定第一目标函数的值后无法确定其下降幅度，故默认第一次执行步骤S23后步骤S24判断为否，继续执行步骤S23。

步骤S25：选择添加分词标签之后的实体标注数据中的第二标注数据，生成第二标注数据对应的确定标签序列组合和可能标签序列组合。

具体的，参照图3所示，可以按照下述方式生成第二标注数据对应的确定标签序列组合：

步骤S31：确定第二标注数据中的实体标注分词中的各个字的确定BIES标签。

以“我在大学(ORG)工作”为例，实体标注分词为“大学”，则“大”的确定标签为B，“学”的确定标签为E。

步骤S32：根据第二标注数据中的非实体部分的每个字相对于相邻实体标注分词的位置，确定每个字的可能BIES标签。

在一个实施例中，可以是，对第二标注数据中的实体标注分词左侧的第一个非实体部分的字，填加(S，E)标签；对第二标注数据中的实体标注分词右侧的第一个非实体部分的字，填加(S，B)标签。

以“我在大学(ORG)工作”为例，“在”为实体标注分词“大学”左侧的第一个非实体部分的字，填加(S，E)标签；“工”为实体标注分词“大学”右侧的第一个非实体部分的字，填加(S，B)标签。

同时，“我”字在开头部分，所以对应的标签为(B，S)；“作”字在末尾，对应的标签为(E，S)。

步骤S33：根据确定BIES标签和可能BIES标签生成第二标注数据对应的确定BIES标签序列组合。

以“我在大学(ORG)工作”为例，最终生成的确定标签序列组合为{(B，S)，(E，S)，(B)，(E)，(B，S)，(E，S)}标签序列组合中的任一序列。

对于实体标注样本数据中的不是开头或结尾，也不与实体标注分词相邻的字，其可能的标签序列为(B，I，E，S)。

对应的，可以按照下述方式生成第二标注数据对应的可能标签序列组合：

根据第二标注数据中每个字在第二标注数据中的位置确定每个字的可能BIES标签；根据每个字的可能BIES标签生成第二标注数据对应的可能BIES标签序列组合。

具体的，可以是，对于第二标注数据的第一个字，可能标签为B或者S；对于第二标注数据的最后一个字，可能标签为E或S；对于第二标注数据中的不是开头或结尾的中间字，其可能的标签为(B，I，E，S)。

以“我在大学(ORG)工作”为例，“我”字在第二标注数据的开头部分；所以对应的标签为B或者S，“作”字在第二标注数据的末尾，可能对应的标签为E或S；中间字的标签为(B，I，E，S)，故“我在大学(ORG)工作”的可能标签序列组合为{(B，S)，(B，I，E，S)，(B，I，E，S)，(B，I，E，S)，(E，S)}。

步骤S26：确定第二标注数据分别与确定标签序列组合中各确定标签序列的第三联合概率，以及第二标注数据分别与可能标签序列组合中各可能标签序列的第四联合概率。

步骤S27：根据第三联合概率和第四联合概率，采用随机梯度下降训练方法训练根据CRF损失函数构建的第二目标函数中的第二规范参数。

具体的，可以以下述函数为第二目标函数，下述函数中的w'为第二规范参数：

式中，x_i'表示第i条实体标注数据的第二标注数据，表示第i条第二标注数据对应的第m种确定标签序列；表示第i条第二标注数据的第n种可能标签序列；表示第i条第二标注数据与第m种确定标签序列的第三联合概率；表示第i条第二标注数据与第n种可能标签序列的第四联合概率。

步骤S28：判断第二目标函数的值的下降幅度是否低于预设的第二下降阈值。

若步骤S28判断为否，继续执行步骤S27，直至步骤S28判断为是，执行步骤S29。

由于第一次确定第二目标函数值后无法确定其下降幅度，故默认第一次执行步骤S27后骤S28判断为否，继续执行步骤S27。

具体的，上述第二下降阈值可以与步骤S24中的第一下降阈值相同或不同。

步骤S29：停止对分词模型的训练。

当步骤S28判断为是时，停止对分词模型的调整训练。

基于本发明的发明构思，本发明实施例还提供一种分词方法，包括，利用按照上述的分词模型训练方法训练完成的分词模型对目标文本进行分词，得到分词结果。

实施例三

本发明实施例三提供一种数据处理方法，其流程如图4所示，包括如下步骤：

步骤S41：利用分词模型对目标文本进行分词，得到分词文本。

具体的，上述分词模型是根据实施例一或二中所述的分词模型训练方法训练完成的。

步骤S42：利用实体标注模型对目标文本进行标注，得到实体标注文本。

具体的，上述实体标注模型是预先使用实施例一中所述的实体标注数据训练的。

上述步骤S41和步骤S42无先后顺序，可以先执行其中的任何一步，也可以同时执行。具体的，步骤S41和步骤S42操作的目标文本是相同的目标文本，可以将获取到的目标文本进行拷贝，分别用于执行步骤S41和步骤S42。

步骤S43：针对实体标注文本中的每个标注分词，判断标注分词的边界是否与分词文本中对应的分词边界一致。

若是，执行步骤S44。

步骤S44：按照标注分词的标注信息标注分词文本中的对应分词。

基于本发明的发明构思，本发明实施例还提供一种分词模型训练装置，其结构如图5所示，包括：

第一训练模块51，用于使用分词标注数据训练得到分词模型；

第二训练模块52，用于获得实体标注数据，按照预设规则将所述实体标注数据的实体部分和非实体部分分别添加分词标签；使用添加分词标签之后的实体标注数据对所述分词模型进行训练。

在一些可选的实施例中，第一训练模块51，使用分词标注数据训练得到分词模型，具体用于：

使用分词标注数据，采用条件随机场CRF损失函数训练得到分词模型；对应的，第二训练模块52，使用添加分词标签之后的实体标注数据对所述分词模型进行训练，具体用于：

使用添加分词标签之后的实体标注数据，采用CRF损失函数训练所述分词模型。

在一些可选的实施例中，第一训练模块51，采用条件随机场CRF损失函数训练得到分词模型，具体用于：

选择分词标注数据中的第一标注数据，生成所述第一标注数据对应的确定标签序列和可能标签序列组合；确定所述第一标注数据与所述确定标签序列的第一联合概率，以及所述第一标注数据分别与可能标签序列组合中的各可能标签序列的第二联合概率；根据所述第一联合概率和所述第二联合概率，采用随机梯度下降训练方法训练根据CRF损失函数构建的第一目标函数中的第一规范参数；如果所述第一目标函数的值的下降幅度低于预设的第一下降阈值，则停止训练。

在一些可选的实施例中，第一训练模块51，生成所述第一标注数据对应的确定标签序列和可能标签序列组合，具体用于：

根据所述第一标注数据的分词情况，生成所述第一标注数据对应的确定BIES标签序列；根据所述第一标注数据中每个字在所述第一标注数据中的位置确定每个字的可能BIES标签，根据每个字的可能BIES标签生成所述第一标注数据对应的可能BIES标签序列组合。

在一些可选的实施例中，第二训练模块52，使用添加分词标签之后的实体标注数据，采用CRF损失函数训练所述分词模型，具体用于：

选择添加分词标签之后的实体标注数据中的第二标注数据，生成所述第二标注数据对应的确定标签序列组合和可能标签序列组合；确定所述第二标注数据分别与确定标签序列组合中各确定标签序列的第三联合概率，以及所述第二标注数据分别与可能标签序列组合中各可能标签序列的第四联合概率；根据所述第三联合概率和第四联合概率，采用随机梯度下降训练方法训练根据CRF损失函数构建的第二目标函数中的第二规范参数；如果所述第二目标函数的值的下降幅度低于预设的第二下降阈值，停止训练。

在一些可选的实施例中，第二训练模块52，生成所述第二标注数据对应的确定标签序列组合，具体用于：

确定所述第二标注数据中的实体标注分词中各个字的确定BIES标签；根据所述第二标注数据中的非实体部分的每个字相对于相邻实体标注分词的位置，确定每个字的可能BIES标签；根据所述确定BIES标签和所述可能BIES标签生成所述第二标注数据对应的确定BIES标签序列组合。

在一些可选的实施例中，第二训练模块52，根据所述第二标注数据中的非实体部分的每个字相对于相邻实体标注分词的位置，确定每个字的可能BIES标签，具体用于：

对所述第二标注数据中的实体标注分词左侧的第一个非实体部分的字，填加(S，E)标签；对所述第二标注数据中的实体标注分词右侧的第一个非实体部分的字，填加(S，B)标签。

在一些可选的实施例中，第二训练模块52，生成所述第二标注数据对应的可能标签序列组合，具体用于：

根据所述第二标注数据中每个字在所述第二标注数据中的位置确定每个字的可能BIES标签；根据每个字的可能BIES标签生成所述第二标注数据对应的可能BIES标签序列组合。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于本发明的发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述分词模型训练方法，或实现上述分词方法，或实现上述数据处理方法。

基于同一发明构思，本发明实施例还提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述分词模型训练方法，或实现上述分词方法，或实现上述数据处理方法。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。