具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明提供的一种实体关系的抽取方法、装置、电子设备及计算机存储介质可用于金融领域或其他领域，，例如，数据处理领域。上述仅为示例，并不对本发明提供的一种实体关系的抽取方法、装置、电子设备及计算机存储介质的应用领域进行限定。

本申请实施例提供了一种实体关系的抽取方法，如图1所示，包括以下步骤：

S101、获取目标文本。

其中，目标文本指的是待处理的文本。在本申请实施例中，目标文本主要为半结构化或者非结构化文本。

可选地，可以从数据库中获取目标文本，或者是由用户进行上传，又或者是通过其他方式获取到目标文本。

S102、将目标文本输入预训练语言表征模型Bert中，通过预训练语言表征模型Bert对目标文本进行处理，得到目标文本对应的编码。

具体的，将目标文本输入预训练语言表征模型(Bidirectional EncoderRepresentation from Transformers，Bert)中，通过预训练语言表征模型Bert对目标文本进行编码，得到目标文本对应的编码，即得到目标文本对应的特征向量。

S103、将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型抽取出目标文本中的各类关系数据，并基于目标文本的关系数据，抽取出目标文本中的各个实体数据。

本申请实施例中，目标神经网络模型为多层级结构的模型，所以将目标文本对应编码输入预先训练好的目标神经网络模型中，目标神经网络模型将会先抽取目标文本中的各类关系数据，然后在进一步基于得到关系数据与实体数据的关系，从目标文本中抽取出各个实体数据。

需要说明的是，由于属性也属于一种实体，所以本申请实施例中的实体数据包括有非属性实体和属性实体两种，从而与关系数据一同构成三元组，进而可以利用获得的三元组构建目标文本对应的知识图谱。

其中，目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到。文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。其中，数据结构模式schema中规定了应用场景中的文本所包括关系以及实体范围等，所以根据数据结构模式schema可以标注文本样本对应的关系标注和实体标注。

可选地，本申请另一实施例中，目标神经网络模型具体可以包括第一神经网络模型以及第二神经网络模型，即目标神经网络模型由第一神经网络模型以及第二神经网络模型。通过第一神经网络模型提取实体间的关系，通过第二神经网络模型基于提取的关系提取实体。

可选地，第一神经网络模型和第二神经网络模型均可以采用组合的多层级模型。其中，第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成。并且，由于第一神经网络模型的输入是由预训练语言表征模型Bert获取的，所以第一神经网络模型也可以认为是由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，即第一神经网络模型为“Bert+Bi-LSTM+Softmax”。需要说明的是，此时第一神经网络模型的输入为目标文本。

第二神经网络模型可以由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成，即第二神经网络模型为“Bert+Bi-LSTM+CRF+Softmax”。

可选地，在本申请实施例中，步骤S103的一种具体实施方式，如图2所示，包括以下步骤：

S201、将目标文本对应编码输入所述第一神经网络模型中，通过第一神经网络模型对目标文本对应的编码进行处理，得到目标文本中的各类关系数据。

其中，第一神经网络模型预先利用所述文本样本及其对应的关系标注进行训练得到。

S202、将目标文本中的各类关系数据输入第二神经网络模型中，通过第二神经网络模型对所述目标文本中的关系数据进行处理，得到所述目标文本中的各个实体数据。

其中，第二神经网络模型预先利用文本样本及其对应的实体标注进行训练得到。

所以在本申请实施例中先通过第一神经网络模型提取出目标文本中的各类关系数据，然后在通过第二升级网络模型基于提取到的关系数据提取出实体。例如，如图3所示，目标为文本为：中银铁通卡有金卡、银卡两种，主要应用于铁路窗口、网站、自助设备等聚到刷卡购物及铁路指定区段自动键盘设备上刷卡进站乘车。先通过预训练语言表征模型Bert和第一神经网络模型提取出关系数据，即通过“Bert+Bi-LSTM+Softmax”，然后再通过第二神经网络模型“Bert+Bi-LSTM+CRF+Softmax”基于关系数据提取出实体。

可选地，在本申请实施例中提供了一种第一神经网络模型的训练方法，如图4所示，包括：

S401、基于先验知识确定出数据结构模式schema。

S402、获取满足数据结构模式schema的多个文本样本。

S403、基于数据结构模式schema，标注各个文本样本对应的关系标注。

具体的，数据结构模式schema中设置了数据包含的关系的范围，所以可以基于数据结构模式schema，标注各个文本样本对应的关系标注。

可选地，由于在后续训练第二神经网络模型时，需要用到文本样本对应的实体标注，所以在执行步骤S403的同时，也可以基于数据结构模式schema，标注各个文本样本对应的实体标注。

S404、分别将各个文本样本输入第一初始模型中，通过第一初始模型对文本样本进行处理，得到当前文本样本对应的预测关系数据。

S405、基于文本样本对应的关系标注以及当前文本样本对应的预测关系数据的对比结果，计算当前第一初始模型的输出结果准确率。

S406、判断当前第一初始模型的输出结果准确率是否满足第一预设要求。

具体的，第一预设要求可以为一个预设阈值。

其中，若判断出当前第一初始模型的输出结果准确率不满足第一预设要求，则说明模型还需要继续训练，所以此时执行步骤S407。若判断出当前第一初始模型的输出结果准确率满足第一预设要求，则说明模型已满足要求，此时执行步骤S408。

S407、对当前第一初始模型进行调参。

可选地，可以基于第一初始模型对应的损失函数对第一初始模型进行调参，即调整第一初始模型中的参数。

需要说明的是，在执行步骤S407之后，需要针对调参后的第一初始模型，返回执行步骤S404。

S408、将当前第一初始模型确定为训练好后的第一神经网络模型。

相应的，在本申请实施例中提供了一种第二神经网络模型的训练方法，如图5所示，包括：

S501、获取各个文本样本及其对应的实体标注。

可选地，文本样本对应的实体标注可以是在标注关系标注的同时进行标注的。当然，也可以是在需要训练第二神经网络模型时再进行标注。

S502、分别将各个文本样本输入所述第一神经网络模型，得到文本样本中的各类关系数据。

S503、分别将各个文本样本中的各类关系数据输入第二初始模型中，通过第二初始模型对所述文本样本中的各类关系数据进行处理，得到当前文本样本对应的预测实体数据。

S504、基于文本样本对应的关系标注以及当前文本样本对应的预测实体数据的对比结果，计算当前第二初始模型的输出结果准确率。

S505、判断当前第二初始模型的输出结果准确率是否满足第二预设要求。

具体的，第二预设要求具体也可以是一个预设的阈值。

其中，若判断出当前第二初始模型的输出结果准确率不满足第二预设要求，则说明模型还未满足要求，需要进行训练，所以此时执行步骤S506。若判断出当前第二初始模型的输出结果准确率满足第二预设要求，则执行步骤S507。

S506、对当前第二初始模型进行调参。

可选地，可以基于第二初始模型对应的损失函数对第二初始模型进行调整，以使得第二初始模型更快的收敛。

需要说明的是，在执行步骤S506之后，需要针对调参后的第二初始模型，返回执行步骤S503。

S507、将当前第二初始模型确定为训练好后的第二神经网络模型。

本申请实施例提供的一种实体关系的抽取方法，预先确定出数据结构模式schema，然后基于数据结构模式schema标注多个文本样本的关系标注和实体标注，然后利用多个文本样本的关系标注和实体标注训练目标神经网络模型。在获取到目标文本时，先将目标文本输入预训练语言表征模型Bert中，通过所述预训练语言表征模型Bert对所述目标文本进行处理，得到目标文本对应的编码。然后将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型是先抽取出目标文本中的各类关系数据，然后再基于目标文本的关系数据，抽取出目标文本中的各个实体数据，不再将实体与关系分别进行抽取，充分地考虑到了实体关系与实体间的关联关系，从而有效地保证了抽取结果的准确性。

本申请另一实施例提供了一种实体关系的抽取装置，如图6所示，包括：

第一获取单元601，用于获取目标文本。

编码单元602，用于将目标文本输入预训练语言表征模型Bert中，通过预训练语言表征模型Bert对目标文本进行处理，得到目标文本对应的编码。

抽取单元603，用于将目标文本对应编码输入预先训练好的目标神经网络模型中，通过目标神经网络模型抽取出目标文本中的各类关系数据，并基于目标文本的关系数据，抽取出目标文本中的各个实体数据。

其中，目标神经网络模型预先利用多个文本样本及其对应的关系标注和实体标注进行训练得到。文本样本对应的关系标注和实体标注，均基于确定出的数据结构模式schema进行标注。

可选地，在本申请另一实施例中，目标神经网络模型包括第一神经网络模型以及第二神经网络模型。本申请实施例中的抽取单元，如图7所示，包括：

第一抽取单元701，用于将目标文本对应编码输入第一神经网络模型中，通过第一神经网络模型对目标文本对应的编码进行处理，得到目标文本中的各类关系数据。

其中，第一神经网络模型预先利用文本样本及其对应的关系标注进行训练得到。

第二抽取单元702，用于将目标文本中的各类关系数据输入第二神经网络模型中，通过第二神经网络模型对目标文本中的关系数据进行处理，得到目标文本中的各个实体数据。

其中，第二神经网络模型预先利用文本样本及其对应的实体标注进行训练得到。

可选地，在本申请另一实施例提供的实体关系的抽取装置中，第一神经网络模型由双向长短时记忆模型Bi-LSTM和逻辑回归模型Softmax组成，第二神经网络模型由预训练语言表征模型Bert、双向长短时记忆模型Bi-LSTM、条件随机场模型CRF以及逻辑回归模型Softmax组成。

可选地，在本申请另一实施例提供的实体关系的抽取装置中，还包括：

模式确定单元，用于基于先验知识确定出数据结构模式schema。

第二获取单元，用于获取满足数据结构模式schema的多个文本样本。

标注单元，用于基于数据结构模式schema，标注各个文本样本对应的关系标注。

第一输入单元，用于分别将各个文本样本输入第一初始模型中，通过第一初始模型对文本样本进行处理，得到当前文本样本对应的预测关系数据。

第一判断单元，用于基于文本样本对应的关系标注以及当前文本样本对应的预测关系数据的对比结果，判断当前第一初始模型的输出结果准确率是否满足第一预设要求。

第一调参单元，用于若判断出当前第一初始模型的输出结果准确率不满足第一预设要求，则对当前第一初始模型进行调参，并针对调参后的第一初始模型，返回执行分别将各个文本样本输入第一初始模型中。

第一模型确定单元，用于若判断出当前第一初始模型的输出结果准确率满足第一预设要求，则将当前第一初始模型确定为训练好后的第一神经网络模型。

可选地，在本申请另一实施例提供的实体关系的抽取装置中，还包括：

第三获取单元，用于获取各个文本样本及其对应的实体标注。

第二输入单元，用于分别将各个文本样本输入第一神经网络模型，得到文本样本中的各类关系数据。

第三输入单元，用于分别将各个文本样本中的各类关系数据输入第二初始模型中，通过第二初始模型对文本样本中的各类关系数据进行处理，得到当前文本样本对应的预测实体数据。

第二判断单元，用于基于文本样本对应的关系标注以及当前文本样本对应的预测实体数据的对比结果，判断当前第二初始模型的输出结果准确率是否满足第二预设要求。

第二调参单元，用于若判断出当前第二初始模型的输出结果准确率不满足第二预设要求，则对当前第二初始模型进行调参，并针对调参后的第二初始模型，返回执行分别将各个文本样本中的各类关系数据输入第二初始模型中。

第二模型确定单元，用于若判断出当前第二初始模型的输出结果准确率满足第二预设要求，则将当前第二初始模型确定为训练好后的第二神经网络模型。

需要说明的是，本申请上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤的实施方式，此处不再赘述。

本申请另一实施例提供了一种电子设备，如图8所示，包括：

存储器801和处理器802。

其中，存储器801用于存储程序。

所述处理器802用于执行存储器801存储的程序，并且该程序被执行时，具体用于实现如上述任意一个实施例提供的实体关系的抽取方法。

本申请另一实施例提供了一种计算机存储介质，用于存储计算机程序，该计算机程序被执行时，用于实现如上述任意一个实施例提供的实体关系的抽取方法。

计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，本申请提供的实体关系的抽取方法及装置、电子设备、存储介质，可用于金融领域或其他领域。其他领域为除金融领域之外的任意领域，例如，大数据领域。上述仅为示例，并不对本发明提供的实体关系的抽取方法及装置、电子设备、存储介质的应用领域进行限定。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。