发明内容

为了解决现有技术存在的不足，本发明的目的是提出了一种基于预训练模型的领域图谱实体和关系联合抽取方法及系统。

本发明所述的数据联合抽取方法，基于领域知识文本，在获取原始数据后，先经过数据清洗保留高质量的文本段落和常见关系，通常情况下，不可避免的会需要一定的标注数据来监督模型，并在实际训练过程中扩增训练集。当然，这其中模型的选择和调整优化也极大影响着最终影响因素的确定。

本发明提出的基于预训练模型的领域图谱实体和关系联合抽取方法，包括以下步骤：

步骤A：获取原始数据，对数据进行标注后划分为训练集和测试集，建立初步小规模保险标注数据集U，和候选关系集V，具体包括以下步骤：

步骤A1：抓取保险公司相关网站上的保险领域文本信息，数据清洗标注并按7：3的比例划分为训练集和测试集，建立小规模保险标注数据集U；

步骤A2：从半结构化文本中按照规则保留常见关系，构成候选关系集V；

步骤B：基于预训练模型，构建关系判别和实体对抽取的联合学习框架，对模型进行训练和测试，具体包括以下步骤：

步骤B1：将句子作为预训练模型的输入获取整个序列的编码向量；

步骤B2：利用多卷积神经网络(CNN)构建的二分类器判断关系；

步骤B3：利用注意力机制(Attention)和长短期记忆网络(LSTM)，根据二分类器得到的关系提取所有可能的实体对；

步骤B4：联合训练，计算损失并迭代模型；

步骤C：将测试过程中产生的新抽取数据经筛选后加入训练集，扩增并更新训练集；

步骤D：用更新后的数据集重复迭代直至模型稳定；

步骤E：三元组数据导出并清洗，构建领域知识图谱。

本发明步骤A1中，利用爬虫抓取特定保险的网站的产品介绍和对比分析对象等半结构化数据，最终统一保留成文本形式。所述产品介绍包括产品名、产品条款等；所述对比分析对象包括保障年限、赔付比例、免赔额等。

同时进行数据清洗标注，包括有效文本段落的筛选，以及句子三元组数据标注，构建小规模保险标注数据集U。

本发明步骤A2中，所述规则是指基于人工总结的模板结合同义词和re模块进行模板匹配抽取；所述常见关系包括险种、保障类型、投保渠道、缴费年限、保障责任、给付类型、保费预算、年交保费、投保年龄、等待期、犹豫期、缴费期限、身故/意外身故、豁免责任、职业等级、可保职业范围、最高保额、特别权益、健康告知、正常承保、保单年度、终末期疾病、保障年限、赔付比例、免赔额、保险公司；所述候选关系集V，为关系判别提供辅助，在后续步骤进行关系判别时提高置信度，避免识别的关系过多；

本发明方法中，模型自身的结构和应用是本发明的关键。

具体地，例如网页的数据带有一定的规律和结构，某保险产品的页面下特定每一块介绍一个关系，包括保障年限、赔付比例、免赔额等。只要按照规则抽取每个段落的特定部分就可以全部抽出来，不同数据格式也可以给出不同的规则。本发明步骤B1中，使用Transformer基础的网络，预训练模型编码模块可以有效捕获上下文语义信息，将句子S＝[w₁,…w_n]，n表示句子的长度，作为预训练模型的输入来获取句子序列的特征向量表示；为了获得句子w_i的上下文表示x_i，可以使用不同的Transformer基础的网络，在本发明中使用预训练模型BERT作为基本的编码器，BERT输出如下：

{x₁,…,x_n}＝BERT({w₁,…,w_n})

此处和常见的一致，句子中每个单词的特征编码x_i总和了相应的标记、段和位置信息。

本发明步骤B2中，利用多卷积神经网络(CNN)构建的二分类器判别关系，所述二分类器中的关系分类部分可以识别文本中包含的关系类型。利用卷积神经网络(CNN)构建二分类器，所述二分类器的输出是对应关系是否是可能关系的概率分布：

P＝Softmax(MaxPool(Conv(X)))

其中P是输出的概率分布，Softmax(·)为激活函数，MaxPool(·)为最大池化操作，Conv(·)为卷积操作，X＝[x₁,…,x_n]是句子的编码表示。

本发明步骤B3中，利用注意力机制(Attention)和长短期记忆网络(LSTM)，根据判别器得到的关系提取所有可能的实体对。给定一个文本，以及由二分类器输出的目标关系类型，提取所有可能的实体对。像大多数识别方法一样，通过识别文本中单词的开始和结束位置索引来确定一个实体，具体公式如下：

其中为注意力机制获取到的该句子中当前字注意力权重，d_t为LSTM解码器的隐藏状态，模型可以一次性探索所有可能的关系，预测给定关系的所有可能的实体对；

本发明步骤B4中，联合训练，计算损失并迭代模型。将整个模型构建为端到端分块模式，从文本输入到最后的关系及实体对输出，实现联合训练。

本发明步骤C中，将测试过程中产生的新抽取数据经过筛选后扩增训练集，所述筛选包括过滤错误数据，筛选添加具有代表性或首次出现的数据。

本发明步骤D中，利用更新后的数据集重新测试模型，当出现以下两种情形：1)联合损失L≤0.1或F1得分≥0.8；或2)更新训练数据后模型效果连续两次未得到提升；满足其中任意一条则停止训练，所述模型达到稳定并最终趋于最优，否则继续训练模型；

所述F1得分是分类问题的一个衡量指标，是精确率和召回率的调和平均数，最大为1，最小为0；

所述联合损失通过下式计算：

L＝λ·L_rel+(1-λ)L_ent

其中，λ是超参数，用于平衡关系判别和实体对识别；L_rel是关系判别的损失；L_ent是实体对识别的损失，各部分都遵循交叉熵损失函数来计算。

本发明步骤E中，三元组数据导出，构建领域知识图谱，所述三元组数据表示为<头实体，关系，尾实体>；例如<达尔文3号，保险公司，信泰人寿>，<平安e生保，等待期，30天>等；

所述清洗操作是指由于抽取出的数据始终有部分数据错误，为了更好的展示效果和进行数据再利用，对数据进行纠错、去重、去噪并辅以人工处理；所述领域知识图谱可以用于在可视化的情况下直观感受图谱数据的抽取情况，便于进一步分析。

本发明在实施过程中，区别于现有相关技术将关系和实体的抽取划分为两个独立的任务，本发明则提出了一个新颖的轻量级框架，建立关系和实体的联合抽取模型，在领域知识的三元组抽取上效果显著。同时，现有方法或者没有考虑实体重叠问题，或者无法生成全部实体对。本发明涉及到的方法将目标关系与文本的每一个词相互作用，精确地产生所有可能的实体对，自然地避免了实体重叠问题，同时可以提取多关系和多实体对。

所述实体重叠是指一句话中一个实体可以匹配到多个关系。例如“粽子起源于中国，它的首都是北京”。这里面：粽子——起源——中国，中国——首都——北京。“中国”可以被重复提取。

本发明一开始使用BERT作为初始编码器，在不需要自行训练一个预训练模型的情况下得到含有丰富语义信息的上下文编码表示。CNN可以有效判别关系同时不给模型带来过大的参数负载。普通的模型所有部分的重要性程度都是一样的，而这里的attention-based对于不同的部分，重要的程度则不同，在识别实体对时有较高的自适应性。

基于以上方法，本发明还提出了一种基于预训练模型的领域图谱实体和关系联合抽取系统，所述系统包括：

数据获取模块，用于获取公开保险网站数据信息，筛选标注形成小规模保险标注数据集U，候选关系集V；

关系判别模块，用于判别每个输入的句子中存在的关系；

实体对识别模块，用于根据判别所得的关系识别句中所有的实体对；

数据扩增模块，用于持续添加训练数据，更新模型的训练集；

图谱构建模块，用于完成三元组数据导出和保险图谱构建。

所述系统还包括BERT编码模块：用于有效捕获上下文语义信息，将句子作为预训练模型的输入获取句子序列的特征向量表示。

本发明的有益效果在于：通过数据抓取、清洗，小规模数据集的构建，可以在获取开放域数据的同时避免初期过大的人工成本；模型选择以及联合训练的实现，利用了数据挖掘与深度学习的思想和方法，最终能够得到高质量的模型效果，并成功抽取出可用于构建图谱的三元组数据。相较于现有研究，本发明更加关注联合训练，充分利用了关系判别和实体识别间的相互作用，将一个问题不再拆分成两个单独的问题，减少复杂度。

相对于现有技术，本发明避免了需要专业知识，专家经验的特征工程任务，以更为科学合理的数据驱动的方法自动提取三元组数据，侧面的减少了人工成本，易于理解，另外通过实验证明了该实体关系抽取模型的预测效果具有较先进的水平。

本发明的创新点是将关系和实体的抽取实现联合学习，同时充分利用预训练模型的语义理解能力，从少量数据即可展开，在训练中更新训练集逐步提升模型的抽取能力。最后在实际知识图谱构建场景中进行了实验，验证了本发明的有效性。

本发明在实施过程中，区别于现有相关技术将关系和实体的抽取划分为两个独立的任务，本发明则提出了一个新颖的轻量级框架，建立关系和实体的联合抽取模型，在领域知识的三元组抽取上效果显著。同时，现有方法或者没有考虑实体重叠问题，或者无法生成全部实体对。本发明涉及到的方法将目标关系与文本的每一个词相互作用，精确地产生所有可能的实体对，自然地避免了实体重叠问题，同时可以提取多关系和多实体对。