一种命名实体识别和实体关系抽取的联合方法
阅读说明：本技术 一种命名实体识别和实体关系抽取的联合方法 (Method for combining named entity identification and entity relation extraction ) 是由 何彬彬 吴军 樊昭磊 张伯政 桑波 于 2021-01-05 设计创作，主要内容包括：一种命名实体识别和实体关系抽取的联合方法,解决了Pipeline方法中实体识别与关系抽取相互隔离的问题,不同于Joint(联合)方法中实体识别与关系抽取部分参数共享,本发明在多步迭代过程中,实现了实体识别结果与关系抽取结果多次融合、相互影响,使得命名实体识别与实体关系抽取同步进行,进一步提高识别准确率。(A method for combining named entity identification and entity relationship extraction solves the problem that entity identification and relationship extraction in a Pipeline method are mutually isolated, and is different from parameter sharing of part of entity identification and relationship extraction in a Joint method.)
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种命名实体识别和实体关系抽取的联合方法。
背景技术
自然语言处理是人工智能研究的一个分支领域，随着现今互联网信息化的发展，自然语言数据不断地加速积累，如何消化这些数据，从数据中抽取出知识信息继而进行推理，是当今自然语言处理研究的重点，其中以命名实体识别和实体关系抽取最具代表性。
而传统的命名实体识别和实体关系抽取主要有两大技术方向：
Pipeline方法：该方法先对文本中的命名实体进行识别，然后再结合文本以及命名实体识别的结果，对实体之间的关系进行识别。该方法由于将命名实体识别与实体关系抽取分开进行，最终的识别结果的误差会在两个步骤间进行累积，使得最终的识别结果误差较大。
Joint(联合)方法：该方法同时对文本中的命名实体以及实体关系进行识别，虽然表面上避免了误差累积，但是真实情况是，不同的命名实体识别方案会影响其实体关系识别的方案，而不同的实体关系识别方案又会反过来影响命名实体识别的方案。而现有的联合方法都仅仅是将命名实体识别与关系抽取做了部分模型参数共享，并没有真正实现两者的识别结果互相参照互相影响继而进行对应调整。所以目前的联合方法虽然没有了误差的累积，但是实际效果还不如使用Pipeline方法的最终准确度高。
发明内容
本发明为了克服以上技术的不足，提供了一种将命名实体识别和实体关系抽取同时进行，能够对命名实体识别和关系抽取的结果互相影响互相参考，继而提升最终准确率的联合方法。
本发明克服其技术问题所采用的技术方案是：
一种命名实体识别和实体关系抽取的联合方法，包括：
a)对输入电子病历文本S、实体位置标记张量Entity_label、文本实体关系标记Relation_label进行处理；
b)预训练语言模型，将电子病历文本S输入到预训练语言模型中，得到文本的张量表示H，生成实体位置标记嵌入Entity，输出Entity∈Rentity_size×E，entity_size为实体类型数量，E为语言模型中词嵌入的维度；
c)设定迭代次数K，K≥1且为正整数，在第k次迭代时，若k＝1，Hk＝H，Hk为第k轮的初始输入，若1＜k≤K，为第k-1轮输出的迭代张量；
d)将Hk与实体位置标记张量Entity_label输入到实体识别模型中，输出概率张量Pk及实体识别标记结果Bk，将概率张量Pk与实体位置标记嵌入Entity进行内积运算，输出文本的实体位置概率表示为PEk∈RL×E，L为电子病历文本S中最大字符长度；
e)将Hk与文本实体关系标记Relation_label输入到关系模型，输出关系损失Relation_lossk与实体关系概率矩阵PRk∈RL×L；
f)将文本的实体位置概率PEk与实体关系概率矩阵PRk输入到注意力模型中，输出第k轮迭代张量
g)增加迭代次数，令k＝k+1，若k＞K则结束迭代并执行步骤h)，如果k≤K则执行步骤c)；
h)输入电子病历文本S，第K轮中的实体识别矩阵BK∈RL×entity_size为实体识别结果，实体关系概率矩阵PRK∈RL×L×relattion_size，relation_size为关系类型数量。进一步的，步骤a)中对电子病历文本S的处理包括：将电子病历文本S中长度超过L的部分截掉，长度不足L的部分进行padding填充补全。
进一步的，步骤a)中实体位置标记张量Entity_label的处理包括：对张量Entity_label标记出实体位置，维度为RL，R为实数空间，其中实体类型数量为entity_size。
进一步的，步骤a)中文本实体关系标记Relation_label的处理包括：对实体关系标记Relation_label标记出实体间的关系，维度为RL×L，其中关系类型数量为relation_size。
进一步的，步骤b)包括如下步骤：
b-1)选用Bert或Albert或GPT方法预训练语言模型，文本张量H的维度为RL×E，L与E均为正整数；
b-2)利用公式Entity＝Embedding(Entity_label)将实体位置标记张量Entity_label经嵌入层输出实体位置标记嵌入。
进一步的，步骤d)中实体识别模型采用Transformer模块与条件随机场CRF结合的方式输出CRF损失函数、输出概率张量Pk及实体识别标记结果Bk。
进一步的，步骤d)包括如下步骤：
d-1)利用公式Gk＝Transformer(Hk)计算文本张量H经过Transformer网络层后的输出Gk，通过公式Bk＝MLP(Gk)计算Gk利用MLP神经网络输出的实体识别标记结果Bk，利用公式Pk＝Forward_backward(Bk,Entity)计算Bk利用CRF模型的前项-后向算法得到概率张量Pk；
d-2)将概率张量Pk与实体位置标记张量Entity_label输入到CRF模型中通过公式CRF_lossk＝CRF(Pk,Entity_label)计算损失CRF_lossk，概率张量Pk与实体位置标记张量Entity_label通过公式PEk＝Pk*Entity∈RL×E进行内积运算得到文本的实体位置概率PEk。
进一步的，步骤e)包括如下步骤：
e-1)将Hk输入到两个不同的Transformer模型中，分别得到Y1∈RL×E，Y2∈RL×E，通过公式PRk＝Sigmoid(Yk)计算得到实体关系概率矩阵PRk，式中为Y2的转置，Yk∈RL×L×relation_size；
e-2)通过公式Relation_lossk＝Cross_entropy(PRk,Relation_label)计算交叉熵损失作为输出关系损失Relation_lossk，Relation_label∈RL×L。
进一步的，步骤f)包括如下步骤：
f-1)通过公式MEk＝PEk+Hk∈RL×E计算得到MEk；
f-2)通过公式对MEk在嵌入维度进行分割，分割份数为head_num，head_num为正整数且能整除嵌入维度E，通过公式F＝E/head_num计算分割后的嵌入维度F，分割后的j＝{0,1,...,head_num-1}；
f-3)通过公式 计算得到构造注意力向量Qj、Kj、Vj，MLP1、MLP2、MLP3为权重参数不同的MLP神经网络；
f-4)利用实体关系概率矩阵PRk∈RL×L通过公式计算注意力机制的输出Oj，Oj∈RL×F，λ∈R为实数，M从{MLP(PRk),MLP(PRk)T,ONE}中选择，ONE∈RL×L为单位矩阵，MLP(PRk)∈RL×L，MLP(PRk)T为MLP(PRk)的转置；
f-5)通过公式将Oj在嵌入维度进行拼接，得到迭代张量
进一步的，步骤h)中通过公式计算模型总损失loss，式中αi和βm均为权重系数，αi和βm均为实数，采用随机梯度下降法，优化总体损失loss进行逐步训练。
本发明的有益效果是：通过命名实体识别和实体关系抽取的联合方法，解决了Pipeline方法中实体识别与关系抽取相互隔离的问题，不同于Joint(联合)方法中实体识别与关系抽取部分参数共享，本发明在多步迭代过程中，实现了实体识别结果与关系抽取结果多次融合、相互影响，使得命名实体识别与实体关系抽取同步进行，进一步提高识别准确率。
具体实施方式
下面对本发明做进一步说明。
一种命名实体识别和实体关系抽取的联合方法，包括：
a)对输入电子病历文本S、实体位置标记张量Entity_label、文本实体关系标记Relation_label进行处理；
b)预训练语言模型，将电子病历文本S输入到预训练语言模型中，得到文本的张量表示H，生成实体位置标记嵌入Entity，输出Entity∈Rentity_size×E，entity_size为实体类型数量，E为语言模型中词嵌入的维度；
c)设定迭代次数K，K≥1且为正整数，在第k次迭代时，若k＝1，Hk＝H，Hk为第k轮的初始输入，若1＜k≤K，为第k-1轮输出的迭代张量；
d)将Hk与实体位置标记张量Entity_label输入到实体识别模型中，输出概率张量Pk及实体识别标记结果Bk，将概率张量Pk与实体位置标记嵌入Entity进行内积运算，输出文本的实体位置概率表示为PEk∈RL×E，L为电子病历文本S中最大字符长度；
e)将Hk与文本实体关系标记Relation_label输入到关系模型，输出关系损失Relation_lossk与实体关系概率矩阵PRk∈RL×L；
f)将文本的实体位置概率PEk与实体关系概率矩阵PRk输入到注意力模型中，输出第k轮迭代张量
g)增加迭代次数，令k＝k+1，若k＞K则结束迭代并执行步骤h)，如果k≤K则执行步骤c)；
h)输入电子病历文本S，第K轮中的实体识别矩阵BK∈RL×entity_size为实体识别结果，实体关系概率矩阵PRK∈RL×L×relattion_size，relation_size为关系类型数量。通过以上命名实体识别和实体关系抽取的联合方法，解决了Pipeline方法中实体识别与关系抽取相互隔离的问题，不同于Joint(联合)方法中实体识别与关系抽取部分参数共享，本发明在多步迭代过程中，实现了实体识别结果与关系抽取结果多次融合、相互影响，使得命名实体识别与实体关系抽取同步进行，进一步提高识别准确率。
进一步的，步骤a)中对电子病历文本S的处理包括：将电子病历文本S中长度超过L的部分截掉，长度不足L的部分进行padding填充补全。
进一步的，步骤a)中实体位置标记张量Entity_label的处理包括：对张量Entity_label标记出实体位置，维度为RL，R为实数空间，其中实体类型数量为entity_size。
进一步的，步骤a)中文本实体关系标记Relation_label的处理包括：对实体关系标记Relation_label标记出实体间的关系，维度为RL×L，其中关系类型数量为relation_size。
进一步的，步骤b)包括如下步骤：
b-1)选用Bert或Albert或GPT方法预训练语言模型，文本张量H的维度为RL×E，L与E均为正整数；
b-2)利用公式Entity＝Embedding(Entity_label)将实体位置标记张量Entity_label经嵌入层输出实体位置标记嵌入。
进一步的，步骤d)中实体识别模型采用Transformer模块与条件随机场CRF结合的方式输出CRF损失函数、输出概率张量Pk及实体识别标记结果Bk。
进一步的，步骤d)包括如下步骤：
d-1)利用公式Gk＝Transformer(Hk)计算文本张量H经过Transformer网络层后的输出Gk，通过公式Bk＝MLP(Gk)计算Gk利用MLP神经网络输出的实体识别标记结果Bk，利用公式Pk＝Forward_backward(Bk,Entity)计算Bk利用CRF模型的前项-后向算法得到概率张量Pk；
d-2)将概率张量Pk与实体位置标记张量Entity_label输入到CRF模型中通过公式CRF_lossk＝CRF(Pk,Entity_label)计算损失CRF_lossk，概率张量Pk与实体位置标记张量Entity_label通过公式PEk＝Pk*Entity∈RL×E进行内积运算得到文本的实体位置概率PEk。
进一步的，步骤e)包括如下步骤：
e-1)将Hk输入到两个不同的Transformer模型中，分别得到Y1∈RL×E，Y2∈RL×E，通过公式PRk＝Sigmoid(Yk)计算得到实体关系概率矩阵PRk，式中为Y2的转置，Yk∈RL×L×relation_size；
e-2)通过公式Relation_lossk＝Cross_entropy(PRk,Relation_label)计算交叉熵损失作为输出关系损失Relation_lossk，Relation_label∈RL×L。
进一步的，步骤f)包括如下步骤：
f-1)通过公式MEk＝PEk+Hk∈RL×E计算得到MEk；
f-2)通过公式对MEk在嵌入维度进行分割，分割份数为head_num，head_num为正整数且能整除嵌入维度E，通过公式F＝E/head_num计算分割后的嵌入维度F，分割后的
f-3)通过公式 计算得到构造注意力向量Qj、Kj、Vj，MLP1、MLP2、MLP3为权重参数不同的MLP神经网络；
f-4)利用实体关系概率矩阵PRk∈RL×L通过公式计算注意力机制的输出Oj，Oj∈RL×F，λ∈R为实数，M从{MLP(PRk),MLP(PRk)T,ONE}中选择，ONE∈RL×L为单位矩阵，MLP(PRk)∈RL×L，MLP(PRk)T为MLP(PRk)的转置；f-5)通过公式将Oj在嵌入维度进行拼接，得到迭代张量
进一步的，步骤h)中通过公式计算模型总损失loss，式中αi和βm均为权重系数，αi和βm均为实数，采用随机梯度下降法，优化总体损失loss进行逐步训练。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：地址信息抽取方法、装置、设备及存储介质