发明内容

本发明正是针对现有技术中存在的技术问题，提供一种基于图卷积网络的远程监督关系抽取方法，通过引入额外的信息，构建出以实体为中心的图谱，然后利用图卷积网络来挖掘图中节点的高阶特征，最后通过注意力机制来抑制引入信息中的噪声和筛选有用的特征。

本方案公开了一种基于图卷积网络的远程监督关系抽取方法，主要用于远程监督的关系抽取领域。本方案提供了一种监督学习的方法，能够从文本中挖掘出<实体h，关系，实体t>的三元组。对于每一段文本，首先通过实体识别工具找到文本中的实体h和实体t，然后通过将实体对齐到知识图谱中，或者实体h和t在知识图谱中的信息，包括实体的类别、实体的上下文等。同时，对于大量的远程监督的数据集，也可以挖掘每个实体的共现关系，找到多个实体之间的一条路径。通过将上述的信息构建为图，然后通过图卷积网络的框架，获得文本中实体对之间的关系的概率分布。

为了实现上述目的，本发明的技术方案如下：一种基于图卷积网络的远程监督关系抽取方法，具体步骤如下：

步骤1)预处理阶段准备所需要的信息。包括文本信息的处理，实体到知识图谱的链接，上下文的发掘。

步骤2)构建图，并且将图中每个节点编码为统一维度的分布式向量表示。

步骤3)运行图卷积网络，对编码后的信息在同一个空间进行卷积操作，将图中有边相连的信息以卷积的方式进行进一步的抽取。

步骤4)对步骤3)中的信息通过注意力机制的方式进行特征压缩和过滤。将过滤后的特征映射到预先定义好的关系集上，得到该文本的概率分布。

步骤5)运行大量的数据，通过mini-batch梯度下降的方式来训练网络，更新参数。

其中，步骤1)中需要通过不同的方式来获得额外的信息。

1-1)首先对文本中的实体h和实体t，分别获得对应的实体ID，然后在知识图谱中，通过ID对齐到特定的实体，然后获得h和t的所有关联的边和属性。包括实体的类别、实体的描述、所有与该实体相关的三元组。

1-2)然后对文本进行选择。首先遍历所有的数据集，每一条文本都包含两个实体，以及两者之间的关系。对于每一个实体，都找到所有包含该实体的文本。通过这样的方式，找到实体h和实体t在文本中的路径，实体h->实体e->实体t。

1-3)对包含实体对的文本进行分词，词性标注和依存句法分析。在依存句法分析产生的依存句法树中，找到两个实体之间最短的联通路。这个最短联通路上的词和边将作为文本中实体对的最短依存路径。

1-4)预训练词向量模型。预先使用GloVe或者word2vec等方式训练好数据集中的词向量。如果没有预先训练，可以在本专利的方法中与模型参数保持同步训练。但效果而言，预先在大规模预料上训练的词向量能够保存更多的语义和语法信息。

1-5)知识图谱表示学习模型。同词向量模型一致，该模型是保存了所有知识图谱中的实体的向量模型。

1-6)遍历数据集中的所有句子，识别出文本中所有的实体，找到实体对应的实体ID。然后遍历知识图谱的备份(或者通过知识图谱提供的查询API)，对训练数据中涉及的实体，以及后续模型的需求，备份这些实体的类别和所有相关的实体。

1-7)遍历数据集中的句子，识别所有的实体，然后通过HashMap<String,Set>结构存储每个实体和在整体数据集中，和该实体出现在同一个句子中的其余实体。然后第二次遍历数据集中的句子，对每个句子的实体h和实体t，分别找到HashMap中两个实体的共现实体集，取交集。这样就得到若干h到t的路径；

步骤2)将相关的额外信息通过边相连，构建图，并且为每个节点编码具有同一纬度的分布式向量表示。其包含以下步骤：

2-1)预训练一个TransE模型来获得知识图谱中所有实体的向量化表示。通过TransE可以得到每个实体的向量化表达。知识图谱可以表示为三元组的集合，每个三元组表示为<实体h，关系r，实体t>。知识表示就是一种将知识图谱中所有实体和关系都映射到同一向量空间中的向量。TransE基于这样一个假设：如果将一个三元组的h，r，t分别表示为向量那么这三者之间近似满足

2-2)实体类别表示。实体类别的数量为40。首先随机初始化一个参数矩阵，将输入的实体类别映射到实数的分布式表达上。

2-3)最短依存路径节点表示。对于实体相关的所有文本的最短依存路径，都将加入到整体的图结构中，这部分信息均以实体h作为头部节点，实体e作为尾部节点，之间的节点按照最短依存路径中的顺序依次相连。两个实体中的节点使用预训练词嵌入表示其特征。

2-4)文本路径编码。文本路径同样表示为序列。对于文本s来说，其中有两个实体h和t，通过步骤1-b)可以找到若干条h->e1->e2..->t的路径。路径上任意两个节点(实体)之间，都存在一条文本同时包含两个实体。这样将实体之间的文本表示也作为序列的一部分，同样适用Bi-LSTM进行编码。

2-5)实体上下文编码。实体的上下文主要从每个实体周围的上下文实体来表示该实体。同样是通过步骤1-2)得到所有与该实体出现在一句话中的其余实体，然后用这些实体在知识图谱中的表示的均值来表示实体的上下文信息。

步骤3)通过步骤2)可以获得两个矩阵，分别是输入的特征矩阵X和表示节点之间是否关联的邻接矩阵A。其中，X是输入的所有节点的特征向量表示，维度是N*D，N是节点的数量，D是每个节点的向量表示的维度，A是邻接矩阵，维度N*N。

GCN通过卷积的方式获得每个节点的新的向量输出Z，维度是N*F，F是输出的每个节点的维度。典型是GCN可以表示为公式：

H^(l+1)＝f(H^(l)，A)

其中,H⁽⁰⁾是X，H^(L)是Z。L是GCN的层数。

在每一层，GCN可以表示为以下函数:

f(H^(l)，A)＝σ(AH^(l)W^l)

这个函数可以看做是每个节点与和它有关联的节点进行一个卷积操作，卷积的参数树初始化的。但是直接用邻接函数和输入矩阵相乘，会导致卷积操作的时候忽略自己节点的向量。因此对上述的公式进行改进：

其中是原始的邻接矩阵A加上I，而是度矩阵。

步骤4)步骤三的输出是N*F的矩阵Z。可以将Z表示为节点的序列Z＝{Z0,Z1,...,ZN}，每一个节点都是维度为F的向量。然后，根据加权平均的方式将每个节点的向量表示计算，得到最终的向量表示。

其中，权重是通过知识图谱中的实体的表示作为监督信息，通过注意力机制来生成的。具体计算公式如下

r_h，t＝t-h

u_j＝tanh(r_htZ_j+b)

然后通过一层全连接层映射到输出层，然后通过softmax函数对输出的节点值进行归一化，得到文本对关系的概率分布。

o＝Mr

步骤5)最后通过mini-batch梯度下降的方式，以最小化函数的方式，更新所有的参数。

l_θ(r|h，t；θ)＝log(P(r|h，t))

相对于现有技术，本发明的优点如下：

1)本专利的方法引入了额外的知识图谱中的实体类别、实体表示、实体上下文以及文本路径等信息，相比于传统的基于表示的方法和基于规则的方法，能够通过参考更多的知识来做出正确的决定，具备更大的搜索空间。

2)相比于同样引入额外信息的方法，本专利的方法通过构建异构图，将各种额外信息图中的节点，并以信息之间的关系作为图中的边。这种基于图的方式非常的灵活，可以针对不同的领域，添加或者删除节点信息，具备非常好的适应性。其次，多种额外信息同时作用，可以避免单一信息覆盖率不足的问题。

3)本专利为所有额外信息定制了合理的初始化方法，在实体和关系嵌入上使用了基于知识图谱的预训练方案，在实体路径上使用了基于LSTM的编码方式，而在文本信息编码上使用了基于双向LSTM的编码方法，这些方法可以将这些额外信息编码为语义空间中的向量，进而适配各种神经网络模型。

4)本专利使用了文本的SDP(最短依存路径)与其他信息一同构成图，创新型的将文本的语义编码和其他附加信息编码整合为统一的图模型。这种做法首先保留了文本的原始语义，并加入了依存句法特征，同时可以在进行文本语义编码的时候借鉴其他信息，这是传统文本编码方式不能做到的。

5)本专利通过在图上使用图卷积网络的方式来对信息进行压缩和筛选，这种方法具备效率高、表达能力强的特点。图卷积网络可以有效挖掘实体与实体之间的关联，能够将推理链这种高阶逻辑表达融入到特征表示中，可以很好的将人类的总结经验利用起来。

6)本专利引入了注意力机制来进行进一步的特这提取以及针对噪声问题进行过滤。预处理阶段引入的各种信息可能存在很多的噪声，比如实体类别识别错误，或者文本路径引入无关的文本等，这些信息对于抽取相关的实体并没有太大的作用，因此我们采用注意力机制的方式，通过知识图谱表示来作为监督信息，对每一个节点信息计算相关性，将低相关性的节点特征赋予较小的权重，将高相关性的节点特征赋予较大的权重，这样加权过后，可以对特征进行进一步的压缩，同时也对噪声进行了过滤。

7)本专利中考虑了不同实体对和不同额外信息对关系抽取任务有不同的贡献度，使用全局注意机制对这些信息进行自动加权。这种方法的好处是避免部分信息带来的语义偏差，让模型自动选择对当前实体对最有利的信息进行关系分类。