具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在服务器、计算机、或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种事件信息的抽取方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种事件信息的抽取方法，图2是根据本发明实施例的一种事件信息的抽取方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取非结构化文本中事件元素的文本特征，以及获取多个事件元素之间的句法依赖关系，其中，事件元素包括事件触发词和事件论元；

在本实施例可以适用在各种语种的文本中，尤其适用于中文等存在句法依赖关系的文本。在本实施例中，以非结构化的输入文本(非结构化文本)为中文文本为例进行说明，事件触发词：表示事件发生的核心词，可以是动词或名词，事件论元是事件的参与者，由实体、值、时间组成，事件触发词是事件概念在词和短语层面的投射,是事件识别的基础和凭借。本实施例的句法依赖关系包括事件触发词与事件论元间的句法依赖关系，以及事件论元与事件论元间的句法依赖关系。

步骤S204，以文本特征和句法依赖关系为输入信息，采用图注意力网络GAT编码非结构化文本的图结构特征；

由于事件触发词和事件论元之间的存在的句法依赖关系对事件抽取有着重要的指导作用，本实施例采用图注意力网络(Graph Attention Network，GAT)编码图结构数据，并采用注意力机制将模型注意力放在事件元素相关词语上，并为其分配更大的特征度权重，从而减弱无用词的干扰，提高文本特征表征的丰富性与准确性。

步骤S206，将图结构特征输入全连接层映射到样本空间，并采用Softmax将图结构特征映射到事件元素的类别标签；

本实施例的类别标签是结构化的事件信息，可以根据语境或应用场景进行划分，如分为时间、地点、人物、事件，也可以分为时间、地点、人物、主体、客体等，每一个类别包括多个预设标签。本实施例的方案可以应用在自动摘要、舆情分析、智能检索、数据挖掘等应用场景中。

通过上述步骤，获取非结构化文本中事件元素的文本特征，以及获取多个事件元素之间的句法依赖关系，其中，所述事件元素包括事件触发词和事件论元；以所述文本特征和句法依赖关系为输入信息，采用图注意力网络GAT编码所述非结构化文本的图结构特征；将所述图结构特征通过全连接层映射到样本空间，进一步采用Softmax将其映射到所述事件元素的类别标签。通过本发明，解决了相关技术中的事件抽取方法无法编码事件元素之间的依赖关系特征的技术问题，提高了模型对文本的表征能力，从而提高事件的抽取性能。

在本实施例的一个实施方式中，获取非结构化文本中事件元素的文本特征包括：

S11，采用BERT模型的中间M个连续隐藏层提取事件元素的特征向量，其中，M为大于1的整数；

在一个示例中，中间M个连续隐藏层为BERT(Bidirectional EncoderRepresentation from Transformers，双向Transformer的Encoder)模型的第9-12隐藏层。

本实施例采用BERT预训练语言模型进行文本嵌入，BERT的每个encoder层所包含语义信息也不相同，低层的encoder更倾向于包含更多的句法结构信息，而较高层的encoder层则倾向包含更深层次的语义信息，而不同任务所需的特征信息也是不同的，采用特征的拼接和加和也对事件抽取性能有一定的影响，本实施例在事件抽取任务中，采用BERT模型第9-12隐藏层输出向量的拼接作为提取的特征向量，对后续的任务性能提升更有效。文本经过预训练语言模型BERT输出的文本向量H_i，如式(1)。

x_i＝concat(X_i,...,X_L) (1)

其中，X_i为BERT第i层隐藏层的输出，L为BERT隐藏层层数。

S12，采用多尺度卷积神经网络(Convolutional Neural Networks,CNN)提取特征向量的局部特征。

在一个示例中，采用多尺度CNN提取特征向量的局部特征包括：采用尺度为1*1,3*3,5*5的CNN卷积核从特征向量中提取不同尺度下的n-gram特征；选择线性整流函数(Rectified Linear Unit,ReLU)为多尺度CNN的激活函数，从特征向量中捕捉不同尺度的局部特征。

在中文事件抽取任务中，事件元素以词语或短语的形式出现，单尺度下的CNN网络不能很好的捕捉的长度不一的事件元素的局部特征。因此，本实施例基于Inception网络模型，并针对中文事件的特殊性，采用尺度为1*1,3*3,5*5的卷积核提取不同尺度下文本的n-gram特征，并选择ReLU作为多尺度CNN的激活函数，通过多尺度的CNN捕捉不同尺度的局部特征，以此来丰富文本嵌入，卷积操作公式(2)如下：

h_ij＝f(w_j·x_i:i+h-1+b_j) (2)

其中，j,b∈R，w_j表示第j个滤波器，b是偏置项，f表示一个非线性函数,h表示卷积核大小。

在本实施例的一个实施方式中，获取多个事件元素之间的句法依赖关系包括：采用Standford NLP(StandFordNatural Language Processing，斯坦福自然语言处理)NLP模型进行依存句法分析，解析非结构化文本中词语与词语之间的句法依赖关系，其中，句法依赖关系用于表征两个事件元素之间的有向依赖关系；采用有向图的邻接矩阵存储两个事件元素之间的句法依赖关系。

基于依存句法分析的GAT网络模块。该模块首先采用StandFordNLP进行依存句法分析，由于事件抽取关注点为事件元素之间的依赖关系，因此在句法解析中忽略根节点的指向性，仅关注词语与词语之间的依赖关系，并忽略依赖关系的类型。此外，由于事件元素间的依赖关系是有向的，因此本发明采用有向图的邻接矩阵进行存储文本的句法依赖关系，若词语之间存在依赖关系，则对应的邻接矩阵元素值为1，不存在依赖关系的词语之间，对应的邻接矩阵元素为0。然后将多尺度CNN输出的文本特征与句法依赖分析得到的邻接矩阵输入GAT网络，建模文本中存在句法依赖关系的结构特征。

在本实施例的一个实施方式中，采用图注意力网络GAT编码所述非结构化文本的图结构特征包括：对于句法依存树中每个顶点词，计算与其句法依存关系相邻顶点的注意力因子，其中，所述非结构化文本中句法依赖关系表示为句法依存树；对注意力因子进行归一化处理，得到注意力系数，采用注意力系数对文本特征进行加权求和，得到每个顶点词的注意力向量。

将文本进行依存句法分析后可以得到句法依存树，对于句法依存树中每个顶点词，GAT网络计算与其句法依存关系相邻顶点的注意力因子e_ij，通过将注意力因子归一化以得到注意力系数α_ij，采用注意力系数α_ij对特征进行加权求和，从而得到每个顶点词在GAT层的输出特征h_i，即注意力向量，计算公式如下：

其中，N_i为节点i的邻接节点集合，e_ij为注意力因子，α_ij为e_ij经过softmax归一化后的注意力系数，h_i为每个顶点在GAT网络中的输出特征，为权重矩阵的转置。

在本实施例的另一个实施方式中，采用图注意力网络GAT编码所述非结构化文本的图结构特征包括：依据非结构化文本的复杂度，将GAT网络堆叠为n层，其中，每层对应一个子GAT网络；采用前n-1层GAT网络计算非结构化文本的隐藏特征，将n-1个子GAT网络的隐藏特征的平均值输入最后一层GAT网络，输出非结构化文本的图结构特征。

单层的GAT网络的学习过程存在一定的不稳定性，在一个示例中，为了使GAT的学习训练过程更加稳定，可采用多头注意力思想，把互相独立的注意力向量拼接起来作为单层GAT网络的输出特征向量h_i′：

其中，K为多头注意力中多头的个数。

在另一个示例中，在事件抽取的过程中，依据事件抽取领域事件的复杂程度不同，可将GAT网络堆叠为n层，在最后一层GAT网络上输入前n-1层递进GAT网络输出的平均值，输出特征向量h_i′，通过GAT网络编码图结构数据，并采用注意力机制将模型注意力放在事件元素相关词语上，为其分配更大的权重，从而减弱无用词的干扰，提高文本特征表征的丰富性与准确性。

在本实施例的一个实施方式中，将所述图结构特征映射为所述事件元素的类别标签：将所述图结构特征输入全连接层将其映射到样本空间，将全连接层的输出结果输入到softmax，并采用softmax将所述图结构特征映射到相应事件元素的类别标签，其中，所述全连接层所在的网络模型(包括非结构化文本的输入层至softmax输出层)采用交叉熵损失函数进行损失计算，并采用L2正则防止过拟合。

在输出层，将GAT网络的输出特征输入全连接层将其映射到样本空间，采用softmax将其映射到相应事件元素的类别标签。本实施例采用交叉熵损失函数(loss)进行损失计算，并采用L2正则防止过拟合。

其中，N为文本长度，M为事件元素标签的类别个数，代表最终预测的事件元素标签，θ代表模型的参数，λ是L2正则化的参数，在事件抽取模型训练过程中，采用Adam作为优化器，逐渐优化损失。

图3是本发明实施例的方案流程示意图，采用联合事件抽取方法，避免了事件触发词识别与论元识别与分类过程中的传播误差，并采用预训练BERT模型建模文本的上下文向量表示，然后采用多尺度的CNN捕捉不同长度的事件触发词和论元的局部特征。此外，通过GAT网络建模文本的句法依赖关系，并为当前候选事件元素在句法依赖关系的邻接节点分配不同的注意力权重大小，以此建模事件元素间的句法依赖关系及其依赖关系的强度，从而提高模型对于文本特征建模能力，最后采用全连接网络将输出特征映射到样本空间，进行事件触发词与事件论元的识别与分类，从而提高中文事件的抽取性能。

本实施例提供了一种基于多特征融合的中文事件联合抽取方案，针对采用流水线模式事件抽取过程中存在的级联误差，采用联合模式同时进行事件触发词与事件论元的识别，将事件抽取任务形式化为序列标注问题，联合抽取事件触发词与事件论元。并依据中文事件中事件元素的尺度特点，依据中文事件中事件元素的尺度特征，采用多尺度的CNN建模文本的n-gram特征信息，采用多尺度CNN建模不同尺度事件元素的局部特征，针对现有方法对事件元素间的句法依赖关系结构建模的缺失，通过依存句法分析获取文本的句法依赖关系，并通过GAT网络为候选事件元素在句法依赖关系中的邻接节点分配不同的注意力权重，从而将其特征编码到当前候选事件元素中，提高了模型对文本的表征能力，从而提高中文事件抽取的性能，提高了中文事件的抽取性能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种事件信息的抽取装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的一种事件信息的抽取装置的结构框图，如图4所示，该装置包括：获取模块40，处理模块42，映射模块44，其中，

获取模块40，用于获取非结构化文本中事件元素的文本特征，以及获取多个事件元素之间的句法依赖关系，其中，所述事件元素包括事件触发词和事件论元；

处理模块42，用于以所述文本特征和句法依赖关系为输入信息，采用图注意力网络GAT编码所述非结构化文本的图结构特征；

映射模块44，用于将所述图结构特征输入全连接层映射到样本空间，并采用Softmax将所述图结构特征映射到所述事件元素的类别标签。

可选的，所述获取模块包括：第一提取单元，用于采用BERT模型的中间M个连续隐藏层提取所述事件元素的特征向量，其中，M为大于1的整数；第二提取单元，用于采用多尺度卷积神经网络CNN提取所述特征向量的局部特征。

可选的，所述第二提取单元包括：提取子单元，用于采用尺度为1*1,3*3,5*5的CNN卷积核从所述特征向量中提取不同尺度下文本的n-gram特征，其中，所述多尺度CNN的激活函数为线性整流函数ReLU。

可选的，所述获取模块包括：解析单元，采用StandFordNLP进行依存句法分析，解析所述非结构化文本中词语与词语之间的句法依赖关系，其中，所述句法依赖关系用于表征两个事件元素之间的有向依赖关系；存储单元，用于采用有向图的邻接矩阵存储所述两个事件元素之间的句法依赖关系。

可选的，所述处理模块包括：第一计算单元，用于对于句法依存树中每个顶点词，计算与其句法依存关系相邻顶点的注意力因子，其中，所述非结构化文本中句法依赖关系表示为句法依存树；第二计算单元，用于对注意力因子进行归一化处理，得到注意力系数，采用所述注意力系数对文本特征进行加权求和，得到每个顶点词的注意力向量。

可选的，所述处理模块包包括：堆叠单元，用于依据所述非结构化文本的复杂度，将GAT网络堆叠为n层，其中，每层对应一个子GAT网络，层数与所述复杂度呈正相关；第三计算单元，用于采用前n-1层GAT网络计算所述非结构化文本的中间注意力特征，将n-1个子GAT网络的中间注意力特征的平均值输入最后一层GAT网络，输出所述非结构化文本的图结构特征。

可选的，所述映射模块包括：映射单元，用于将所述图结构特征输入全连接层将其映射到样本空间，并采用softmax将所述图结构特征映射到相应事件元素的类别标签，其中，所述全连接层所在的网络模型采用交叉熵损失函数进行损失计算，并采用L2正则防止过拟合。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取非结构化文本中事件元素的文本特征，以及获取多个事件元素之间的句法依赖关系，其中，所述事件元素包括事件触发词和事件论元；

S2，以所述文本特征和句法依赖关系为输入信息，采用图注意力网络GAT编码所述非结构化文本的图结构特征；

S3，将所述图结构特征输入全连接层映射到样本空间，并采用Softmax将所述图结构特征映射到所述事件元素的类别标签。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取非结构化文本中事件元素的文本特征，以及获取多个事件元素之间的句法依赖关系，其中，所述事件元素包括事件触发词和事件论元；

S2，以所述文本特征和句法依赖关系为输入信息，采用图注意力网络GAT编码所述非结构化文本的图结构特征；

S3，将所述图结构特征输入全连接层映射到样本空间，并采用Softmax将所述图结构特征映射到所述事件元素的类别标签。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

图5是本发明实施例的一种电子设备的结构图，如图5所示，包括处理器51、通信接口52、存储器53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信，存储器53，用于存放计算机程序；处理器51，用于执行存储器53上所存放的程序。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。