具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

随着计算机技术的发展，各行各业都积累了大量的结构化信息和数据，其中，知识图谱形式的结构化数据被广泛应用。知识图谱本质上是语义网络，是一种基于图的数据结构，由点(Point)和边(Edge)组成。在知识图谱里，每个点表示现实世界中存在的实体，每条边为实体与实体之间的关系。知识图谱是关系的最有效的表示方式。知识图谱能够把各种不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络，知识图谱提供了从关系的角度去分析问题的能力，因此，也被很多搜索引擎或者大数据分析平台所采用。

由于知识图谱属于结构化的数据形态，而在实际应用中，对于大多数用户，往往还是通过自然语言的方式来了解信息更加便捷和容易理解，因此，会存在将知识图谱转换为自然语言描述的需求。

本发明实施例的技术提供了将知识图谱这种结构化的数据转换为采用自然语言进行描述的技术。在本发明实施例中，将知识图谱作为输入数据，提取知识图谱中的图结构关系特征，然后通过机器学习模型的编解码处理，生成基于自然语言的文本描述。在上述的自然语言转换过程中，基于知识图谱中的图结构关系来驱动编解码处理，从而能够充分抓取到知识图谱中的内容要点，生成能够更加充分地体现出知识图谱的主要内容的自然语言描述。

如图1所示，其为本发明实施例的示例性的模型框架结构示意图。在该示例中，整个模型采用编码-解码架构(encoder-decoder)，如图1中所示，左侧部分为编码器模型，主要用于将输入的知识图谱进行特征提取以及编码处理，生成包含有图结构关系特征的图嵌入数据，然后输出给右侧的解码器模型。右侧部分的解码器模型主要用于根据图嵌入数据进行解码处理生成描述文本并输出。

编码器部分

在本发明实施例中，作为示例编码器模型中采用了多图卷积神经网络(MGCN，multi-graph convolutional network)的模型结构，其中每层的结构可以进一步如图2所示，图2为本发明实施例的多图卷积神经网络层的模型结构示意图，如图所示，在每个多图卷积神经网络层中包含有多个图编码器(graph encoder)，多个图编码器进行编码处理后的图嵌入数据经过聚合层(aggregation layer)进行聚合处理后，作为输出的图嵌入数据。作为示例，在本发明实施例中，多图卷积神经网络层采用了6个图编码器，其功能对应于图3所示。

图3为本发明实施例的图编码器的图结构关系特征处理的示意图。最左边输入的图对应于知识图谱，如图中所示，包含E1、E2、E3、E4四个点以及R1、R2、R3三条边，该知识图谱会分别输入到图2所示的图编码器1至6中，并分别进行如图3所示的与各个图编码器所对应的处理。在本发明实施例中，在进行特征提取以及编码的过程中，将知识图谱中的边视为点来处理，从而更多地保留知识图谱中的结构关系信息，并且还能减少模型参数的数量。为了便于描述，将知识图谱中原始的点，即实体对应的点，称作第一类型点，将知识图谱中的边，即实体间的关系，称作第一类型点，此外，为了更多地从整体上提取知识图谱中的信息，还增了一个全局点。图3中，点E1至E4对应于第一类型点，点R1至R3为第二类型点，点G对应于全局点。各个图编码器分别执行如下处理：

图编码器1所执行的处理为：获取知识图谱的各个第一类型点和第二类型点，并为各个第一类型点和第二类型点以及全局点添加一条自循环的边，如图3中图编码器1所示，各个点均出现一条起点和终点为自身的边。

图编码器2所执行的处理为：获取各个第一类型点到第二类型点之间的正向关联关系，作为第一类型点到第二类型点的边。如图3中编码器2所示，基于知识图谱的结构关系，形成了点E1至E4与点R1至R3之间的正向的边，这些边体现了点E1至E4与点R1至R3之间在知识图谱中的正向关联关系。例如，在知识图谱中，边R1是从点E1出发的，因此，作为提取正向的点边关联关系的编码器2，在其生成图嵌入数据中，生成一条从点E1出发指向点R1的边。

图编码器3所执行的处理为：获取各个第一类型点到第二类型点之间的反向关联关系，作为第二类型点到第一类型点的边。如图3中编码器3所示，基于知识图谱的结构关系，形成了点E1至E4与点R1至R3之间的反向的边，这些边体现了点E1至E4与点R1至R3之间在知识图谱中的反向关联关系。例如，在知识图谱中，边R1是从点E1出发的，因此，作为提取反向点边关联关系的编码器3，在其生成图嵌入数据中，生成一条从点R1出发指向点E1的边。

图编码器4所执行的处理为：获取个第一类型点之间的正向关联关系，作为第一类型点之间的正向的边。如图3中编码器4所示，基于知识图谱的结构关系，形成了点E1至E4之间的正向的边，这些边体现了点E1至E4之间在知识图谱中的正向关联关系。例如，在知识图谱中，存在从点E1出发指向点E2和点E4的边，因此，作为提取正向点与点之间关联关系的编码器4，在其生成图嵌入数据中，生成一条从点E1出发指向点E2和点E4的边。

图编码器5所执行的处理为：获取各个第一类型点之间的反向关联关系，作为第一类型点之间的反向的边。如图3中编码器5所示，基于知识图谱的结构关系，形成了点E1至E4之间的反向的边，这些边体现了点E1至E4之间在知识图谱中的反向关联关系。例如，在知识图谱中，存在从点E1出发指向点E2和点E4的边，因此，作为提取反向点与点之间关联关系的编码器5，在其生成图嵌入数据中，生成一条从点E2和点E4均指向点E1的边。

图编码器6所执行的处理为：获取全局点与第一类型点和第二类型点之间的关联关系，作为全局点与第一类型点和第二类型点之间的边。编码器6用于形成全局点与所有第一类型点和第二类型点的关联关系，因此，在其生成图嵌入数据中，生成了从全局点G分别指向点E1至E4和点R1至R3的边。

上述的多个图编码器从不同角度对知识图谱的图结构关系特征进行了提取和编码，这样简单明了的转化过程对多图卷积神经网络中的学习起到了巨大的帮助作用，从而能够对知识图谱包含的信息内容进行深入和全面的挖掘。

图2所示的各个多图卷积神经网络层可以采用相同的模型结构进行如图3所示的处理。先对输入的知识图谱进行图嵌入的编码处理，生成初始图嵌入数据，输入到第一层的多图卷积神经网络，第一层的多图卷积神经网络处理后生成的图嵌入数据在提供给下一层的多图卷积神经网络进行进一步处理，直至第n层的多图卷积神经网络。如图2中所示，输入的图嵌入数据可以是初始图嵌入数据或者是来自上一层的图嵌入数据，而输出的图嵌入数据同时也作为下一层的输入的图嵌入数据。各层多图卷积神经网络处理所输出的图嵌入数据会进行叠加后，提供给图1所示的解码器模型。

通过多层多图卷积神经网络的模型结构进行图特征编码，能够抓取到更深层的抽象信息，具体的层数n可以根据实际模型训练结果而定，以取得较为适合的文本描述结果。

解码器部分

本实施例中的解码器模块可以采用基于自然语言处理的解码器模型，从而可以将编码器模型输出的图嵌入信息转换为自然语言编码进行输出。作为示例，如图1右侧部分所示，解码器模型部分主要包括多个LSTM层以及交叉注意力处理层(Cross-attentionlayer)。输出词嵌入向量输入到首层的LSTM层中，然后经过多层的LSTM层的处理与编码器模型输出叠加后的图嵌入数据一起输入到交叉注意力处理层中进行处理，最终输出描述文本的编码，并最终可以转换为描述文本。图中的LSTM层的层数m可以根据实际需要和模型训练效果而定。该解码器模型可以采用不限制输出文本长度的模型，从而能够让输出文本更加灵活，更加准确地描述出知识图谱中包含的关键内容信息。

上述模型采用了编码-解码架构(encoder-decoder)的文本生成模型，其中采用了多图卷积神经网络对知识图谱的图结构关系特征进行了特征提取和编码，从而有效避免了信息丢失和参数过多的问题，有选择性地捕捉了多知识图谱中的重要信息并进行了有效聚合，从而使得生成的描述文本能够更加有效地对知识图谱中包含的关键信息进行描述。本发明实施例提出上述模型处理，并不要求输入和输出的严格对应，从而可以通过知识图谱辅助生成更加丰富的描述内容。

知识图谱的获取以及模型应用

在本发明实施例中，作为上述模型输入的知识图谱，可以来自于在知识图谱的数据库所进行的检索结果。随着大数据技术的发展，各个行业和领域均积累的大量的知识图谱数据，这些知识图谱数据可以为用户提供基于关键词的信息查询。在一些应用场景中，用户可以通过查询请求携带查询关键词，并基于这些关键词，在知识图谱数据库中进行检索，获取相关的知识图谱，并将检索到的知识图谱输入到本发明实施例提供的模型中，输出描述文本，并向用户呈现。

在知识图谱的获取过程中，可以基于主要实体(main entity)和附属主题实体(topic-related entity)来进行知识图谱的获取，并进而使用本发明实施例提供的模型来生成主题话的文本描述。具体地，主要实体是指要希望获取的信息的最核心的执行，而附属主题实体是指与该主要实体关联的一些主题内容等。主要实体和附属主题实体对应于具体检索过程中的关键词，下面通过一个示例来进行说明。

如图4所示，其为本发明实施例的一个知识图谱的检索示例的示意图。作为检索的关键词，用户提供了某位歌手的姓名“AAAA”作为与主要实体对应的关键词，以及“复古风(retro style)”、“疯克音乐(funk)”、“节奏布鲁斯音乐(rhythm and blues)”等。在本发明实施例中，基于主要实体和附属主题实体的检索过程可以遵循如下策略：获取与主要实体直接关联的第一三元组以及使主要实体与附属主题实体之间关联的第二三元组。知识图谱一般可以以三元组的形式来记录，较为典型的三元的形式为实体—关系—实体，实体对应于知识图谱中的点，而关系对应于知识图谱中的边。在实际检索过程中，会先到知识图谱数据库中定位到主要实体和附属主题实体，然后再根据上述策略提取相应的三元组，从而构成作为检索结果的知识图谱。上述的知识图谱数据库中存储的数据可以认为是一张或者多张更大的知识图谱，而作为检索结果的知识图谱只是数据库中大的知识图谱中的一部分。

如图4所示，在获取到的知识图谱中，包括位于中心的主要实体以及多个附属实体1至4以及主要实体和附属实体之外的其他实体5至10。其中，实体2、3、5、6、7、8、9是与主要实体直接关联的实体，实体2和实体3同时也是附属主题实体。这些实体与主要实体形成的三元组为上述的第一三元组。此外，实体1、3、4为附属主题实体，他们没有与主要实体直接关联，分别经过实体9和10、实体8、实体7与主要实体关联，这些关联路径上形成的三元组则为上述的第二三元组，在第二三元组中存在部分与第一三元组重合的三元组，例如实体8、实体7以及实体9与主要实体之间形成的三元组，由于我们最终要获取的是一张知识图谱，所以并不存在三元组重复的问题，上述的将三元组划分为第一三元组和第二三元组仅仅是为了描述的方便。

回到前述的以某位歌手的姓名“AAAA”作为与主要实体以相关附属主题实体的示例，通过在知识图谱数据库中进行检索所，获取到例如如图4所示的知识图谱，然后就可以输入到前述的图1所示的模型中进行处理，从而可以生成基于与歌手相关的主要实体和附属主题实体相关的文字描述，例如获得的文字描述为“歌手AAAA生于1985年10月10日，是一位创作型歌手，音乐制作人，舞蹈家。他以其舞台表演而家喻户晓，他能够表演非常广的音乐风格包括复古风、疯克音乐、节奏布鲁斯音乐、R&B、hip pop以及摇滚等”。

本发明实施例提供的方法以及机器学习模型可以应用或者部署在提供数据服务的云平台上，例如，提供检索服务的搜索引擎，电商服务平台等，将信息检索与自然语言的文本描述相结合。当然，上述的机器学习模型也可以部署在本地计算机、移动终端或者服务器上，提供基于知识图谱到自然语言描述的转换处理。

在应用场景方面，可以在商业、生活、信息获取等多方面得到应用。以电商平台为例，可以根据用户提供的关键词，在与产品有关的知识图谱数据库中进行检索，获取到知识图谱后，转换为自然语言的对商品的介绍描述，并提供给用户。在用户提供的关键词中，可以将商品名称作为主要实体，而其他的各项属性关键词作为附属主题实体，利用已经激励的电商知识库进行知识图谱的检索获取。此外，还可以应用于数据官项目，可以根据某一领域积累的与运营数据相关的知识图谱，进行知识图谱的检索，并生成对该领域的运营状况或者销售现状的文本描述。

上述的机器学习模型可以利用已有知识图谱数据库中的数据以及已有的与其对应的文字描述，作为训练数据。例如，可以使用知识百科数据库中积累的知识图谱数据以及对应的文字介绍作为训练数据。此外，对于一些专业的领域，例如电商行业，也可以使用积累的与电商销售的各种产品的知识图谱数据和对应的商品页面上的介绍作为训练数据。

下面再通过一些具体实施例来进一步说明本发明的技术方案。

实施例一

如图5所示，其为本发明实施例的基于知识图谱的描述文本生成方法的流程示意图，该方法包括：

S101：获取知识图谱。其中，知识图谱可以从知识图谱数据库中进行获取，具体地，该获取知识图谱的处理可以在获取到用户查询请求后，从查询请求获取其包括的与主要实体对应的第一关键词和与附属主题实体对应的第二关键词，然后，根据第一关键词和第二关键词在知识谱数据库中进行检索，获取知识图谱，知识图谱包括与主要实体直接关联的第一三元组以及使主要实体与附属主题实体之间关联的第二三元组。

S102：从知识图谱中提取多个不同角度的图结构关系特征，生成第一图嵌入数据。其中，具体的特征提取方式可以为：将知识图谱中的边视为点，对知识图谱进行图结构关系特征提取，生成多个不同角度的第二图嵌入数据，然后，再对多个第二图嵌入数据进行聚合处理，生成第一图嵌入数据。

具体地，上述的提取多个不同角度的图结构关系特征可以包括如下几个方面特征提取及编码处理中的一种或者多种组合，该部分的详细示例可以按照前面的图3所示出处理机制：

1)获取知识图谱的各个第一类型点和第二类型点，并为各个第一类型点和第二类型点以及全局点添加一条自循环的边，生成第二图嵌入数据。

2)获取各个第一类型点到第二类型点之间的正向关联关系，作为第一类型点到第二类型点的边，生成第二图嵌入数据。

3)获取各个第一类型点到第二类型点之间的反向关联关系，作为第二类型点到第一类型点的边，生成第二图嵌入数据。

4)获取个第一类型点之间的正向关联关系，作为第一类型点之间的正向的边，生成第二图嵌入数据。

5)获取各个第一类型点之间的反向关联关系，作为第一类型点之间的反向的边，生成第二图嵌入数据。

6)获取全局点与第一类型点和第二类型点之间的关联关系，作为全局点与第一类型点和第二类型点之间的边，生成第二图嵌入数据。

具体地，本步骤所执行的处理可以采用多层的多图卷积神经网络来实现，相应地，该步骤可以具体包括：

将知识图谱进行图嵌入的编码处理，生成初始图嵌入数据，通过多层的多图卷积神经网络，执行如下逐层处理：

将知识图谱中的边视为点，对知识图谱进行图结构关系特征提取，生成多个不同角度的第二图嵌入数据；

对多个第二图嵌入数据进行聚合处理，生成第三图嵌入数据，作为下一层多图卷积神经网络的初始图嵌入数据重复执行上述处理，直至到达最后一层多图卷积神经网络；

将各层多图卷积神经网络输出的第三图嵌入数据，进行叠加后，作为第一图嵌入数据。

上述的各层的多图卷积神经网络均可以包含前述图2所示的多个图编码器，各个图编码器分别对应执行前述的1)到6)的编码处理。具体的多层的多图卷积神经网络的模型结构可以参照前面介绍的图1和图2所示。

S103：对第一图嵌入数据进行基于自然语言的解码处理，生成描述文本。其中，解码部分的处理可以采用长短时记忆网络和交叉注意力模型来执行，对图嵌入数据进行不限制长度的基于自然语言的解码处理，以生成描述文本。

本发明实施例通过将知识图谱作为输入数据，提取知识图谱中的图结构关系特征，然后通过机器学习模型的编解码处理，生成基于自然语言的文本描述。在上述的自然语言转换过程中，基于知识图谱中的图结构关系来驱动编解码处理，从而能够充分抓取到知识图谱中的内容要点，生成能够更加充分地体现出知识图谱的主要内容的自然语言描述。

实施例二

如图6所示，其为本发明实施例的基于知识图谱的描述文本生成装置的结构示意图，该装置包括：

图数据获取模块11，用于获取知识图谱。其中，知识图谱可以从知识图谱数据库中进行获取，具体地，该获取知识图谱的处理可以在获取到用户查询请求后，从查询请求获取其包括的与主要实体对应的第一关键词和与附属主题实体对应的第二关键词，然后，根据第一关键词和第二关键词在知识谱数据库中进行检索，获取知识图谱，知识图谱包括与主要实体直接关联的第一三元组以及使主要实体与附属主题实体之间关联的第二三元组。

编码器模块12，用于从知识图谱中提取多个不同角度的图结构关系特征，生成第一图嵌入数据。其中，具体的特征提取方式可以为：将知识图谱中的边视为点，对知识图谱进行图结构关系特征提取，生成多个不同角度的第二图嵌入数据，然后，再对多个第二图嵌入数据进行聚合处理，生成第一图嵌入数据。

具体地，上述的提取多个不同角度的图结构关系特征可以包括实施例一种介绍1)至6)所示的特征提取及编码处理中的一种或者多种组合。

进一步地，编码器模块12所执行的处理可以采用多层的多图卷积神经网络来实现，具体可以包括：

将知识图谱进行图嵌入的编码处理，生成初始图嵌入数据，通过多层的多图卷积神经网络，执行如下逐层处理：

将知识图谱中的边视为点，对知识图谱进行图结构关系特征提取，生成多个不同角度的第二图嵌入数据；

对多个第二图嵌入数据进行聚合处理，生成第三图嵌入数据，作为下一层多图卷积神经网络的初始图嵌入数据重复执行上述处理，直至到达最后一层多图卷积神经网络；

将各层多图卷积神经网络输出的第三图嵌入数据，进行叠加后，作为第一图嵌入数据。

上述的各层的多图卷积神经网络均可以包含前述图2所示的多个图编码器，各个图编码器分别对应执行前述的1)到6)的编码处理。具体的多层的多图卷积神经网络的模型结构可以参照前面介绍的图1和图2所示。

解码器模块13，用于对第一图嵌入数据进行基于自然语言的解码处理，生成描述文本。其中，解码部分的处理可以采用长短时记忆网络和交叉注意力模型来执行，对图嵌入数据进行不限制长度的基于自然语言的解码处理，以生成描述文本。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

实施例三

前面实施例描述了发明实施例的基于知识图谱的描述文本生成方法的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图7所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。

存储器110，用于存储程序。

除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的基于知识图谱的描述文本生成方法的操作步骤。

此外，处理器120也可以包括前述实施例所描述的各种模块以执行基于知识图谱的描述文本生成的处理，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。

通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。

显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。