具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1所示为一种发明人已知的图分片数据的迁移方法。由于当前图分片数据到图引擎服务主要通过模运算作为路由规则来进行映射。因此增加图引擎服务数量时，相当于重新定制了路由规则。例如，如图1所示，假设当前图数据分片文件数目N＝12，即存在图数据分片文件集合{P₀,P₁,P₂,P₃，P₄,P₅,P₆,P₇,P₈,P₉,P₁₀,P₁₁}。图引擎服务数目M＝3，即存在图引擎服务集合{S₀,S₁,S₂}。当M增加1时，即增加一个图引擎服务，此时图引擎集合为{S₀,S₁,S₂,S₃}。图分片数据到图引擎服务的分配关系如图1所示，在增加图引擎服务S3之前，S₀对应的图分片数据为P₀,P₃，P₆,P₉，S₁对应的图分片数据为P₁,P₄,P₇,P₁₀，S₂对应的图分片数据为P₂,P₅,P₈,P₁₁。在增加图引擎服务S3之后，S₀对应的图分片数据为P₀,P₄,P₈，S₁对应的图分片数据为P₁,P₅,P₉，S₂对应的图分片数据为P₂,P₆,P₁₀，S₃对应的图分片数据为P₃，P₇，P₁₁。可以看出，图引擎服务之间存在数据存在大量的数据迁移。

针对上述问题，本公开提出一种数据迁移方法，下面结合图2～图5进行描述。

图2为本公开数据迁移方法一些实施例的流程图。如图2所示，该实施例的方法包括：步骤S202～S206。

在步骤S202中，确定新增的图引擎服务的标签在哈希环中的位置。

在一些实施例中，新增的图引擎服务的标签为一个或多个。图引擎服务的标签，指的是图引擎服务的特定标识。可以由图引擎服务的域名+index(索引)或者ip+index的形式构成。假设一个图引擎服务域名为graph_service_1，且存在三个标签，则每一个标签可以表示为graph_service_1_0、graph_service_1_1、graph_service_1_2。

图引擎服务的标签可以理解为图引擎服务的虚拟节点。一致性哈希算法中，可以将每个图引擎服务的标签数量设置为1，即每一个图引擎服务在哈希环中只存在一个唯一(物理)节点，映射到该节点的图分片数据被该图引擎服务加载。但是图引擎服务的标签设置为1时，容易导致扩容时，不同图引擎服务中的图分片数据不均匀，甚至引起服务雪崩现象。因此，将图引擎服务的标签设置为多个，可以使图分片数据的分布更加均匀，减少雪崩现象的发生。

在一些实施例中，每个图引擎服务的标签的数量根据图引擎服务的处理能力确定，其中，图引擎服务处理能力越强，标签的数量越多。图引擎服务的标签的数量越多可以时图分片数据更多地分配到该图引擎服务上。处理能力越强的图引擎服务分配更多地的图分片数据，这样可以充分利用图引擎服务的资源，减少能力差的图引擎服务的负载，提高图分片数据的处理效率。

在一些实施例中，获取新增的图引擎服务的多个标签；根据预设哈希函数，确定各个标签的哈希值；根据各个标签的哈希值确定各个标签在哈希环中的位置。预设哈希函数例如为murmurhash3或者md5等现有的哈希函数。构建一个哈希环，哈希函数的最大值对应弧度值2π，最小值对应弧度值0。不同的哈希函数值对应哈希环中不同的位置。可以按照预设顺序(顺时针或逆时针)确定各个标签在哈希环中的位置。哈希环中位置的计算方法可以参考现有技术，不再赘述。

在一些实施例中，响应于图分片数据的增加量达到预设量，根据图分片数据的增加量确定新增的图引擎服务的数量。针对每个新增的图引擎服务根据图引擎服务的处理能力确定对应的标签的数量和各个标签。然后执行步骤S102和之后的方法。

在步骤S204中，根据标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离，确定属于新增的图引擎服务的待迁移的图分片数据。

各个图分片数据在哈希环中的位置在新增图引擎服务之前已确定。在一些实施例中，在哈希环中按照预设顺序(顺时针或逆时针)，依次确定与各个图分片数据在哈希环中的位置距离最近的标签，作为各个图分片数据对应的标签；根据各个图分片数据对应的标签和各个标签所属的图引擎服务，重新生成图分片数据和图引擎服务的映射表。映射表中包括各个图分片数据的标识与各个图引擎服务的标识的对应关系。图引擎服务的标识与图引擎服务的标签不同，是图引擎服务的唯一标识。映射表中与新增的图引擎服务对应的为待迁移的图分片数据。

如图3所示，例如，新增引擎服务S3，具有三个标签S3.0、S3.1、S3.2。通过计算各个标签在哈希环中的位置，一致性哈希环中新增了S3.0、S3.1、S3.2三个标签。按照逆时针的方向确定图分片数据P₆对应于标签S3.1，P₉对应于标签S3.2，P₁对应于标签S3.0。

在步骤S206中，向新增的图引擎服务和待迁移的图分片数据的原图引擎服务发送指示信息，将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务。

可以直接将待迁移的图分片数据的标识发送至所属的原图引擎服务和新增的图引擎服务，新增的图引擎服务根据待迁移的图分片数据的标识加载待迁移的图分片数据(例如，从网盘加载待迁移的图分片数据)。完成加载后，新增的图引擎服务发送加载完成消息至数据迁移装置(执行本公开的方法的装置)。数据迁移装置向原图引擎服务发送删除指示，原图引擎服务将待迁移的图分片数据的删除。数据迁移装置可以通知新增的图引擎服务上线提供服务。

在一些实施例中，向各个图引擎服务发送指示信息，其中，指示信息包括映射表；接收新增的图引擎服务发送加载完成消息，其中，加载完成消息表示新增的图引擎服务根据映射表完成对待迁移的图分片数据的加载；向原图引擎服务发送删除指示；接收原图引擎服务发送的删除完成消息，其中，删除完成消息表示原图引擎服务根据映射表完成对待迁移的图分片数据的删除。将映射表发送至各个图引擎服务，各个图引擎服务可以根据映射表和已存储的图分片数据判断是否需要加载或删除某些图分片数据。

例如，可以通过心跳机制向原图引擎服务发送删除指示。通过心跳机制可以确定各个图引擎服务是否正常工作，通过心跳机制的消息向原图引擎服务发送删除指示，可以减少额外发送删除指示。

上述实施例的方法，采用哈希环的方式确定图分片数据与图引擎服务的关系，进而确定属于新增的图引擎服务的待迁移的图分片数据，从而将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务。上述实施例的方法中扩充图引擎服务数量时，不存在原有图引擎服务之间的数据迁移，只存在原有图引擎服务到新增图引擎服务的数据迁移，减少了图分片数据的迁移量，提高了图分片数据的迁移效率，能够提升图数据查询的实时性和查询效果，优化用户体验和提升图建模收益。

下面结合图4描述本公开数据迁移方法的另一些实施例。

图4为本公开数据迁移方法另一些实施例的流程图。如图4所示，该实施例的方法包括：步骤S402～S408。

在步骤S402中，确定图中各个实体的标识的哈希值。

实体例如包括图的节点的数据或边的数据。将全量图数据中的实体进行哈希。

在步骤S404中，根据各个实体的标识的哈希值，确定各个实体所属的图分片数据的标识。

例如，将哈希值对图分片数据数目N取模，确定各个实体所属的图分片数据。

在步骤S406中，确定各个图分片数据的标识的哈希值。

在步骤S408中，根据各个图分片数据的标识的哈希值，确定各个图分片数据在哈希环中的位置，作为已分配的各个图分片数据在哈希环中的位置。

上述实施例的方法可以对全量图数据进行分片，并确定各个图分片数据在哈希环中的位置。

数据迁移装置维护一个状态机，负责与图引擎服务通过心跳机制进行通信。数据迁移装置可以提供图引擎服务的注册功能，并能获取每个图引擎服务加载的图分片数据信息。数据迁移装置包含一个一致性哈希模块，负责将图数据分片映射到不同的图引擎服务中，同时维护一个图数据分片到图引擎的映射表。当图引擎服务数目M发生增加时，一致性哈希算法重新确定图数据分片到图引擎服务的映射关系，生成新的映射表，并下发至图引擎服务赫尔其他模块。图引擎服务从数据迁移装置获取图数据分片到映射表后，加载对应的图数据分片数据并在加载完毕后上线。

下面结合图5描述本公开图分片数据的查询的一些实施例。

图5为本公开数据迁移方法的又一些实施例的流程图。如图5所示，该实施例的方法包括：步骤S502～S510。

在步骤S502中，在待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务的情况下，数据迁移装置向图数据查询服务发送图分片数据和图引擎服务的映射表。

在步骤S504中，图数据查询服务接收数据查询请求。

数据查询请求例如包括：待查询的实体，实体例如包括图的节点的数据或边的数据。

在步骤S506中，图数据查询服务根据待查询的实体的标识的哈希值，确定待查询的实体所属的图分片数据的标识。

例如，将哈希值对图分片数据数目N取模，确定待查询的实体所属的图分片数据。

在步骤S508中，图数据查询服务在映射表中，根据待查询的实体所属的图分片数据的标识查找对应的图引擎服务，作为目标图引擎服务。

在步骤S510中，图数据查询服务向目标图引擎服务查询待查询的实体。

上述实施例的方法，将映射表发送至数据查询服务，数据查询服务根据新的映射表提供查询服务，减少了查询错误的概率。

本公开还提供一种数据迁移装置，下面结合图6进行描述。

图6为本公开数据迁移装置的一些实施例的结构图。如图6所示，该实施例的装置60包括：标签位置确定模块610，迁移信息确定模块620，迁移指示模块630。

标签位置确定模块610用于确定新增的图引擎服务的标签在哈希环中的位置。

在一些实施例中，新增的图引擎服务的标签为多个，标签位置确定模块610用于获取新增的图引擎服务的多个标签；根据预设哈希函数，确定各个标签的哈希值；根据各个标签的哈希值确定各个标签在哈希环中的位置。

迁移信息确定模块620用于根据标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离，确定属于新增的图引擎服务的待迁移的图分片数据。

在一些实施例中，迁移信息确定模块620用于在哈希环中按照预设顺序，依次确定与各个图分片数据在哈希环中的位置距离最近的标签，作为各个图分片数据对应的标签；根据各个图分片数据对应的标签和各个标签所属的图引擎服务，重新生成图分片数据和图引擎服务的映射表，映射表中与新增的图引擎服务对应的为待迁移的图分片数据。

迁移指示模块630用于向新增的图引擎服务和待迁移的图分片数据的原图引擎服务发送指示信息，将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务。

在一些实施例中，迁移指示模块630用于向各个图引擎服务发送指示信息，其中，指示信息包括映射表；接收新增的图引擎服务发送加载完成消息，其中，加载完成消息表示新增的图引擎服务根据映射表完成对待迁移的图分片数据的加载；向原图引擎服务发送删除指示；接收原图引擎服务发送的删除完成消息，其中，删除完成消息表示原图引擎服务根据映射表完成对待迁移的图分片数据的删除。

在一些实施例中，迁移指示模块630还用于在待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务的情况下，向图数据查询服务发送图分片数据和图引擎服务的映射表，映射表中与新增的图引擎服务对应的为待迁移的图分片数据。

在一些实施例中，该装置60还包括：数据位置确定模块640，用于确定图中各个实体的标识的哈希值，其中，实体包括图的节点的数据或边的数据；根据各个实体的标识的哈希值，确定各个实体所属的图分片数据的标识；确定各个图分片数据的标识的哈希值；根据各个图分片数据的标识的哈希值，确定各个图分片数据在哈希环中的位置，作为已分配的各个图分片数据在哈希环中的位置。

在一些实施例中，每个图引擎服务的标签的数量根据图引擎服务的处理能力确定，其中，图引擎服务处理能力越强，标签的数量越多。

本公开的实施例中的数据迁移装置可各由各种计算设备或计算机系统来实现，下面结合图7以及图8进行描述。

图7为本公开数据迁移装置的一些实施例的结构图。如图7所示，该实施例的装置70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行本公开中任意一些实施例中的数据迁移方法。

其中，存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

图8为本公开数据迁移装置的另一些实施例的结构图。如图8所示，该实施例的装置80包括：存储器810以及处理器820，分别与存储器710以及处理器720类似。还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口850为SD卡、U盘等外置存储设备提供连接接口。

本公开还提供一种数据迁移系统，下面结合图9进行描述。

图9为本公开数据迁移系统的一些实施例的结构图。如图9所示，该实施例的系统9包括：前述任意实施例的数据迁移装置60/70/80，以及多个图引擎服务92。

图引擎服务92为新增的图服务引擎或为待迁移的图分片数据的原图引擎服务的情况下，用于接收数据迁移装置发送的指示信息，实现待迁移的图分片数据的迁移。图引擎服务92可以为服务器，PC等设备。

在一些实施例中，指示信息包括映射表；图引擎服务92为新增的图服务引擎的情况下，用于根据映射表完成对待迁移的图分片数据的加载，并向数据迁移装置60/70/80发送加载完成消息，图引擎服务92为原图服务引擎的情况下，用于接收数据迁移装置60/70/80发送的删除指示，根据映射表完成对待迁移的图分片数据的删除，并向数据迁移装置60/70/80发送删除完成消息。

在一些实施例中，该系统9还包括：图数据查询服务94，用于接收迁移装置60/70/80发送的映射表，根据映射表提供查询服务。

在一些实施例中，图数据查询服务94用于接收数据查询请求，确定待查询的实体的标识的哈希值，根据待查询的实体的标识的哈希值，确定待查询的实体所属的图分片数据的标识，在映射表中，根据待查询的实体所属的图分片数据的标识查找对应的图引擎服务，作为目标图引擎服务，向目标图引擎服务查询待查询的实体；其中，数据查询请求包括：待查询的实体，实体包括图的节点的数据或边的数据。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。