具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种解决方案，通过获取数据同步的处理方式，确定处理方式对应的数据通道，并通过对应的数据通道将待同步的文件信息发送至服务器，以使服务器直接根据数据通道对应的处理方式进行数据同步，无需通过解析待同步的文件信息来确定处理方式，减少了服务器在数据同步过程中的数据处理量，从而提高数据同步的效率。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端为个人电脑(Personal Computer，PC)、服务器和云服务器等终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及服务器的数据同步程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的服务器的数据同步程序，并执行以下操作：

客户机接收到同步指令，获取所述同步指令对应的处理方式，其中，所述处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个；

获取所述服务器中与所述处理方式对应的数据通道；

通过获取的所述数据通道将所述同步指令对应的文件信息发送至所述服务器，其中，所述服务器用于根据所述数据通道对应的所述处理方式对接收到的所述文件信息对应的文件进行处理。

进一步地，处理器1001可以调用存储器1005中存储的服务器的数据同步程序，还执行以下操作：

确定所述同步指令的同步类型；

获取所述同步类型对应的所述处理方式。

处理器1001还可以用于调用存储器1005中存储的服务器的数据同步程序，并执行以下操作：

接收客户机发送的文件信息；

获取所述文件信息对应的数据通道；

获取所述数据通道对应的处理方式，其中，所述处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个；

根据所述处理方式对所述文件信息对应的文件进行处理。

进一步地，处理器1001可以调用存储器1005中存储的服务器的数据同步程序，还执行以下操作：

检测所述处理方式对应的处理线程的状态；

若所述处理线程为未运行状态，获取所述处理线程的预设配置参数的逻辑值；

若所述逻辑值为预设逻辑值，启动所述处理线程；

通过所述处理线程对所述文件信息对应的文件进行处理。

进一步地，处理器1001可以调用存储器1005中存储的服务器的数据同步程序，还执行以下操作：

所述处理线程启动后，检测所述处理线程的索引功能是否可用；

若所述索引功能可用，执行所述通过所述处理线程对所述文件信息对应的文件进行处理的步骤。

进一步地，处理器1001可以调用存储器1005中存储的服务器的数据同步程序，还执行以下操作：

对所述文件信息对应的文件进行处理后，获取对所述文件信息对应的文件进行处理的处理结果；

若所述处理结果为处理失败，获取对所述文件信息对应的文件进行处理的处理次数；

若所述处理次数小于预设次数，返回执行所述根据所述处理方式对所述文件信息对应的文件进行处理的步骤；

若所述处理次数大于或等于所述预设次数，生成并保存所述处理结果对应的失败记录。

进一步地，处理器1001可以调用存储器1005中存储的服务器的数据同步程序，还执行以下操作：

若所述处理结果为处理失败，获取所述处理结果对应的失败类型；

若所述失败类型为数据同步错误，执行所述获取对所述文件信息对应的文件进行处理的处理次数的步骤；

若所述失败类型为数据格式错误，生成并保存所述处理结果对应的失败记录。

参照图2，在一实施例中，所述服务器的数据同步方法包括以下步骤：

步骤S10，客户机接收到同步指令，获取所述同步指令对应的处理方式，其中，所述处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个；

在本实施例中，执行主体为客户机。客户机接收用户触发的同步指令，获取同步指令对应的处理方式。用户将数据同步至服务器，一般是对数据进行更新、插入、删除以及创建等处理，因此，处理方式也可包括更新处理、插入处理、删除处理以及创建处理中的任意一个，具体处理方式可根据用户触发的同步指令进行确定。

可选地，获取同步指令对应的处理方式的步骤中，可确定同步指令的同步类型，并获取同步类型对应的处理方式。其中，同步指令中可包括需要进行同步的文件数据以及同步类型，根据同步类型可确定对文件数据执行何种处理。同步类型一般包括更新同步、插入同步、删除同步以及创建同步，且与处理方式对应。

步骤S20，获取所述服务器中与所述处理方式对应的数据通道；

在本实施例中，服务器中设置有多个数据通道，且不同的数据通道对应不同的存储区域或存储路径，服务器可对通过不同数据通道的数据执行不同的处理，即数据通道与处理方式对应。预先将这一对应关系存储于客户机中，这样，客户机获取到处理方式后，可根据预存对应关系获取与处理方式对应的数据通道。

步骤S30，通过获取的所述数据通道将所述同步指令对应的文件信息发送至所述服务器，其中，所述服务器用于根据所述数据通道对应的所述处理方式对接收到的所述文件信息对应的文件进行处理。

在本实施例中，客户机获取同步指令对应的文件信息，文件信息为待同步文件本身或者待同步文件对应的身份标识。客户机通过确定的数据通道将文件信息发送至服务器，以使服务器接收文件信息，并根据接收文件信息的数据通道对应的处理方式对文件信息对应的文件进行处理，实现数据从客户机到服务器的同步。客户机无需将指定的处理方式发送至服务器，服务器也无需解析文件信息并确定处理方式，根据文件信息对应的数据通道即可知晓指定的处理方式，减少了客户机的数据传输量以及服务器的数据解析量，提高数据同步的效率。

可选地，服务器中设置有消息中间件，客户机将文件信息发送至服务器，即是将发送文件信息至该消息中间件。例如，若消息中间件为Kafka集群，kafka集群包括多个broker，broker中存储有多个topic，每一topic的存储区域对应到一个数据通道，客户机通过数据通道发送文件信息，即是将文件信息发送至与数据通道对应的topic下存储，以供服务器按照topic对应的处理方式进行数据同步。

可选地，客户机获取同步指令对应的文件信息，根据同步指令对应的处理方式判断是将待同步文件本身还是待同步文件对应的身份标识作为文件信息，并发送至服务器。具体地，若处理方式为更新处理、插入处理以及创建处理中的任意一个，将待同步文件本身作为文件信息，实现待同步文件的数据同步。若处理方式为删除处理，将待同步文件对应的身份标识作为文件信息，其中，若获取待同步文件对应的身份标识，由于用户需要删除该待同步文件，因此ES数据库也预先存储有该待同步文件，客户机可将待同步文件发送至ES数据库进行查询，以使ES数据库反馈待同步文件对应的身份标识。一般来说，身份标识一般为待同步文件在ES数据库中的存储位置信息，或者待同步文件在ES数据库中的编号。

在本实施例公开的技术方案中，通过获取数据同步的处理方式，确定处理方式对应的数据通道，并通过对应的数据通道将待同步的文件信息发送至服务器，以使服务器直接根据数据通道对应的处理方式进行数据同步，无需通过解析待同步的文件信息来确定处理方式，减少了服务器在数据同步过程中的数据处理量，从而提高数据同步的效率。

在另一实施例中，如图3所示，在上述图2所示的实施例基础上，所述服务器的数据同步方法还包括：

步骤S40，接收客户机发送的文件信息；

步骤S50，获取所述文件信息对应的数据通道；

在本实施例中，执行主体为服务器。服务器若接收到客户机发送的文件信息，获取接收到文件信息的数据通道。服务器中预先设置有多个数据通道，且不同的数据通道对应不同的存储区域或存储路径，因此若接收到客户机发送的文件信息，可根据文件信息的存储区域或存储路径来确定文件信息对应的数据通道。

可选地，服务器中设置有消息中间件，通过消息中间件接收客户机发送的文件信息。例如，如图6所示，若消息中间件为Kafka集群，客户机推送文件信息至kafka集群，以供服务器的处理线程从kafka集群中拉取文件信息，并按照处理方式将文件信息对应的文件同步到服务器中的ES数据库中。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。具体的，kafka集群包括多个broker，broker中存储有多个topic，每一topic的存储区域对应到一个数据通道，客户机通过数据通道发送文件信息，即是将文件信息发送至与数据通道对应的topic下存储，以供处理线程拉取该文件信息，并按照数据通道对应的处理方式进行数据同步。

可选地，Kafk集群中的多个broker均受Zookeeper管理，且多个broker通过选举机制确定主broker和备用broker，Zookeeper可接收客户机发送的文件信息，并存储至主broker，并且可供处理线程拉取文件信息，而Zookeeper可监控并获取备用broker上存储的数据。多个broker中选举主broker的过程中，Zookeeper在同一时间只开放一个临时节点，多个broker均可去注册该临时节点，但只有一个broker可成功注册到该临时节点，其他broker则会注册失败，注册成功的broker为主broker，注册失败的broker为备用broker，这样一旦主broker宕机，其他备用broker则会再次竞争注册该临时节点，成为新的主broker，保证了若部分broker宕机，消息中间件仍能正常运行。

步骤S60，获取所述数据通道对应的处理方式，其中，所述处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个；

步骤S70，根据所述处理方式对所述文件信息对应的文件进行处理。

在本实施例中，服务器中预先设置有数据通道与处理方式的对应关系，且该对应关系也预先存储于客户机中。因此，服务器获取到文件信息对应的数据通道后，可根据预存对应关系获取数据通道对应的处理方式，该数据通道对应的处理方式即为用户指定的数据同步方式，这样，服务器只需根据处理方式对文件信息对应的文件进行处理即可，降低了服务器的数据解析量，提高数据同步的效率。其中，处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个。

可选地，根据处理方式对文件信息对应的文件进行处理的过程中，若处理方式为更新处理，获取ES数据库中与文件信息对应的文件，并将该文件替换为该文件信息。若处理方式为插入处理，获取ES数据库中与文件信息对应的文件，并将文件信息插入到该文件中，若处理方式为删除处理，获取ES数据库中与文件信息对应的文件，并删除该文件，若处理方式为创建处理，则将文件信息存储到ES数据库。其中，若处理方式为插入处理，若同时存在多个文件信息，可通过bulk insert函数，实现数据的批量插入，提高数据同步效率。

可选地，根据处理方式对文件信息对应的文件进行处理后，还可周期性地对ES数据库中存储的数据进行数据清理、数据整合等处理，以保证ES数据库的性能和稳定性。

在本实施例公开的技术方案中，服务器获取接收到的文件信息对应的数据通道，并确定数据通道对应的处理方式，根据该处理方式处理文件信息对应的文件，即可实现数据的同步，无需解析数据以获取处理方式，降低了服务器的数据解析量，提高数据同步的效率。

在再一实施例中，如图4所示，在图2至图3任一实施例所示的基础上，步骤S70包括：

步骤S71，检测所述处理方式对应的处理线程的状态；

在本实施例中，服务器根据处理方式对文件信息对应的文件进行处理后，可持续监控服务器中用于数据同步的线程的状态，以保证数据可正常同步到灵活搜索(Elasticsearch，ES)的数据库中。其中，用于数据同步的线程包括处理方式对应的处理线程。

可选地，服务器中用于数据同步的线程存在多个，且每一线程对应一种处理方式，每一处理方式可对应多个线程，例如，删除线程与删除处理对应，删除处理对应多个删除线程。服务器中设置有线程维护表，线程维护表中包括用于数据同步的线程，服务器遍历线程维护表，以检测线程维护表中的各个线程是否处于运行状态。

步骤S72，若所述处理线程为未运行状态，获取所述处理线程的预设配置参数的逻辑值；

步骤S73，若所述逻辑值为预设逻辑值，启动所述处理线程；

步骤S74，通过所述处理线程对所述文件信息对应的文件进行处理。

在本实施例中，服务器若检测到处理线程为未运行状态，表明该处理线程已退出，因此可进一步检测处理线程是否为异常退出。具体地，获取处理线程的预设配置参数的逻辑值，根据该逻辑值是否为预设逻辑值来判断该处理线程是否为异常退出，若处理线程为异常退出，则启动该处理线程，以通过该处理线程对文件信息对应的文件进行处理。

可选地，处理线程的预设配置参数项为主动关闭(active close)，预设逻辑值为flase，若active close的逻辑值也为flase，表明该处理线程为异常退出，因此启动该处理线程。

可选地，若active close的逻辑值为true，表明该处理线程为主动关闭，因此检测处理线程的索引功能是否可用，若索引功能可用，表明该处理线程可正常连接到ES数据库，因此，可启动该处理线程，并将active close的逻辑值修改为flase，避免该处理线程主动关闭，以通过该处理线程对文件信息对应的文件进行处理。若索引功能不可用，表明该处理线程无法正常连接到ES数据库，因此，可跳过该处理线程的本次检测，直至检测到索引功能可用，再启动该处理线程。

可选的，处理线程为异常退出，并再次启动该处理线程后，还可检测该处理线程的索引功能是否可用，若索引功能可用，则通过该处理线程对文件信息对应的文件进行处理。

可选地，服务器若检测到处理线程为运行状态，检测该处理线程的索引功能是否可用，若索引功能可用，则通过该处理线程对文件信息对应的文件进行处理，若索引功能不可用，则主动关闭该处理线程，并将active close的逻辑值设置为true，表明该处理线程为主动关闭，直至检测到索引功能可用，再启动该处理线程。

可选地，若服务器的消息中间件为Kafka集群，还可监控处理线程与Kafka集群中的Zookeeper的连接状态，以保证处理线程与Zookeeper的正常连接。若线程与Zookeeper为连接失败状态，处理线程可周期性地请求与Zookeeper的连接，若成功建立连接，则记录连接持续时长。若线程与Zookeeper为连接成功状态，获取处理线程的本次运行时长，以及处理线程与Zookeeper的连接持续时长，若本次运行时长与连接持续时长大于预设时间间隔，表明Zookeeper与处理线程的数据传输不同步，因此，处理线程完成对当前文件信息对应的文件进行处理后，主动关闭该处理线程，以避免数据传输出错。

在本实施例公开的技术方案中，通过对处理线程的监控，保证处理线程的正常运行，若处理线程的索引功能不可用，则主动关闭该处理线程，以避免处理线程无法正常连接到下游的ES数据库，处理线程将文件信息直接存储到服务器的本地磁盘中，避免ES数据库同步数据缺失，数据不可靠的问题，并且监控处理线程与上游的Zookeeper的时长，并进行时长比较，避免数据传输出错，通过自动感知上下游组件的连接状态，实现任务流级别的停止和恢复数据同步，从而提高整个数据同步过程的可靠性。

在又一实施例中，如图5所示，在图2至图4任一实施例所示的基础上，步骤S70之后，还包括：

步骤S80，对所述文件信息对应的文件进行处理后，获取对所述文件信息对应的文件进行处理的处理结果；

在本实施例中，服务器根据处理方式对文件信息对应的文件进行处理后，同步获取对文件信息对应的文件进行处理的处理结果，根据该处理结果判断文件是否成功同步到ES服务器。

步骤S90，若所述处理结果为处理失败，获取对所述文件信息对应的文件进行处理的处理次数；

步骤S100，若所述处理次数小于预设次数，返回执行所述根据所述处理方式对所述文件信息对应的文件进行处理的步骤；

步骤S110，若所述处理次数大于或等于所述预设次数，生成并保存所述处理结果对应的失败记录。

在本实施例中，若处理结果为处理失败，表明文件的同步失败，因此设置预设次数，以使服务器根据预设次数对文件的同步处理进行多次重试，以使服务器的数据同步更加可靠。具体地，若处理结果为处理失败，获取当前时刻下，对文件信息对应的文件进行处理的已处理次数，即重试次数，若处理次数小于预设次数，返回执行根据处理方式对文件信息对应的文件进行处理的步骤，即按照一定的重试周期对文件信息对应的文件重新进行处理，以再次重试，若处理次数大于或等于预设次数，表明已经进行了预设次数的重试，但仍然数据同步失败，因此，根据处理结果生成失败记录，并将该失败记录存储至ES数据库中的特定索引中，以供用户后续根据失败记录进行分析处理，便于服务器数据同步功能的维护，其中，失败记录包括错误原因、状态码及文件信息等。

可选地，若处理结果为处理失败，还可获取处理结果对应的失败类型，若失败类型为数据同步错误，则表明文件本身并无问题，而是偶然性因素导致的数据同步错误，因此，可执行获取对文件信息对应的文件进行处理的处理次数及其后续步骤，进行数据同步的重试。若失败类型为数据格式错误，表明文件本身的格式存在错误，即使多次重试也无法解决，因此，可执行生成并保存处理结果对应的失败记录，不进行数据同步的重试。通过处理结果的类型的识别，确定是否进行数据同步的重试，简化数据同步的步骤，提高数据同步的效率。

在本实施例公开的技术方案中，对文件信息对应的文件进行处理后，获取对应的处理结果，若处理结果为处理失败，则返回执行根据处理方式对文件信息对应的文件进行处理的步骤，以重新对文件进行处理，使得服务器的数据同步功能更加可靠。

此外，本发明实施例还提出一种服务器的数据同步装置，所述服务器的数据同步装置包括：

获取模块，用于接收同步指令，获取所述同步指令对应的处理方式，其中，所述处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个；

所述获取模块，还用于获取所述服务器中与所述处理方式对应的数据通道；

发送模块，用于通过获取的所述数据通道将所述同步指令对应的文件信息发送至所述服务器，其中，所述服务器用于根据所述数据通道对应的所述处理方式对接收到的所述文件信息对应的文件进行处理。

在本实施例公开的技术方案中，通过获取数据同步的处理方式，确定处理方式对应的数据通道，并通过对应的数据通道将待同步的文件信息发送至服务器，以使服务器直接根据数据通道对应的处理方式进行数据同步，无需通过解析待同步的文件信息来确定处理方式，减少了服务器在数据同步过程中的数据处理量，从而提高数据同步的效率。

此外，本发明实施例还提出一种服务器的数据同步装置，所述服务器的数据同步装置包括：

接收模块，用于接收客户机发送的文件信息；

获取模块，用于获取所述文件信息对应的数据通道；

所述获取模块，还用于获取所述数据通道对应的处理方式，其中，所述处理方式包括更新处理、插入处理、删除处理以及创建处理中的任意一个；

处理模块，用于根据所述处理方式对所述文件信息对应的文件进行处理。

在本实施例公开的技术方案中，获取接收到的文件信息对应的数据通道，并确定数据通道对应的处理方式，根据该处理方式处理文件信息对应的文件，即可实现数据的同步，无需解析数据以获取处理方式，降低了服务器的数据解析量，提高数据同步的效率。

此外，本发明实施例还提出一种服务器的数据同步设备，所述服务器的数据同步设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的服务器的数据同步程序，所述服务器的数据同步程序被所述处理器执行时实现如上各个实施例所述的服务器的数据同步方法的步骤。

此外，本发明实施例还提出一种计算机存储介质，所述计算机存储介质上存储有服务器的数据同步程序，所述服务器的数据同步程序被处理器执行时实现如上各个实施例所述的服务器的数据同步方法的步骤。

可选地，所述数据同步程序采用springboot框架。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。