基于哈希算法分片及重组的电网监控系统数据传输方法

文档序号:1802179 发布日期:2021-11-05 浏览:14次 >En<

阅读说明:本技术 基于哈希算法分片及重组的电网监控系统数据传输方法 (Power grid monitoring system data transmission method based on Hash algorithm fragmentation and recombination ) 是由 齐鹏辉 郑志豪 龚舒 何伊妮 江雄烽 曹伟 韦洪波 叶桂南 阮诗迪 刘欣然 于 2021-08-02 设计创作,主要内容包括:本申请涉及一种基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质。该方法包括:传输服务器通过确定各目标存储器的存储地址;将待传输数据进行分片得到多个片数据,并对各片数据均进行标注处理,得到各分片标识,并将分片标识与存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据按照与分片标识对应的存储地址存储至目标存储器,再基于分片标识和哈希数据表生成数据传输请求,并将数据传输请求发送至隔离服务器,以使得隔离服务器获取各个片数据,这样,在数据传输的过程中,隔离服务器通过对获取的各个片数据进行处理,能够大大降低隔离服务器的处理压力,从而实现在传输数据时的负载均衡的需求。(The application relates to a power grid monitoring system data transmission method and device based on Hash algorithm fragmentation and recombination, computer equipment and a storage medium. The method comprises the following steps: the transmission server determines the storage address of each target memory; the method comprises the steps of fragmenting data to be transmitted to obtain a plurality of pieces of data, labeling each piece of data to obtain each fragmentation identification, corresponding the fragmentation identification to a storage address one by one and establishing an index relation to obtain a hash data table; the method comprises the steps of storing each piece of data to a target memory according to a storage address corresponding to a piece identification, generating a data transmission request based on the piece identification and a Hash data table, and sending the data transmission request to an isolation server, so that the isolation server acquires each piece of data.)

基于哈希算法分片及重组的电网监控系统数据传输方法

技术领域

本申请涉及电力系统信息化技术领域,特别是涉及一种基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质。

背景技术

随着电力系统信息化技术的发展,为确保电力核心系统安全,电力系统开始采用安全防护机制,在我国的电力系统中,将基于计算机和网络技术的业务区分为实时控制区(即安全一区)和非控制生产区(即安全二区),将管理信息区分为生产管理区(即安全三区)和管理信息区(即安全四区)。其中,实时控制区与非控制生产区之间的通信、生产管理区与管理信息区之间的通信,均使用防火墙实现逻辑隔离,对于实时控制区与生成管理区之间的通信、以及非控制生产区与生成管理区之间的通信,均通过网络安全隔离装置隔离,从而实现各个区域之间的区间业务应用的数据共享需要。

然而,随着数据的大量积累,业务区(实时控制区、非控制生产区)与管理信息区之间对海量数据,尤其是实时数据、历史数据、全网模型数据的交换需求也越来越大,这大大增加了隔离服务器的处理压力,使得隔离服务器无法应对跨区域数据传递的需求。

发明内容

基于此,有必要针对上述技术问题,提供一种基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质。

一种基于哈希算法分片及重组的电网监控系统数据传输方法,由传输服务器执行,所述方法包括:

确定与多个目标存储器分别对应的存储地址;将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。

在其中一个实施例中,该将待传输数据进行分片得到多个片数据,包括:

获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。

在其中一个实施例中,该将待传输数据进行分片得到多个片数据,包括:

确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。

在其中一个实施例中,该将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表,包括:

对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

一种基于哈希算法分片及重组的电网监控系统数据传输方法,由隔离服务器执行,该方法包括:

接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。

一种基于哈希算法分片及重组的电网监控系统数据传输方法,由隔离服务器执行,该方法还包括:

接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于传输服务器,该装置包括:

确定模块,用于确定与多个目标存储器分别对应的存储地址;

标注模块,用于将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;

建立模块,用于将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;

存储模块,用于将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;

第一发送模块,用于基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。

在其中一个实施例中,该标注模块,具体用于:

获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。

在其中一个实施例中,该标注模块,具体用于:

确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。

在其中一个实施例中,该建立模块,具体用于:

对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于隔离服务器,该装置包括:

第一接收模块,用于接收数据传输请求,并解析所述数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;

第一查找模块,用于基于所述分片标识,从所述哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与所述分片标识对应的片数据;

第一重组模块,用于按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将所述待传输数据发送至接收服务器。

一种基于哈希算法分片及重组的电网监控系统数据传输装置,其特征在于,应用于隔离服务器,该装置包括:

第二接收模块,用于接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;

第二查找模块,用于基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;

第二发送模块,用于将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任一所述的基于哈希算法分片及重组的电网监控系统数据传输方法。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一所述的基于哈希算法分片及重组的电网监控系统数据传输方法。

上述基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质,传输服务器通过确定与多个目标存储器分别对应的存储地址,传输服务器将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识,并且将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;传输服务器将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,这样,能够根据哈希数据表迅速且准确的确定存储有片数据的目标存储器,然后传输服务器基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据,这样,在数据传输的过程中,隔离服务器通过对获取的各个片数据进行处理,能够大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。

附图说明

图1为一个实施例中基于哈希算法分片及重组的电网监控系统数据传输方法的应用环境图;

图2为一个实施例中基于哈希算法分片及重组的电网监控系统数据传输方法的流程示意图;

图3为另一个实施例中基于哈希算法分片及重组的电网监控系统数据传输方法的流程示意图;

图4为一个实施例中基于哈希算法分片及重组的电网监控系统数据传输装置的结构框图;

图5为另一个实施例中基于哈希算法分片及重组的电网监控系统数据传输装置的结构框图;

图6为另一个实施例中基于哈希算法分片及重组的电网监控系统数据传输装置的结构框图;

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的基于哈希算法分片及重组的电网监控系统数据传输方法,可以应用于如图1所示的应用环境中。其中,传输服务器102通过网络与隔离服务器104进行通信。传输服务器102确定与多个目标存储器分别对应的存储地址;传输服务器102将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;传输服务器102将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;传输服务器102将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;传输服务器102基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。其中,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中,如图2所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输方法,以该方法应用于图1中的传输服务器为例进行说明,包括以下步骤:

步骤S202,确定与多个目标存储器分别对应的存储地址。

其中,存储器为用于存储数据和指令等的记忆部件。

具体地,传输服务器从多个存储器中确定多个目标存储器,并基于多个目标存储器,确定与各个目标存储器对应的存储地址。

步骤S204,将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识。

其中,分片标识包括各个片数据所属待传输数据的字符标号,以及确定各个片数据的顺序标号。

具体地,传输服务器对待传输数据进行分片处理,获得多个与待传输数据对应的片数据,并对每个片数据分别进行标注处理,得到各个片数据给自对应的分片标识。

例如,传输服务器对待传输数据A进行分片处理,获得10个片数据,对每个片数据进行标注处理,得到对应的片数据分片标识可以为A-0001、A-0002、……、A-0010。以片数据A-0001为例,其中字符A为各个片数据所属待传输数据的字符标识,该字符标识为对片数据进行唯一标识,0001为顺序标号,该顺序标号可以用数字排列的形式进行表征,,基于该顺序标号确定各个片数据的顺序。

步骤S206,将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表。

其中,哈希数据表是将关键码值映射到表中一个位置来实现访问的数据结果,以此加快查找的速度。

具体地,传输服务器基于各个片数据的分片标识、各个目标存储器的存储地址,通过哈希算法,确定每个分片标识对应的存储地址,并确定各个分片标识与存储地址的对应关系,基于对应关系建立索引关系,得到哈希数据表。

步骤S208,将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中。

具体地,传输服务器基于分片标识与存储地址的对应关系,将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,例如,传输服务器基于分片标识对应的序号,按照从小到大的顺序,根据分片标识与存储地址的对应关系,依次将片数据存储至对应的目标存储器中。

步骤S210,基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。

具体地,传输服务器基于分片标识和该哈希数据表生成携带有哈希数据表以及分片标识的数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于数据传输请求获取哈希数据表和分片标识,并基于该哈希数据表和分片标识,从各个目标存储器中获取对应的各个片数据。

例如,传输服务器基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,进行信息查询,以分别访问各个片数据对应的目标存储器中,并从各个目标存储器中获取各个片数据。

上述基于哈希算法分片及重组的电网监控系统数据传输方法中,通过确定与多个目标存储器分别对应的存储地址,将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识,并且将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,这样,能够根据哈希数据表迅速且准确的确定存储有片数据的目标存储器,然后基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据,这样,在数据传输的过程中,隔离服务器通过对获取的各个片数据进行处理,能够大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。

在一个实施例中,该将待传输数据进行分片得到多个片数据,包括:获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。

具体地,传输服务器分别获取待传输数据的总数据量、目标存储器的数量,将目标存储器的数量作为片数据的数量,传输服务器将该待传输数据的总数据量除以该片数据的数量,得到每个片数据的单位数据量,传输服务器通过单位数据量对待传输的总数据量进行分片,得到多个数据量相同的片数据。

例如,传输服务器获取待传输数据的总数据量,该总数据量为A,目标存储器的数量为B,则传输服务器确定片数据的数量为B,将该待传输的总数据量除以该片数据的数量,得到每个片数据的单位数据量为A/B,传输服务器根据单位数据量为A/B对总数据量进行平均分片,得到多个数据量均为A/B的片数据。

在本实施例中,获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据,能够确保每次分片的数量是相同的,并且得到的每个片数据的数据量大小都是相同的,这样,传输服务器通过传输各个数据量相同的片数据,能够保证传输服务器传输数据时的均衡传输,有利于后续隔离服务器通过获取各个片数据,大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。

在一个实施例中,该将待传输数据进行分片得到多个片数据,包括:确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。

具体地,传输服务器基于预设文件确定预设数据量,基于该预设数据量对待传输数据逐一分片,直至剩余的待传输数据的剩余数据量小于预设数据量。

例如,传输服务器获取预设文件,并基于该预设文件确定预设数据量,传输服务器基于预设数据量对待传输数据进行第一次分片,得到第一个片数据和第一次剩余数据,并比较第一次剩余数据与预设数据量的大小,当第一次剩余数据大于预设数据量时,传输服务器基于预设数据量对第一次剩余数据进行第二次分片,得到第二个片数据和第二次剩余数据,进行下一次的迭代循环,并将第二次剩余数据作为下一次迭代所随意的第一次剩余数据,返回比较第一次剩余数据与预设数据量的大小的步骤继续执行,直至第一次剩余数据小于或等于预设数据量时停止,获取经过迭代循环得到的多个片数据。

在本实施例中,确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据,能够确保最多一个片数据的数据量小于该预设数据量,从而确保其余的片数据的数据量都是相同,最大程度上保证传输服务器传输数据时均衡传输,有利于后续隔离服务器通过获取各个片数据,大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。

在一个实施例中,该将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表,包括:对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

具体地,传输服务器通过哈希算法对分片标识进行哈希处理,得到与分片标识对应的映射地址,传输服务器将各个存储地址与该分片标识对应的各个映射地址进一一关联对应,建立各个存储地址与各个映射地址的索引关系,得到哈希数据表。

例如,传输服务器获取哈希函数,将各个分片标识输入至哈希函数中得到与分片标识对应的映射地址,传输服务器按照各个映射地址的顺序,依次将各个映射地址与各个存储地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

在本实施例,对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表,这样,能够使得隔离服务器哈希数据表和分片标识,从该目标存储器中获取各个片数据,有利于后续隔离服务器通过获取各个片数据,大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。

在一个实施例中,如图3所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输方法,以该方法应用于图1中的隔离服务器为例进行说明,包括以下步骤:

步骤S302,接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到。

具体地,隔离服务器接收数据传输请求,并对该数据传输请求进行解析,得到哈希数据表和分片标识,该哈希数据表是将该分片标识与多个目标存储器分别对应的存储地址一一对应并建立索引得到的,其中,分片标识是基于传输服务器对待传输数据进行分片得到的多个片数据进行标注处理获得。

步骤S304,基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。

具体地,隔离服务器基于从数据传输请求中获取的分片标识,从该哈希数据表中存储有多个存储地址的映射地址中,查询与各个分片标识对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。

步骤S306,按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。

具体地,隔离服务器获取各个目标存储器中的各个片数据,基于各个分片标识,隔离服务器按照各个片数据各自对应的分片标识顺序,对多个片数据进行重组得到待传输数据,该隔离服务器将该传输数据发送至接收服务器。

在一个可选实施例中,隔离服务器接收由传输服务器发送的数据传输请求,从该数据传输请求中获取哈希数据表和分片标识,基于该分片标识,从哈希数据表中的映射地址中确定与各个片数据对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据,隔离服务器基于分片标识中确定待传输数据的字符标号、各个片数据的顺序标号,基于字符标号确定属于同一待传输数据的各个片数据,基于该顺序标号确定各个片数据的顺序,隔离服务器将同一待传输数据的多个片数据按照顺序标号进行重组得到待传输数据,并将该待传输数据发送至接收服务器。

在本实施例中,隔离服务器接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;隔离服务器基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,这样能够直接且准确地确定存储地址,从而能够基于查找到的存储地址直接从各个目标存储器中获取与该分片标识对应的片数据;隔离服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器,这样,隔离服务器通过对各个片数据进行获取,能够大大降低隔离服务器的处理压力。

在一个实施例中,一种基于哈希算法分片及重组的电网监控系统数据传输方法,其特征在于,由隔离服务器执行,该方法还包括:

接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

具体地,隔离服务器接收由传输服务器发送的数据传输请求,并对该数据传输请求进行解析,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到,其中,分片标识是基于传输服务器对待传输数据进行分片得到的多个片数据进行标注处理获得,隔离服务器基于分片标识,从哈希数据表中存储有多个存储地址的映射地址中,查询与各个分片标识对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据,将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

例如,隔离服务器接收由传输服务器发送的数据传输请求,并从该数据传输请求中获取哈希数据表和分片标识,基于该分片标识,从哈希数据表中的映射地址中确定与各个片数据对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据,将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识中的字符标号确定属于同一待传输数据的各个片数据,再按照各个片数据各自对应的分片标识中的顺序标号确定各个片数据的顺序,该接收服务器将同一待传输数据的多个片数据按照顺序标号进行重组得到待传输数据。

在本实施例中,接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,这样能够直接且准确地确定存储地址,从而能够基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,这样,隔离服务器通过对各个片数据进行获取,能够大大降低隔离服务器的处理压力。此外,通过将获取到的各个片数据发送给传输服务器,以使得传输服务器基于各个片数据进行重组,获得待传输数据,从而实现传输服务器与接收服务器之间对数据的均衡传输。

为了便于更清楚的了解本申请的技术方案,提供了一个更为详细实施例进行描述。该基于哈希算法分片及重组的电网监控系统数据传输方法应用于如图1所述的环境中。其中,如图1所述的环境可以是在电力系统中各个区域数据传输的应用场景中,其中,各个区域的数据传输涉及到实时控制区(即安全一区)与生产管理区(即安全三区)之间的数据传输、或者非控制生产区(即安全二区)与生产管理区(即安全三区)之间的数据传输,其中,当安全一区或者安全二区中的数据传输至安全三区的数据时,安全一区或者安全二区作为数据接收方,对应的服务器为传输服务器;安全三区则作为数据接收方,对应的服务器为接收服务器。或者,当安全三区中的数据传输至安全一区或者安全二区时,安全三区作为数据传输方,对应的服务器为传输服务器;安全一区或者安全二区则作为数据接收方,对应的服务器为接收服务器。下述过程将以安全一区作为数据传输方(对应的服务器为传输服务器)、安全三区作为数据接收方(对应的服务器为接收服务器)对本申请的技术方案作详细的描述,其中,隔离服务器用于隔离安全一区和安全二区。

在传输服务器方面,传输服务器确定与多个目标存储器分别对应的存储地址;传输服务器从安全一区中获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量,基于该片数据的数量和该总数据量,确定每个片数据的单位数据量,传输服务器通过该单位数据对待传输数据进行分片,得到多个片数据;或者传输服务器基于预设文件的预设数据量,确定预设数据量,并基于该预设数据量对待传输数据进行分片,得到多个片数据,其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量;传输服务器对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;传输服务器对该分片标识进行哈希处理,得到与该分片标识对应的映射地址,通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表;传输服务器将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器。

在隔离服务器方面,隔离服务器(隔离器的服务端)接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将由待传输数据获得的分片标识与多个目标存储器分别对应的存储地址一一对应并建立索引关系得到;该隔离服务器基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;该隔离服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器(第二安全区的服务器)。或者,在隔离服务器方面,隔离服务器接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将由待传输数据获得的分片标识与多个目标存储器分别对应的存储地址一一对应并建立索引关系得到;该隔离服务器基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;该隔离服务器将多个片数据发送至接收服务器(第二安全区的服务器),以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

其中,若多个目录存储器中存在目录存储器宕机,需要重启与宕机对应的目标存储器,并重新从目录存储器中获取对应的片数据,并再次进行重组得到待传输数据,以此确保数据的完整性。

在本实施例中,传输服务器将第一安全区中的待传输数据的总数据量进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识,并对该分片标识进行哈希处理,得到与该分片标识对应的映射地址,通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表;传输服务器将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,这样,能够根据哈希数据表迅速且准确的确定存储有片数据的目标存储器,再基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得隔离服务器通过接收数据传输请求,得到哈希数据表和分片标识,从该目标服务器中获得各个片数据,因此,完成数据从第一安全区均衡传输至隔离服务器,这样,隔离服务器可以将各个片数据进行重组获得待传输数据,并将该传输数据传输至第二安全区所对应的接收服务器中,或者隔离服务器将各个片数据发送至第二安全区对应的接收服务器,以使得该服务器对多个片数据进行重组获得待传输数据,这样,实现数据从一个安全区能够均衡传输至隔离服务器,并通隔离服务器传输到另一个安全区,进而实现各个安全区之间均衡地传输数据。

应该理解的是,虽然图2、图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图4所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于传输服务器,包括:确定模块402、标注模块404、建立模块406、存储模块408和第一发送模块410,其中:

确定模块402,用于确定与多个目标存储器分别对应的存储地址。

标注模块404,用于将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识。

建立模块406,用于将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表。

存储模块408,用于将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中。

第一发送模块410,用于基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。

在一个实施例中,该标注模块404,用于获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。

在一个实施例中,该标注模块404,用于确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。

在一个实施例中,建立模块406,用于对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

在一个实施例中,如图5所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于隔离服务器,包括:第一接收模块502、第一查找模块502、第一重组模块504,其中:

第一接收模块502,用于接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到。

第一查找模块502,用于基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。

第一重组模块504,用于按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。

在一个实施例中,如图6所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于隔离服务器,包括:第二接收模块602、第二查找模块604、第二发送模块606,其中:

第二接收模块602,用于接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到。

第二查找模块604,用于基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。

第二发送模块606,用于将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

关于基于哈希算法分片及重组的电网监控系统数据传输装置的具体限定可以参见上文中对于基于哈希算法分片及重组的电网监控系统数据传输方法的限定,在此不再赘述。上述基于哈希算法分片及重组的电网监控系统数据传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是传输服务器、隔离服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于哈希算法分片及重组的电网监控系统数据传输数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于哈希算法分片及重组的电网监控系统数据传输方法。

本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种传输服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:确定与多个目标存储器分别对应的存储地址;将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

在一个实施例中,提供了一种隔离服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。

在一个实施例中,提供了一种隔离服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:确定与多个目标存储器分别对应的存储地址;将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

21页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种频差估计方法、FPGA及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!