基于电子卷宗的分布式存储系统
阅读说明：本技术 基于电子卷宗的分布式存储系统 (Distributed storage system based on electronic files ) 是由 罗健锋 王俊峰 崔起旭 李仕军 周东 翟晓清 许晓峰 于 2021-08-30 设计创作，主要内容包括：本发明涉及基于电子卷宗的分布式存储系统,包括以下：将网络类型划分为管理网络、存储私网以及存储外网；将存储外网通过堆叠的存储外网交换机与EDS集群通信连接；将管理网络通过管理交换机与EDS集群通信连接；将存储私网通过堆叠的存储私网交换机与EDS集群通信连接；所述EDS集群需保证存储节点管理IP与EDS集群IP均在同一网段。作为本发明的优选实施方式,具体的,所述存储外网与所述存储私网通过链路聚合或无链路聚合的方式与所述EDS集群连接。本发明提出为电子卷宗的数据存储系统提供一个组网安全方案,能够在一定程度抵抗业务进行过程中的意外情况,提供了端到端的高可用性,确保业务安全高效的进行。(The invention relates to an electronic volume based distributed storage system, comprising the following: dividing the network types into a management network, a storage private network and a storage external network; connecting the storage external network with the EDS cluster through a stacked storage external network switch in a communication manner; the management network is in communication connection with the EDS cluster through a management switch; connecting the storage private network with the EDS cluster through a stacked storage private network switch in a communication manner; the EDS cluster needs to ensure that the storage node management IP and the EDS cluster IP are in the same network segment. As a preferred embodiment of the present invention, specifically, the storage external network and the storage private network are connected to the EDS cluster in a link aggregation or no link aggregation manner. The invention provides a networking safety scheme for the data storage system of the electronic file, can resist the accident situation in the service process to a certain extent, provides end-to-end high availability and ensures the safe and efficient operation of the service.)
技术领域
本发明涉及电子卷宗相关领域，尤其涉及基于电子卷宗的分布式存储系统。
背景技术
现有的网上办案业务系统往往不够成熟，无法对数据进行安全有效的存储，以保证电子卷宗系统的高效运作。
发明内容
本发明的目的是为了至少解决现有技术的不足之一，提供基于电子卷宗的分布式存储系统。
为了实现上述目的，本发明采用以下的技术方案：
具体的，提出基于电子卷宗的分布式存储系统，包括以下：
协议网关层PGW，用于兼容各种不同的协议；
分布式容量层PhxStore，用于对存储数据进行优化以及完善，基于条带化技术以及数据分布技术，实现存储数据的高并发读写；
存储服务层PhxTire，用于向上对接协议网关层PGW，向下适配容量层PhxStore；
可视化管理层Manager，用于保障分布式存储系统的监控和管理。
进一步，具体的，所述存储服务层PhxTire包括两个存储引擎，
第一引擎PhxKV，用于利用分布式数据库实现了元数据服务的高效化
第二引擎PhxCache，用于利用分布式缓存、小文件合并技术实现高性能的数据读写。
进一步，具体的，所述协议网关层PGW包括三种不同类型的存储接口，每种类型的存储接口都支持标准接口协议，
块存储接口，支持Librbd、iSCSI、SCSI、FC协议；
对象存储接口，支持S3以及swift协议；
文件存储接口，支持NFS、CIFS、SMB、FTP协议。
进一步，所述系统还包括，
访问选择模块，用于在获取数据访问请求时，优先选择接入本分布式存储系统中的存储数据，当本分布式存储系统中的存储数据存在异常时，自动将IP解析至同城灾备数据中心。
进一步，所述分布式存储系统基于以下方式构建，
假定哈希函数H的值空间为[0， ]，其哈希值为32位无符号整形，函数H所形 成的整个哈希空间环的0和在零点中方向重合；
分布式存储系统中的各个服务器均分哈希环，并确定各个服务器在哈希环上的位置，将每个服务器作为一个节点并记录位置信息；
在进行数据存储时，将待存储数据的数据key通过函数H计算出哈希值，并确定该哈希值在整个哈希空间环上的位置，从该位置沿顺时针方向转动所遇到的第一台服务器即为存储该数据的服务器；
重复上述过程直到所有待存储数据存储完毕。
进一步，所述分布式存储系统还包括，
备份模块，用于对所述分布式存储系统中已经存储的数据进行备份，并在所述分布式存储系统中已经存储的数据发生异常时，对异常的数据进行恢复；
具体的，所述备份模块所采用的备份方法如下，
将待存储的数据按照预设的转化机制转换为N个原始符号，并额外添加M个符号使总符号数为L，将L个符号遍布存储于L个存储节点中，所述原始符号满足以下规则，L个符号中的N个符号可还原得到待存储的数据。
进一步，所述可视化管理层Manager包括，
预警模块，用于在所述分布式存储系统出现硬件和逻辑资源的健康问题时，进行预警。
进一步，所述分布式存储系统基于构建的方式还包括，
引入虚拟节点，并保证每个虚拟节点对应一个服务器，但每个服务器可以对应多个虚拟节点，所述虚拟节点与所述服务器形成的节点均用于均分哈希环以及存储数据信息。
本发明的有益效果为：
本发明提出为基于电子卷宗的分布式存储系统，以分布式存储的方式对整个系统进行部署，通过协议网关层PGW，用于兼容各种不同的协议；分布式容量层PhxStore，用于对存储数据进行优化以及完善，基于条带化技术以及数据分布技术，实现存储数据的高并发读写；存储服务层PhxTire，用于向上对接协议网关层PGW，向下适配容量层PhxStore；可视化管理层Manager，用于保障分布式存储系统的监控和管理，之间相互配合，实现电子卷宗数据的安全存储，并在电子卷宗数据出现异常时，依靠预先建立的备份数据对电子卷宗数据进行快速恢复，以保障分布式存储系统的高效运行。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为本发明基于电子卷宗的组网安全系统的结构示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
参照图1，实施例1，本发明提出基于电子卷宗的分布式存储系统，包括以下：
协议网关层PGW，用于兼容各种不同的协议；
分布式容量层PhxStore，用于对存储数据进行优化以及完善，基于条带化技术以及数据分布技术，实现存储数据的高并发读写；
存储服务层PhxTire，用于向上对接协议网关层PGW，向下适配容量层PhxStore；
可视化管理层Manager，用于保障分布式存储系统的监控和管理。
本实施方式提出，
1）协议网关层（PGW）
协议网关层主要负责存储协议的适配转换，支持iSCSI、NFS、SMB、S3、HDFS等，同时为了实现协议访问的可靠性和连续性，EDS自动将不同存储节点的协议网关层组建集群，基于集群统一调度保证数据访问高可用。
2）存储服务层（PhxTire）
PhxTire是基于自研分布式编程框架SRAFT开发的高性能分布式分层存储系统，它作为EDS的中间件，向上对接协议网关层，向下适配容量层PhxStore。PhxTire构建了两个存储引擎PhxKV和PhxCache，其中PhxKV利用分布式数据库实现了元数据服务的高效化，PhxCache利用分布式缓存、小文件合并等技术实现了数据读写的高性能。
3）分布式容量层(PhxStore)
PhxStore作为容量层，最重要的是保障数据可靠性和最大程度发挥硬盘性能。在数据可靠性方面，EDS针对开源纠删码进行大量优化和功能完善，使其能够满足生产环境要求，在发挥硬盘性能方面，EDS利用条带化技术和数据分布技术，使其实现了高并发数据读写，保障了存储系统的读写性能。
4）可视化管理层
Manager管理层，其保障存储系统的监控和管理。在监控层面，EDS利用可视化技术将硬件和逻辑资源的健康状况实时展示，可实现故障即预警处理。在管理上，EDS利用逻辑向导，针对扩容、配置等都进行一定程度的简化和自动化。轻松几步即可实现相应的操作。
能够实现电子卷宗数据的安全存储，并在电子卷宗数据出现异常时，依靠预先建立的备份数据对电子卷宗数据进行快速恢复，以保障分布式存储系统的高效运行。
作为本发明的优选实施方式，具体的，所述存储服务层PhxTire包括两个存储引擎，
第一引擎PhxKV，用于利用分布式数据库实现了元数据服务的高效化
第二引擎PhxCache，用于利用分布式缓存、小文件合并技术实现高性能的数据读写。
作为本发明的优选实施方式，具体的，所述协议网关层PGW包括三种不同类型的存储接口，每种类型的存储接口都支持标准接口协议，
块存储接口，支持Librbd、iSCSI、SCSI、FC协议；
对象存储接口，支持S3以及swift协议；
文件存储接口，支持NFS、CIFS、SMB、FTP协议。
作为本发明的优选实施方式，所述系统还包括，
访问选择模块，用于在获取数据访问请求时，优先选择接入本分布式存储系统中的存储数据，当本分布式存储系统中的存储数据存在异常时，自动将IP解析至同城灾备数据中心。
作为本发明的优选实施方式，所述分布式存储系统基于以下方式构建，
假定哈希函数H的值空间为[0，]，其哈希值为32位无符号整形，函数H所形 成的整个哈希空间环的0和在零点中方向重合；
分布式存储系统中的各个服务器均分哈希环，并确定各个服务器在哈希环上的位置，将每个服务器作为一个节点并记录位置信息；
在进行数据存储时，将待存储数据的数据key通过函数H计算出哈希值，并确定该哈希值在整个哈希空间环上的位置，从该位置沿顺时针方向转动所遇到的第一台服务器即为存储该数据的服务器；
重复上述过程直到所有待存储数据存储完毕。
作为本发明的优选实施方式，所述分布式存储系统还包括，
备份模块，用于对所述分布式存储系统中已经存储的数据进行备份，并在所述分布式存储系统中已经存储的数据发生异常时，对异常的数据进行恢复；
具体的，所述备份模块所采用的备份方法如下，
将待存储的数据按照预设的转化机制转换为N个原始符号，并额外添加M个符号使总符号数为L，将L个符号遍布存储于L个存储节点中，所述原始符号满足以下规则，L个符号中的N个符号可还原得到待存储的数据。
作为本发明的优选实施方式，所述可视化管理层Manager包括，
预警模块，用于在所述分布式存储系统出现硬件和逻辑资源的健康问题时，进行预警。
作为本发明的优选实施方式，所述分布式存储系统基于构建的方式还包括，
引入虚拟节点，并保证每个虚拟节点对应一个服务器，但每个服务器可以对应多个虚拟节点，所述虚拟节点与所述服务器形成的节点均用于均分哈希环以及存储数据信息。
将圆环划分成了M等分，若加入服务器对应的节点为N个，则每个服务器对应的节点拥有V=M/N个节点数。当有服务器对应的节点离线时，由于该节点对应的节点均匀的分布在环上，其附近的节点会均匀地分担这个节点的原有负载，当有新节点加入时，同理，其他节点的负担也将均匀转移到其上。此外依据服务器对应的节点的实际性能为权值分配环上的虚拟节点数目给服务器对应的节点，也解决了存储节点性能差异的问题。
为解决数据迁移带来的效率降低问题，可以将新增节点完成的数据迁移分布在每一次的查询任务中去，相当于每一次查询都可以迁移一小部分数据，此外，还可以在系统闲暇时间进行数据迁移，这样可以有效地提高效率。
架构说明：
1，底层存储采用X86服务器加分布式存储技术，并利用服务器本地磁盘实现数百PB 级大规模存储集群。
2，分布式对象存储支持在跨地域场景下面向电子卷宗、审判流程管理系统等展现统一名字空间，以及支持业务实现就近访问，数据汇聚和容灾的需求。
3，同城采用跨数据中心容灾部署，主备数据中心均保存全量数据存储，当生产数据中的底层存储故障后，结合智能DNS组件实时切换到同城灾备数据中心中运行。
4，因网络条件因素，各地区数据中心部分比较重要的卷宗文件可以按需汇聚到同城灾备数据中心。
5各地区到数据中心的网络资源昂贵，带宽有限，分布式对象存储系统提供基于流量、时间段等QOS控制策略。
6，本项目规划对象存储是一个完全去中心化，适合海量文件和大容量存储能力的分布式对象存储系统，完全可以实现以下功能：
支持大容量硬盘；
支持分布式的元数据架构存储；
支持海量文件存储；
支持7*24小时的业务连续性，支持在线升级，扩容等变更不对业务造成影响；
支持文件多版本、CDP和快速回滚，实现非结构化数据免备份，解决磁带库备份性能差和调取慢的问题；
支持全界面化的存储运维和运营
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。