一种针对超融合架构的存储空间优化方法及系统
阅读说明：本技术 一种针对超融合架构的存储空间优化方法及系统 (Storage space optimization method and system for super-fusion architecture ) 是由 赵井达 马亮 张辉 郎铁山 于 2020-11-23 设计创作，主要内容包括：本发明提供了一种针对超融合架构的存储空间优化方法及系统,将超融合架构内不同物理主机的存储目录组成存储池,将存储池抽象成存储域为虚机,针对不同的物理主机分散配置有相应物理存储块；构建虚拟数据层,接收写请求,将写请求的数据临时写入配置的物理存储块；获取写入数据的物理存储块签名,比较签名,若发现有相同签名的物理存储块,进行数据的逐字节比较,以验证它们是否真正相同；如果相同,指向已有的对应的物理存储块,并释放临时分配的物理存储块；如果不同,对分配的物理存储块写入请求数据,进行数据压缩,对已有新存入数据的物理存储块进行合并和打包。本发明能够显著提高存储空间的利用率。(The invention provides a storage space optimization method and a system aiming at a super-fusion framework, wherein storage directories of different physical hosts in the super-fusion framework form a storage pool, the storage pool is abstracted into a storage domain which is a virtual machine, and corresponding physical storage blocks are dispersedly configured aiming at the different physical hosts; constructing a virtual data layer, receiving a write request, and temporarily writing data of the write request into a configured physical storage block; acquiring the signature of a physical storage block written in data, comparing the signatures, and if the physical storage blocks with the same signature are found, comparing the data byte by byte to verify whether the physical storage blocks are really the same; if the two physical storage blocks are the same, pointing to the existing corresponding physical storage block, and releasing the temporarily allocated physical storage block; and if the data is different, writing the request data into the distributed physical storage blocks, performing data compression, and merging and packaging the physical storage blocks which have newly stored data. The invention can obviously improve the utilization rate of the storage space.)
技术领域
本发明属于存储空间优化技术领域，具体涉及一种针对超融合架构的存储空间优化方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着超融合架构的成熟以及在生产环境中逐步的得到应用，对超融合架构中数据存储空间的要求也逐渐显现，超融合架构是基于分布式存储技术，分布式存储是将多台主机上的本地存储磁盘组成一个逻辑的存储池，基于对超融合数据安全性、可靠性的要求，存储池中的数据通常采用多副本存放，这样实际的有效存储空间则为副本数分之一，造成了存储空间的浪费。
据发明人了解，目前没有专门针对超融合架构的存储空间优化方法，但是有应用于存储设备的数据重删方法，例如在存储设备上记录每个数据块的指纹，每次读写进行比较，重复的数据则不再写入，返回相同的地址空间。这种方式只考虑的存储端的处理，不能直接提供文件系统的支持，适用于传统存储方式，不适用于超融合架构的数据存储；且由于每次数据块的读写都要进行比对，所以非常影响效率。
发明内容
本发明为了解决上述问题，提出了一种针对超融合架构的存储空间优化方法及系统，本发明能够有效解决超融合架构中由于多副本导致有效数据存储空间减少的问题。
根据一些实施例，本发明采用如下技术方案：
一种针对超融合架构的存储空间优化方法，包括以下步骤：
将超融合架构内不同物理主机的存储目录组成存储池，将存储池抽象成存储域为虚机，针对不同的物理主机分散配置有相应物理存储块；
构建虚拟数据层，接收写请求，将写请求的数据临时写入配置的物理存储块；
获取写入数据的物理存储块签名，比较签名，若发现有相同签名的物理存储块，进行数据的逐字节比较，以验证它们是否真正相同；
如果相同，指向已有的对应的物理存储块，并释放临时分配的物理存储块；
如果不同，对分配的物理存储块写入请求数据，进行数据压缩，对已有新存入数据的物理存储块进行合并和打包。
作为可选择的实施方式，所述超融合架构内至少布设有三台物理主机，每台物理主机上具有一定数量的物理磁盘，作为物理存储块。
作为可选择的实施方式，所述虚拟数据层将每个物理存储块存储的内容进行标记，构建索引信息，并保存所述索引信息。
作为可选择的实施方式，接收写请求后，采用异步的模式，先回复和确认写请求，同时进入写数据处理过程。
作为可选择的实施方式，比较签名的具体过程包括，对请求写入的数据，利用哈希算法计算消息认证码，作为签名，对比已有的物理存储块的签名是否与新请求的数据块的签名一致。
作为可选择的实施方式，进行数据的逐字节比较的具体过程包括：判断请求内数据的索引信息是否与已存入数据的物理存储块的索引信息相同，如果相同，则认为内容一致。
作为可选择的实施方式，对分配的物理存储块写入请求数据的具体过程包括：不存在相同的数据块，表示该次的写数据请求是新数据的写入，原物理存储块中不存在相同的数据，将之前临时分配的物理存储块执行持久化操作，对新数据进行保存。
一种针对超融合架构的存储空间优化系统，包括：
虚机构建模块，被配置为将超融合架构内不同物理主机的存储目录组成存储池，将存储池抽象成存储域为虚机，针对不同的物理主机分散配置有相应物理存储块；
虚拟数据层构建模块，被配置为构建虚拟数据层，接收写请求，将写请求的数据临时写入配置的物理存储块；
比较模块，被配置为获取写入数据的物理存储块签名，比较签名，若发现有相同签名的物理存储块，进行数据的逐字节比较，以验证它们是否真正相同；
执行模块，被配置为如果比较结果相同，指向已有的对应的物理存储块，并释放临时分配的物理存储块；如果比较结果不同，对分配的物理存储块写入请求数据，进行数据压缩，对已有新存入数据的物理存储块进行合并和打包。
一种针对超融合架构的存储空间优化系统，包括：
虚机，用于发起写请求；
虚拟化层，用于将存储池抽象成存储域为虚机提供虚拟磁盘的存储使用；
分布式文件系统，用于连接物理主机，多台物理主机上的存储目录组成一个存储池；
多个物理主机，每个物理主机包括多个物理存储块，各个物理存储块构成冗余独立磁盘阵列后，通过逻辑卷管理器对各物理存储块进行管理，在冗余独立磁盘阵列和逻辑卷管理器之间，配置有虚拟数据层，用于接收写请求，并确定一个新数据请求是否与以前已经存在的数据相同，如果相同，删除重复数据，否则保存新数据并进行压缩。
作为可选择的实施方式，虚拟数据层包含内核索引模块和内核处理模块，内核索引模块，用于记录每个数据块的索引信息，被配置为获取写入数据的物理存储块签名，比较签名，若发现有相同签名的物理存储块，进行数据的逐字节比较，以验证它们是否真正相同；所述内核处理模块，用于提供数据块重复数据的删除服务和数据块的压缩服务，被配置为如果比较结果相同，指向已有的对应的物理存储块，并释放临时分配的物理存储块；如果比较结果不同，对分配的物理存储块写入请求数据，进行数据压缩，对已有新存入数据的物理存储块进行合并和打包。
与现有技术相比，本发明的有益效果为：
本发明在超融合架构中增加一个虚拟数据层，用于对数据进行优化，根据写入数据的情况，根据索引信息能够快速的确定一个新数据请求是否与以前已经存在的数据相同，再提供物理存储块重复数据的删除服务或压缩服务，能够成倍提升有效存储空间的利用率。
本发明在内核处理模块进行数据去重操作时，采用异步模式，进一步提高效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为优化后的系统结构图；
图2位数据优化处理流程。
具体实施方式
：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
应用于超融合架构的数据优化系统，适用的融合架构中包含至少三台物理主机，每台物理主机上具有一定数量的物理磁盘，超融合架构的存储由每台物理主机上的物理磁盘(可以简称为数据块活物理存储块)组成。
如图1所示，物理主机上的多块物理磁盘组成Raid后通过LVM进行块的管理，在LVM上构建G l usterFS分布式文件系统，G l usterFS将多台物理主机上的存储目录组成一个存储池，虚拟化层将这个存储池抽象成存储域为虚机提供虚拟磁盘的存储使用。
每个虚机的数据以最少三副本存放在上述存储中，且分散位于三个不同的物理主机上。
在Raid和LVM之间增加一个虚拟数据层，这个虚拟数据层包含两个内核模块：内核索引模块和内核处理模块，其中内核索引模块记录每个数据块的索引信息，通过内核索引模块能够快速的确定一个新数据请求是否与以前已经存在的数据相同。其中内核处理模块提供数据块重复数据的删除服务和数据块的压缩服务，它工作于内核的块接口和实际的存储设备驱动程序之间。
如图2所示，具体过程包括：
虚机发起数据的写请求后，由虚拟数据层的内核处理模块接收到，采用异步的模式，先回复和确认写请求，同时进入写数据处理过程；
根据收到的写请求数据情况，分配相应的物理存储块，将这些数据临时写入到数据块中；
对这些数据进行计算并获得基于MurmurHash-3算法的签名，用于执行后续的重复数据删除操作；
将得到的签名信息提供给内核索引模块，内核索引模块对签名进行比较，如果发现有相同签名的数据块，则对这两个数据块进行数据的逐字节比较，以验证它们是否真正相同；
确认两个数据块真正相同后，将上层逻辑块指向已有的对应的数据块，并将上述分配的临时的数据块释放，这样就完成了重复数据的删除操作；
如果经过签名的比较，不存在相同的数据块，则意味着这次的写数据请求是新数据的写入，原数据块中不存在相同的数据，则执行将之前临时分配的数据块持久化的操作，对新数据进行保存；
得到新的数据块数据后即启动数据的压缩过程，内核处理模块基于并行的压缩算法，对已有的多个新的数据块进行合并和打包。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种固态硬盘的垃圾回收处理方法及系统