一种磁盘空间分配方法、系统、存储介质及设备

文档序号:189812 发布日期:2021-11-02 浏览:9次 >En<

阅读说明:本技术 一种磁盘空间分配方法、系统、存储介质及设备 (Disk space allocation method, system, storage medium and equipment ) 是由 赵慧慧 于 2021-06-30 设计创作,主要内容包括:本发明提供了一种磁盘空间分配方法、系统、存储介质及设备,方法包括:获取存储集群的多个模块的名称,并基于各模块的名称获取各自的预设分配比例;响应于获取到数据存储模块的名称及其预设分配比例,根据数据存储模块的服务场景判断其是否需要高速数据池;响应于数据存储模块需要高速数据池,获取高速数据池的预设分配比例;响应于获取到其他模块的名称及其预设分配比例,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例;基于获取的高速数据池及其他模块该级别对应的预设分配比例分配磁盘空间。本发明对存储集群中的存储资源综合分配,对磁盘资源的部署提供有效支撑,达到了充分利用磁盘资源以及提高存储系统性能的目的。(The invention provides a disk space allocation method, a system, a storage medium and a device, wherein the method comprises the following steps: the method comprises the steps of obtaining names of a plurality of modules of a storage cluster, and obtaining respective preset distribution proportion based on the names of the modules; in response to the acquired name of the data storage module and the preset allocation proportion thereof, judging whether the data storage module needs a high-speed data pool according to the service scene of the data storage module; responding to the data storage module needing the high-speed data pool, and acquiring a preset allocation proportion of the high-speed data pool; in response to the acquired names of other modules and preset allocation proportions thereof, selecting corresponding levels according to the use scenes of the other modules and acquiring the preset allocation proportions corresponding to the levels; and allocating the disk space based on the acquired preset allocation proportion corresponding to the level of the high-speed data pool and other modules. The invention comprehensively distributes the storage resources in the storage cluster, provides effective support for the deployment of the disk resources, and achieves the purposes of fully utilizing the disk resources and improving the performance of the storage system.)

一种磁盘空间分配方法、系统、存储介质及设备

技术领域

本发明涉及存储技术领域,尤其涉及一种磁盘空间分配方法、系统、存储介质及设备。

背景技术

分布式存储目前被广泛应用的存储技术。分布式存储是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

在目前的分布式存储部署过程中,因为存储集群中各节点的高速磁盘资源有限,因而需要部署人员人工划分各个高速磁盘分区,然后将各高速磁盘分区分配给需要使用高速资源的部分来使用。但存储系统的使用场景各有不同,高速磁盘的具体划分方案往往是部署过程中难以确定的一项工作。目前主要是提供几种固定的划分方案,并根据存储系统的主要使用场景来选择划分,为存储系统的管理带来较大不便。

发明内容

有鉴于此,本发明的目的在于提出一种磁盘空间分配方法、系统、存储介质及设备,用以解决现有技术中存储集群部署过程中磁盘资源管理不当的问题。

基于上述目的,本发明提供了一种磁盘空间分配方法,包括以下步骤:

获取存储集群的多个模块的名称,并基于各模块的名称获取各自的预设分配比例;

响应于获取到数据存储模块的名称及其预设分配比例,根据数据存储模块的服务场景判断其是否需要高速数据池;

响应于数据存储模块需要高速数据池,获取高速数据池的预设分配比例;

响应于获取到其他模块的名称及其预设分配比例,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例;

基于获取的高速数据池及其他模块的该级别对应的预设分配比例分配磁盘空间。

在一些实施例中,根据数据存储模块的服务场景判断其是否需要高速数据池包括:

判断数据存储模块的服务场景针对于文件存储、对象存储还是块存储;

响应于数据存储模块的服务场景针对于文件存储或对象存储,确认数据存储模块需要高速数据池;

响应于数据存储模块的服务场景针对于块存储,确认数据存储模块不需要高速数据池。

在一些实施例中,其他模块包括监控模块和/或数据缓存模块和/或日志模块。

在一些实施例中,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例包括:

判断监控模块的应用场景属于大数据、虚拟化还是云计算;

基于判断结果选择相应的级别并获取对应的预设分配比例。

在一些实施例中,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例还包括:

判断数据缓存模块的数据媒体类型属于文本、图片、音频还是视频;

基于判断结果选择相应的级别并获取对应的预设分配比例。

在一些实施例中,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例还包括:

根据日志模块记录的数据量所属的预设数据量级别获取对应的预设分配比例。

在一些实施例中,基于获取的高速数据池及其他模块的该级别对应的预设分配比例分配磁盘空间包括:

基于获取的高速数据池及其他模块的该级别对应的预设分配比例对转速超过预设阈值的磁盘的磁盘空间进行分配。

本发明的另一方面,还提供了一种磁盘空间分配系统,包括:

第一获取模块,配置用于获取存储集群的多个模块的名称,并基于各模块的名称获取各自的预设分配比例;

判断模块,配置用于响应于获取到数据存储模块的名称及其预设分配比例,根据数据存储模块的服务场景判断其是否需要高速数据池;

第二获取模块,配置用于响应于数据存储模块需要高速数据池,获取高速数据池的预设分配比例;

第三获取模块,配置用于响应于获取到其他模块的名称及其预设分配比例,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例;以及

磁盘空间分配模块,配置用于基于获取的高速数据池及其他模块的该级别对应的预设分配比例分配磁盘空间。

本发明的又一方面,还提供了一种计算机可读存储介质,存储有计算机程序指令,该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果:

本发明通过预先设置存储集群中具有管理功能的多个模块,并为各模块提前设置了磁盘空间的分配比例,通过各模块的不同应用场景从而选择相应的预设分配比例,以对存储集群中的存储资源进行综合分配及管理,从而对磁盘资源的部署工作提供有效支撑,进一步达到了充分利用磁盘资源以及提高存储系统读写性能的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的磁盘空间分配方法的示意图;

图2为根据本发明实施例提供的磁盘空间分配系统的示意图;

图3为根据本发明实施例提供的实现磁盘空间分配方法的计算机可读存储介质的示意图;

图4为根据本发明实施例提供的执行磁盘空间分配方法的计算机设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。

需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的,本发明实施例的第一个方面,提出了一种磁盘空间分配方法的实施例。图1示出的是本发明提供的磁盘空间分配方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:

步骤S10、获取存储集群的多个模块的名称,并基于各模块的名称获取各自的预设分配比例;

步骤S20、响应于获取到数据存储模块的名称及其预设分配比例,根据数据存储模块的服务场景判断其是否需要高速数据池;

步骤S30、响应于数据存储模块需要高速数据池,获取高速数据池的预设分配比例;

步骤S40、响应于获取到其他模块的名称及其预设分配比例,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例;

步骤S50、基于获取的高速数据池及其他模块的该级别对应的预设分配比例分配磁盘空间。

本发明实施例主要应用于分布式存储集群,其采用集群存储的方式构建存储系统。集群存储方式是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率,数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。

在存储集群中,磁盘资源除了应用于用户存储数据之外,还可以应用于存储系统的管理方面。本发明实施例通过预先设置存储集群中具有管理功能的多个模块,并为各模块提前设置了磁盘空间的分配比例,通过各模块的不同应用场景从而选择相应的预设分配比例,以对存储集群中的存储资源进行综合分配及管理,从而对磁盘资源的部署工作提供有效支撑,进一步达到了充分利用磁盘资源以及提高存储系统读写性能的目的。

在一些实施例中,根据数据存储模块的服务场景判断其是否需要高速数据池包括:判断数据存储模块的服务场景针对于文件存储、对象存储还是块存储;响应于数据存储模块的服务场景针对于文件存储或对象存储,确认数据存储模块需要高速数据池;响应于数据存储模块的服务场景针对于块存储,确认数据存储模块不需要高速数据池。

本实施例中,文件存储和对象存储需要写元数据,元数据写在高速数据池中可以提高存储效率。块存储不需要高速数据池。

块存储的数据都存储在固定长度的块或多个块中,块存储适用于企业存储环境,并且通常使用光纤通道或iSCSI接口,块存储要求一个应用去映射存储设备上存储数据块的位置。块存储在存储区域网和软件定义存储系统中是虚拟的,它是处于一个共享的硬件基础设施上的抽象逻辑设备,其创建和存在于服务器、虚拟服务器、或运行在基于像SCSI、SATA等协议的系统管理程序上。块存储将单个的存储卷(如一个虚拟或云存储节点、或一个老式硬盘)分割成单独的被称为块的实体。每个块独立存在,并且能够用它自己的数据传输协议和操作系统格式化。由于块存储系统并不负责像文件存储系统那样的文件查找职责,所以,块存储是一个非常快的存储系统。

文件存储使用一个文件系统去映射存储设备上数据的存储位置。它需要做两件事情:组织数据并呈现给用户。使用文件存储时,数据在服务器侧的存储方式与客户端用户所看到的是完全相同的。这就允许用户通过一些唯一标识符(像文件名、位置、或URL)去请求一个文件,使用特定的数据传输协议与存储系统沟通。其结果就是一种能够从上到下进行浏览的分层的文件结构。文件存储处于块存储之上,允许用户去查看和访问文件、文件夹这样的数据,但是被限制访问处于这些文件和文件夹之下的数据块。文件存储一般用于像NFS和CIFS/SMB这种很多服务器基于IP网络进行访问的共享文件系统上。

对象存储为非结构化数据提供一个仓库,它将内容从索引中分离出来,并允许多个文件连接到一个对象上。一个对象就是与任何相关元数据配对的一个数据块,这些元数据提供对象中包含的字节的上下文(比如数据创建时间和数据大小等)。也就是说数据和元数据构成了一个对象。对象存储的一个好处是每个数据块都关联了一个唯一标识符。访问数据需要唯一标识符,并且不需要应用程序或用户知道数据的真实存储位置。对象数据是通过API来访问的。对象中存储的数据是没有压缩和加密的,对象本身被组织在对象存储(一个填满其它对象的中心库)中或容器(包含应用程序运行所需要的所有文件的一个包)中。与文件存储系统的层次结构相比,对象、对象存储和容器在本质上是平面的,这使得它们在存储规模巨大时访问速度很快。

在一些实施例中,其他模块包括监控模块和/或数据缓存模块和/或日志模块。

在一些实施例中,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例包括:判断监控模块的应用场景属于大数据、虚拟化还是云计算;基于判断结果选择相应的级别并获取对应的预设分配比例。

本实施例中,大数据应用场景使用的是大数据技术,大数据技术为一种大规模数据的管理和利用的商业模式和技术平台,负责解决所有数据类型的采集、分类、处理、分析和展现等多个方面的需求。想要实现对大数据的采集、分类、分析、展现等各方面的处理需求,依赖于硬件扩充来提升性能,是非常有限的。此时,可以使用云计算。云计算帮助大数据平台降低复杂性,简化运维,提升资源活性和利用效率。云计算通过基于网络的服务交付,将硬件等基础架构融合为无形的IT资源,并借助负载均衡、分布式计算、并行计算、虚拟化、网络存储和统一管理等技术手段,实现IT服务的无缝化、定制化和伸缩性交付。云计算和大数据一样,都有基于分布式计算的应用。不过,大数据更多的是需要有集群带来的高性能计算和存储扩展(横向和纵向)。借助云计算的分布式系统和虚拟化灵活调配资源,可以帮助大数据的各项分析、处理、挖掘提供高效灵活的IT服务支撑,满足用户个性化/定制化大数据挖掘、分析需求。虚拟化技术与云计算技术具有较强的相关性,云计算技术依赖于虚拟化技术,把各种资源虚拟出来和硬件解耦以方便管理。

在一些实施例中,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例还包括:判断数据缓存模块的数据媒体类型属于文本、图片、音频还是视频;基于判断结果选择相应的级别并获取对应的预设分配比例。

本实施例中,文本、图片、音频、视频这四种媒体类型所使用的磁盘空间依次增多,因而对应级别的预设分配比例也依次增加。

在一些实施例中,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例还包括:根据日志模块记录的数据量所属的预设数据量级别获取对应的预设分配比例。

本实施例中,数据量级别包括百万级、千万级、亿级。百万级数据量指的是数据库每秒钟处理事务的能力,即每秒钟能处理百万条增删改的数据记录。

在一些实施例中,基于获取的高速数据池及其他模块的该级别对应的预设分配比例分配磁盘空间包括:基于获取的高速数据池及其他模块的该级别对应的预设分配比例对转速超过预设阈值的磁盘的磁盘空间进行分配。

本实施例中,对磁盘空间进行分配具体是指对高速磁盘的磁盘空间进行分配。对转速超过预设阈值的磁盘设定为高速磁盘,预设阈值可以是5400rpm、7200rpm(转/每分钟)或者其他转速值。磁盘的转速是磁盘内电机主轴的旋转速度,也就是磁盘盘片在一分钟内所能完成的最大转数。转速的快慢是标示磁盘档次的重要参数之一,它是决定硬盘内部传输率的关键因素之一,在很大程度上直接影响到磁盘的速度。上述实施例中数据存储模块的高速数据池、监控模块、数据缓存模块及日志模块都需要高速磁盘,从而使存储集群的高性能资源得到有效利用,进一步提高对存储集群的管理性能。

本发明实施例的第二个方面,还提供了一种磁盘空间分配系统。图2示出的是本发明提供的磁盘空间分配系统的实施例的示意图。如图2所示,一种磁盘空间分配系统包括:第一获取模块10,配置用于获取存储集群的多个模块的名称,并基于各模块的名称获取各自的预设分配比例;判断模块20,配置用于响应于获取到数据存储模块的名称及其预设分配比例,根据数据存储模块的服务场景判断其是否需要高速数据池;第二获取模块30,配置用于响应于数据存储模块需要高速数据池,获取高速数据池的预设分配比例;第三获取模块40,配置用于响应于获取到其他模块的名称及其预设分配比例,根据其他模块的使用场景选择相应的级别并获取该级别对应的预设分配比例;以及磁盘空间分配模块50,配置用于基于获取的高速数据池及其他模块的该级别对应的预设分配比例分配磁盘空间。

本发明实施例的磁盘空间分配系统,通过预先设置存储集群中具有管理功能的多个模块,并为各模块提前设置了磁盘空间的分配比例,通过各模块的不同应用场景从而选择相应的预设分配比例,以对存储集群中的存储资源进行综合分配,从而对磁盘资源的部署工作提供有效支撑,进一步达到了充分利用磁盘资源以及提高存储系统读写性能的目的。

在一些实施例中,判断模块20包括高速数据池判断模块,配置用于判断数据存储模块的服务场景针对于文件存储、对象存储还是块存储;响应于数据存储模块的服务场景针对于文件存储或对象存储,确认数据存储模块需要高速数据池;响应于数据存储模块的服务场景针对于块存储,确认数据存储模块不需要高速数据池。

在一些实施例中,其他模块包括监控模块和/或数据缓存模块和/或日志模块。

第三获取模块40包括监控模块判断模块,配置用于判断监控模块的应用场景属于大数据、虚拟化还是云计算;基于判断结果选择相应的级别并获取对应的预设分配比例。

在一些实施例中,第三获取模块40还包括数据缓存模块判断模块,配置用于判断数据缓存模块的数据媒体类型属于文本、图片、音频还是视频;基于判断结果选择相应的级别并获取对应的预设分配比例。

在一些实施例中,第三获取模块40还包括日志模块判断模块,配置用于根据日志模块记录的数据量所属的预设数据量级别获取对应的预设分配比例。

在一些实施例中,磁盘空间分配模块50进一步配置用于基于获取的高速数据池及其他模块的该级别对应的预设分配比例对转速超过预设阈值的磁盘的磁盘空间进行分配。

本发明实施例的第三个方面,还提供了一种计算机可读存储介质,图3示出了根据本发明实施例提供的实现磁盘空间分配方法的计算机可读存储介质的示意图。如图3所示,计算机可读存储介质3存储有计算机程序指令31,该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。

应当理解,在相互不冲突的情况下,以上针对根据本发明的磁盘空间分配方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的磁盘空间分配系统和存储介质。

本发明实施例的第四个方面,还提供了一种计算机设备,包括存储器402和处理器401,该存储器中存储有计算机程序,该计算机程序被该处理器执行时实现上述任意一项实施例的方法。

如图4所示,为本发明提供的执行磁盘空间分配方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例,在该计算机设备中包括一个处理器401以及一个存储器402,并还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息,以及产生与磁盘空间分配系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的磁盘空间分配方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储磁盘空间分配方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的磁盘空间分配方法。

最后需要说明的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。

应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。

所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。

14页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种队列调度方法、系统、设备以及介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类