一种存储系统容量统计方法、装置、存储介质及设备
阅读说明：本技术 一种存储系统容量统计方法、装置、存储介质及设备 (Storage system capacity statistical method, device, storage medium and equipment ) 是由 刚亚州 于 2021-09-10 设计创作，主要内容包括：本发明提供了一种存储系统容量统计方法、装置、存储介质及设备,方法包括：若存储系统的存储卷接收到写请求,将相应的数据写入存储池以得到PBA,并将PBA以及与该数据对应的LBA分别组成第一键值对和第二键值对,并发送至元数据管理模块；由其向第一B+树发送插入第一键值对的第一插入请求,且向第二B+树发送插入第二键值对的第二插入请求；判断第一B+树中是否存在第一键值对的LBA；若不存在,将第一键值对插入第一B+树,并将第一关键数加一以统计存储卷的容量增加一个粒度；判断第二B+树中是否存在第二键值对的PBA；若不存在,将第二键值对插入第二B+树,并将第二关键数加一以统计存储池的容量增加一个粒度。本发明可以精确统计出存储卷和存储池的容量。(The invention provides a method, a device, a storage medium and equipment for counting the capacity of a storage system, wherein the method comprises the following steps: if a storage volume of the storage system receives a write request, writing corresponding data into a storage pool to obtain a PBA, respectively forming the PBA and the LBA corresponding to the data into a first key value pair and a second key value pair, and sending the first key value pair and the second key value pair to a metadata management module; sending, by the first B + tree, a first insert request to insert the first key-value pair and sending, by the second B + tree, a second insert request to insert the second key-value pair; judging whether the first B + tree has the LBA of the first key value pair; if the first key value pair does not exist, inserting the first key value pair into the first B + tree, and adding one to the first key number to count the capacity of the storage volume to increase one granularity; judging whether the PBA of the second key value pair exists in the second B + tree or not; if not, a second key-value pair is inserted into the second B + tree, and the second key-value pair is added by one to count the capacity of the storage pool increased by one granularity. The invention can accurately count the capacity of the storage volume and the storage pool.)
技术领域
本发明涉及存储技术领域，尤其涉及一种存储系统容量统计方法、装置、存储介质及设备。
背景技术
元数据(Mete data)是指描述数据的数据(data about data)，可以理解为比一般意义的数据范畴更加广泛的数据，不仅仅是表示数据的类型、名称、值等信息，也进一步提供了数据的上下文信息，比如数据所属域、数据来源等等。在数据存储系统中，元数据是信息存储的基础，是数据的最小单元。近年来，随着信息技术的发展，产生了海量的数据，但是如何有效地管理和组织这些海量数据已经成为一个突出的问题。对于存储的大量数据，查询分析其中的数据内容和数据含义，才能更加有效的利用数据。在存储系统中，元数据的高效组织和管理是解决这一问题的有效手段，能支持系统对数据的管理和维护。因此，只有有效地管理元数据，数据才变得更有价值。
全闪存存储是以全闪存阵列为基础的储存系统，是完全由固态存储介质构成的独立的存储阵列或设备，与传统硬盘存储的主要区别在于性能更高，处理数据更快、更稳定。在全闪存存储中，元数据管理至关重要，元数据管理主要管理L-P（LBA→PBA）映射以及P-L（PBA→LBA）映射关系，其中，LBA（Logical Block Address）表示逻辑区块地址，PBA（Physical Block Address）表示物理区块地址。
在一般存储系统中存储卷使用容量和存储池使用容量的统计都是基于Block（块元素）为基本单位计算的，一个Block块大小都在百兆以上，根据Block块的使用数量计算统计卷和池容量，这样的统计方式存在的问题是统计的不够精确，在全闪存存储系统中不能满足要求。
发明内容
有鉴于此，本发明的目的在于提出一种存储系统容量统计方法、装置、存储介质及设备，用以解决现有技术中在全闪存存储系统中对存储卷和存储池没有精确的统计方法的问题。
基于上述目的，本发明提供了一种存储系统容量统计方法，包括以下步骤：
响应于存储系统的存储卷接收到写请求，将写请求对应的数据写入存储系统的存储池以得到该数据对应的存储池的PBA，并将PBA以及与该数据对应的存储卷的LBA分别组成由LBA指向PBA的第一键值对和由PBA指向LBA的第二键值对，且将第一键值对和第二键值对发送至元数据管理模块；
响应于元数据管理模块接收到第一键值对和第二键值对，向第一B+树发送插入第一键值对的第一插入请求，且向第二B+树发送插入第二键值对的第二插入请求；
响应于第一B+树接收到第一插入请求，基于第一插入请求判断第一B+树中是否存在第一键值对的LBA；
响应于第一B+树中不存在第一键值对的LBA，将第一键值对插入第一B+树，并将第一关键数加一以统计存储卷的容量增加一个粒度；
响应于第二B+树接收到第二插入请求，基于第二插入请求判断第二B+树中是否存在第二键值对的PBA；
响应于第二B+树中不存在第二键值对的PBA，将第二键值对插入第二B+树，并将第二关键数加一以统计存储池的容量增加一个粒度。
在一些实施例中，方法还包括：
响应于第二B+树中已存在第二键值对的PBA，直接将第二键值对插入第二B+树。
在一些实施例中，方法还包括：
响应于第一B+树接收到元数据管理模块发送的删除第一键值对的第一删除请求，基于第一删除请求将待删除的第一键值对从第一B+树中删除，并将第一关键数减一以统计存储卷的容量减少一个粒度。
在一些实施例中，方法还包括：
响应于第二B+树接收到元数据管理模块发送的删除第二键值对的第二删除请求，基于第二删除请求将待删除的第二键值对删除，并确认待删除的第二键值对的PBA对应的其他第二键值对是否已全部删除；
响应于PBA对应的其他第二键值对已全部删除，将第二关键数减一以统计存储池的容量减少一个粒度。
在一些实施例中，方法还包括：
响应于将第二关键数减一以统计存储池的容量减少一个粒度，通过元数据管理模块通知垃圾回收模块对PBA进行垃圾回收。
在一些实施例中，将写请求对应的数据写入存储系统的存储池以得到数据对应的存储池的PBA包括：
通过存储卷将写请求对应的数据写入存储系统的存储池，并响应于写入完成，通过存储池将与数据对应的PBA发送至存储卷。
在一些实施例中，存储系统包括全闪存存储系统，存储卷包括精简卷，存储池包括精简池。
本发明的另一方面，还提供了一种存储系统容量统计装置，包括：
键值对组成模块，配置用于响应于存储系统的存储卷接收到写请求，将写请求对应的数据写入存储系统的存储池以得到数据对应的存储池的PBA，并将PBA以及与数据对应的存储卷的LBA分别组成由LBA指向PBA的第一键值对和由PBA指向LBA的第二键值对，且将第一键值对和第二键值对发送至元数据管理模块；
键值对插入模块，配置用于响应于元数据管理模块接收到第一键值对和第二键值对，向第一B+树发送插入第一键值对的第一插入请求，且向第二B+树发送插入第二键值对的第二插入请求；
第一判断模块，配置用于响应于第一B+树接收到第一插入请求，基于第一插入请求判断第一B+树中是否存在第一键值对的LBA；
第一统计模块，配置用于响应于第一B+树中不存在第一键值对的LBA，将第一键值对插入第一B+树，并将第一关键数加一以统计存储卷的容量增加一个粒度；
第二判断模块，配置用于响应于第二B+树接收到第二插入请求，基于第二插入请求判断第二B+树中是否存在第二键值对的PBA；以及
第二统计模块，配置用于响应于第二B+树中不存在第二键值对的PBA，将第二键值对插入第二B+树，并将第二关键数加一以统计存储池的容量增加一个粒度。
本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任意一项方法。
本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。
本发明至少具有以下有益技术效果：
本发明通过对存储系统元数据使用B+树的数据结构来组织，具有高效的访问效率；通过将B+树中保存的第一键值对和第二键值对与数据的最小粒度相关联，通过第一B+树对LBA的增加的操作记录以及第二B+树对PBA的增加的操作记录，就能分别统计出存储卷当前的使用容量以及存储池的物理使用容量，高效且准确，并且还可以提高访问的并发程度，获得高效的元数据访问。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的存储系统容量统计方法的示意图；
图2为根据本发明实施例提供的存储系统容量统计装置的示意图；
图3为根据本发明实施例提供的实现存储系统容量统计方法的计算机可读存储介质的示意图；
图4为根据本发明实施例提供的执行存储系统容量统计方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的，本发明实施例的第一个方面，提出了一种存储系统容量统计方法的实施例。图1示出的是本发明提供的存储系统容量统计方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
步骤S10、响应于存储系统的存储卷接收到写请求，将写请求对应的数据写入存储系统的存储池以得到该数据对应的存储池的PBA，并将PBA以及与该数据对应的存储卷的LBA分别组成由LBA指向PBA的第一键值对和由PBA指向LBA的第二键值对，且将第一键值对和第二键值对发送至元数据管理模块；
步骤S20、响应于元数据管理模块接收到第一键值对和第二键值对，向第一B+树发送插入第一键值对的第一插入请求，且向第二B+树发送插入第二键值对的第二插入请求；
步骤S30、响应于第一B+树接收到第一插入请求，基于第一插入请求判断第一B+树中是否存在第一键值对的LBA；
步骤S40、响应于第一B+树中不存在第一键值对的LBA，将第一键值对插入第一B+树，并将第一关键数加一以统计存储卷的容量增加一个粒度；
步骤S50、响应于第二B+树接收到第二插入请求，基于第二插入请求判断第二B+树中是否存在第二键值对的PBA；
步骤S60、响应于第二B+树中不存在第二键值对的PBA，将第二键值对插入第二B+树，并将第二关键数加一以统计存储池的容量增加一个粒度。
本实施例中，全闪存元数据的IO（数据输入Input输出Output）流程包括：数据查询请求要查询数据时，先查询元数据，找到LBA→PBA映射关系，首先访问元数据缓存，如果在缓存中查找到对应的元数据，则直接做元数据校验后返回给查询请求，否则去SSD盘（固态硬盘）上访问元数据，然后返给查询请求，最后查询请求去访问PBA对应的数据；可见元数据的访问效率对于数据读写是非常重要的，元数据的组织结构方法对于元数据的访问效率至关重要。为了支持全闪存存储系统内部元数据对象的有效查找，需要有一种先进的索引结构支持，以获得较好的查找性能。
B+树是一种树数据结构，属于多叉平衡树，其特点是能够保持数据稳定有序，其插入与修改拥有较稳定的对数时间复杂度。具体地，B+树索引具有O(logn)的查找时间复杂度和75%的空间使用率（非叶子节点作为索引节点，不作为保存数据的节点）。O(logn)表示当数据增大n倍时，耗时增大logn 倍，这里的log是以2为底的，例如，当数据增大256倍时，耗时只增大8倍。B+树查找是通过根节点然后逐级往下遍历直到叶子节点，因此非叶子节点是查询过程中重要的节点，是最常访问的节点，而且层次越低的节点访问频率越高，尽量将层次越低的非叶子节点保留在内存中。由于涉及到大量且高并发、短时延的数据访问，全闪存存储元数据通常使用B+树的数据结构来组织，元数据是实时更新的，而且表示的粒度更精确，使得存储系统更加高效。因此，综合来看B+树有更好的搜索效率，更适合组织LBA、PBA等元数据对象。
本实施例中，元数据管理模块主要管理LBA→PBA的映射关系（即第一键值对）以及PBA→LBA的映射关系（即第二键值对），其中，LBA（Logical Block Address）表示逻辑区块地址，PBA（Physical Block Address）表示物理区块地址。具体地，第一键值对表示存储卷的逻辑区块地址LBA到存储池的物理区块地址PBA的映射；第二键值对表示存储池的物理区块地址PBA到存储卷的逻辑区块地址LBA的映射；第一B+树包括若干第一键值对，给用户主机读写使用；第二B+树包括若干第二键值对，供垃圾回收查询物理区块地址PBA是否还在使用。
本实施例中，粒度（Grain）表示数据的最小容量单位，写数据时是按照每个粒度容量来写的。
本发明实施例通过对存储系统元数据使用B+树的数据结构来组织，具有高效的访问效率；通过将B+树中保存的第一键值对和第二键值对与数据的最小粒度相关联，通过第一B+树对LBA的增加的操作记录以及第二B+树对PBA的增加的操作记录，就能分别统计出存储卷当前的使用容量以及存储池的物理使用容量，高效且准确，并且还可以提高访问的并发程度，获得高效的元数据访问。
在一些实施例中，方法还包括：响应于第二B+树中已存在第二键值对的PBA，直接将第二键值对插入第二B+树。
本实施例中，当第二B+树中已存在第二键值对的PBA时，将第二键值对插入第二B+树，但并不对第二关键数加一。因为在由存储卷中的数据向存储池写入时，可能出现数据相同的情况，假设有两个相同的数据从存储卷写入存储池，这两个数据对应的LBA不同，但由于映射到存储池上是属于一样的数据，因而这两个数据对应的PBA相同。因此，可能存在第二B+树接收到第二键值对的第二插入请求后，发现其中已存在该第二键值对的PBA。
在一些实施例中，方法还包括：响应于第一B+树接收到元数据管理模块发送的删除第一键值对的第一删除请求，基于第一删除请求将待删除的第一键值对从第一B+树中删除，并将第一关键数减一以统计存储卷的容量减少一个粒度。
本实施例中，通过第一B+树对LBA的删除的操作记录，可以统计存储卷的容量减少一个粒度，使得存储卷的容量统计更全面。
在一些实施例中，方法还包括：响应于第二B+树接收到元数据管理模块发送的删除第二键值对的第二删除请求，基于第二删除请求将待删除的第二键值对删除，并确认待删除的第二键值对的PBA对应的其他第二键值对是否已全部删除；响应于PBA对应的其他第二键值对已全部删除，将第二关键数减一以统计存储池的容量减少一个粒度。
本实施例中，由于PBA和LBA可能存在一对多的情况，所以在删除操作时，需要PBA对应的所有第二键值对都删除，才统计存储池的容量减少一个粒度。本实施例使得存储池的容量统计更全面。
在一些实施例中，方法还包括：响应于将第二关键数减一以统计存储池的容量减少一个粒度，通过元数据管理模块通知垃圾回收模块对PBA进行垃圾回收。
通过上述实施例，存储卷和存储池定期从元数据管理模块获取第一B+树的第一关键数和第二B+树的第二关键数，就可高效准确地知道当前的存储卷使用容量和存储池的使用容量，同时垃圾回收模块还可以准确地对PBA做垃圾回收，便于提高垃圾回收的效率。
在一些实施例中，将写请求对应的数据写入存储系统的存储池以得到数据对应的存储池的PBA包括：通过存储卷将写请求对应的数据写入存储系统的存储池，并响应于写入完成，通过存储池将与数据对应的PBA发送至存储卷。
在一些实施例中，存储系统包括全闪存存储系统，存储卷包括精简卷。
本实施例中，由于精简卷按需使用空间，即只有将数据写入卷时才占用存储池空间，且精简卷可确保高效利用存储空间，适合创建多个卷，因此选用精简卷做存储卷。
本发明实施例的第二个方面，还提供了一种存储系统容量统计装置。图2示出的是本发明提供的存储系统容量统计装置的实施例的示意图。如图2所示，一种存储系统容量统计装置包括：键值对组成模块10，配置用于响应于存储系统的存储卷接收到写请求，将写请求对应的数据写入存储系统的存储池以得到数据对应的存储池的PBA，并将PBA以及与数据对应的存储卷的LBA分别组成由LBA指向PBA的第一键值对和由PBA指向LBA的第二键值对，且将第一键值对和第二键值对发送至元数据管理模块；键值对插入模块20，配置用于响应于元数据管理模块接收到第一键值对和第二键值对，向第一B+树发送插入第一键值对的第一插入请求，且向第二B+树发送插入第二键值对的第二插入请求；第一判断模块30，配置用于响应于第一B+树接收到第一插入请求，基于第一插入请求判断第一B+树中是否存在第一键值对的LBA；第一统计模块40，配置用于响应于第一B+树中不存在第一键值对的LBA，将第一键值对插入第一B+树，并将第一关键数加一以统计存储卷的容量增加一个粒度；第二判断模块50，配置用于响应于第二B+树接收到第二插入请求，基于第二插入请求判断第二B+树中是否存在第二键值对的PBA；以及第二统计模块60，配置用于响应于第二B+树中不存在第二键值对的PBA，将第二键值对插入第二B+树，并将第二关键数加一以统计存储池的容量增加一个粒度。
在一些实施例中，装置还包括直接插入模块，配置用于响应于第二B+树中已存在第二键值对的PBA，直接将第二键值对插入第二B+树。
在一些实施例中，装置还包括第一容量减少模块，配置用于响应于第一B+树接收到元数据管理模块发送的删除第一键值对的第一删除请求，基于第一删除请求将待删除的第一键值对从第一B+树中删除，并将第一关键数减一以统计存储卷的容量减少一个粒度。
在一些实施例中，装置还包括第二容量减少模块，配置用于响应于第二B+树接收到元数据管理模块发送的删除第二键值对的第二删除请求，基于第二删除请求将待删除的第二键值对删除，并确认待删除的第二键值对的PBA对应的其他第二键值对是否已全部删除；响应于PBA对应的其他第二键值对已全部删除，将第二关键数减一以统计存储池的容量减少一个粒度。
在一些实施例中，装置还包括垃圾回收模块，配置用于响应于将第二关键数减一以统计存储池的容量减少一个粒度，通过元数据管理模块通知垃圾回收模块对PBA进行垃圾回收。
在一些实施例中，键值对组成模块10包括PBA发送模块，配置用于通过存储卷将写请求对应的数据写入存储系统的存储池，并响应于写入完成，通过存储池将与数据对应的PBA发送至存储卷。
在一些实施例中，存储系统包括全闪存存储系统，存储卷包括精简卷，存储池包括精简池。
本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现存储系统容量统计方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
应当理解，在相互不冲突的情况下，以上针对根据本发明的存储系统容量统计方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的存储系统容量统计装置和存储介质。
本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器402和处理器401，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。
如图4所示，为本发明提供的执行存储系统容量统计方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与存储系统容量统计系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的存储系统容量统计方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储存储系统容量统计方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的存储系统容量统计方法。
最后需要说明的是，本文的计算机可读存储介质（例如，存储器）可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦写可编程ROM（EEPROM）或快闪存储器。易失性存储器可以包括随机存取存储器（RAM），该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM 可以以多种形式获得，比如同步RAM（DRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据速率SDRAM（DDRSDRAM）、增强SDRAM（ESDRAM）、同步链路DRAM（SLDRAM）、以及直接Rambus RAM（DRRAM）。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。