一种桶生命周期配置方法、装置、设备及介质
阅读说明：本技术 一种桶生命周期配置方法、装置、设备及介质 (Bucket life cycle configuration method, device, equipment and medium ) 是由 王铂 陶桐桐 胡永刚 于 2021-06-30 设计创作，主要内容包括：本申请公开了一种桶生命周期配置方法、装置、设备及介质,包括：确定桶生命周期的配置参数的可行域；基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。这样,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。(The application discloses a bucket life cycle configuration method, device, equipment and medium, comprising: determining feasible fields of configuration parameters of a bucket lifecycle; determining an optimal configuration parameter set by utilizing a preset multi-objective optimization algorithm according to a first optimization objective and a second optimization objective based on the feasible region; the first optimization target is the space proportion of the residual expired data relative to the total expired data after the expired data is processed based on the configuration parameters; the second optimization target is the cluster performance occupancy rate corresponding to the processing of the expired data based on the configuration parameters; and determining target configuration parameters from the optimal configuration parameter set, and configuring the life cycle of the bucket by using the target configuration parameters. Therefore, the bucket life cycle effect and other business processing can be considered, and the system performance is improved.)
技术领域
本申请涉及对象存储技术领域，特别涉及一种桶生命周期配置方法、装置、设备及介质。
背景技术
在实际的存储过程中，部分数据不必长时间存储在系统中，因此往往需要数据过期删除的功能。在RGW(即RADOS(即Reliable Autonomic Distributed Object Store，可靠,自治,分布式对象存储)gateway，对象存储网关)中，针对数据的过期删除功能为桶生命周期，即LC(即lifecycle，生命周期)，该功能可以给桶设置一个规则，这个规则包括桶里的何种数据在何时会过期，以及过期之后是删除还是转移到其他存储空间。其中，桶生命周期的配置参数影响桶生命周期的执行效果。
在RGW中，当数据量超过一定范围时，由于的特性是遍历桶中所有的对象元数据之后把过期对象删除或转移，所以可能有对象在规定时间内没有被删除或转移，例如，设置3天后过期的对象可能在一周后才被删除或转移，造成空间的释放不及时，影响存储系统性能。然而盲目调高LC的转移或删除效率，又会因为LC对系统资源的占用而引发其他业务的处理问题。当前，桶生命周期的参数设置一般根据经验，但由于需要兼顾LC效果和其他业务的处理很难做出选择，难以适应现在大规模存储的多样化需求。
发明内容
有鉴于此，本申请的目的在于提供一种桶生命周期配置方法、装置、设备及介质，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。其具体方案如下：
第一方面，本申请公开了一种桶生命周期配置方法，包括：
确定桶生命周期的配置参数的可行域；
基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
可选的，所述确定桶生命周期的配置参数的可行域，包括：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
可选的，所述第一优化目标以及所述第二优化目标的优化目标公式为：
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
可选的，所述基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集，包括：
基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
可选的，所述基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集，包括：
确定种群个数以及最大评价次数；
基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
第二方面，本申请公开了一种桶生命周期配置装置，包括：
参数可行域确定模块，用于确定桶生命周期的配置参数的可行域；
最优配置参数集确定模块，用于基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
桶生命周期配置模块，用于从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
可选的，所述参数可行域确定模块，具体用于：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
可选的，所述第一优化目标以及所述第二优化目标的优化目标公式为：
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的桶生命周期配置方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的桶生命周期配置方法。
可见，本申请先确定桶生命周期的配置参数的可行域，之后基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率，最后从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。也即，本申请以桶生命周期的配置参数为被优化参数，以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比，以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标，其中，基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果，基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响，这样的优化目标，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种桶生命周期配置方法流程图；
图2为本申请提供的一种具体的多目标粒子群优化算法优化示意图；
图3为本申请公开的一种桶生命周期配置装置结构示意图；
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在RGW中，当数据量超过一定范围时，由于的特性是遍历桶中所有的对象元数据之后把过期对象删除或转移，所以可能有对象在规定时间内没有被删除或转移，例如，设置3天后过期的对象可能在一周后才被删除或转移，造成空间的释放不及时，影响存储系统性能。然而盲目调高LC的转移或删除效率，又会因为LC对系统资源的占用而引发其他业务的处理问题。当前，桶生命周期的参数设置一般根据经验，但由于需要兼顾LC效果和其他业务的处理很难做出选择，难以适应现在大规模存储的多样化需求。为此，本申请提供了一种桶生命周期配置方案，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
参见图1所示，本申请实施例公开了一种桶生命周期配置方法，包括：
步骤S11：确定桶生命周期的配置参数的可行域。
在具体的实施方式中，可以确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
也即，本申请实施例将影响桶生命周期效果的并发线程数、最大对象数以及线程队列数作为被优化参数。
步骤S12：基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率。
其中，所述第一优化目标以及所述第二优化目标的优化目标公式为：
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
并且，W具体可以为集群每秒能够并发处理的数据量。
在具的实施方式中，基于所述可行域，利用MOPSO(即Multi-objective ParticleSwarm Optimization，多目标粒子群优化)算法以第一优化目标和第二优化目标确定最优配置参数集。
进一步的，本申请实施例确定种群个数以及最大评价次数；基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
具体的，利用多目标粒子群优化算法确定最优配置参数集的步骤，包括：输入LC的并发线程、LC的最大对象数、LC的线程队列数的可行域，种群个体数P，最大评价次数maxFES。
Step1：初始化种群，随机生成P个粒子，每个粒子表示一种可行的解决方案(即配置参数组，包括并发线程数、最大对象数以及线程队列数)，使用每个粒子的方案进行桶生命周期功能配置，并利用优化目标公式计算适应度值；
Step2：筛选粒子，确定每个粒子的历史最优pbest，并找出全局最优gbest；
其中，在初次迭代时，初始化每个粒子的历史最优pbest为其本身，并找出全局最优gbest。
Step3：根据速度和位置公式进行位置和速度的计算更新，根据优化目标公式对每一个粒子做评估操作得到新的粒子群；
Step4：更新最优解也即更新gbest，以及更新历史最优pbest；
Step5：达到最大评价次数则输出该种群中的Pareto解集，否则回到Step2；
Step6：得到的Pareto解集，也就是最优参数池。
需要指出的是，多目标粒子群优化算法可以在决策空间中找到近似PF(即ParetoFront，帕累托前沿)对应的非支配Pareto解集。决策者根据实际情况从解决方案集中选择解决方案。如图2所示，图2为本申请提供的一种具体的多目标粒子群优化算法优化示意图。其中，图2中左侧、右侧图的圆圈分别对应了Pareto最优解集和最优目标结果，方形表示非最优解以及非最优目标结果，f1和f2分别表示本申请中的Er和Pr。
也即，本申请实施例以桶生命周期功能和集群性能为目标，以发线程数、最大对象数以及线程队列数为被优化参数，利用多目标参数算法，得到最优配置参数集，将桶生命周期优化问题转化为多目标优化问题，利用多目标粒子群优化算法解决。
步骤S13：从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
在具体的实施方式中，用户可利用最优解集并结合自己的需求来配置集群，也即从最优解集中筛选出一组并发线程数、最大对象数以及线程队列数，配置桶生命周期，从而更好地发挥集群的性能。
可见，本申请实施例先确定桶生命周期的配置参数的可行域，之后基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率，最后从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。也即，本申请以桶生命周期的配置参数为被优化参数，以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比，以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标，其中，基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果，基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响，这样的优化目标，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
参见图3所示，本申请实施例公开了一种桶生命周期配置装置，包括：
参数可行域确定模块11，用于确定桶生命周期的配置参数的可行域；
最优配置参数集确定模块12，用于基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
桶生命周期配置模块13，用于从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
可见，本申请实施例先确定桶生命周期的配置参数的可行域，之后基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率，最后从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。也即，本申请以桶生命周期的配置参数为被优化参数，以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比，以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标，其中，基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果，基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响，这样的优化目标，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
其中，所述参数可行域确定模块11，具体用于：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
相应的，所述第一优化目标以及所述第二优化目标的优化目标公式为：
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
在具体的实施方式中，最优配置参数集确定模块12，具体用于基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
进一步的，最优配置参数集确定模块12，具体用于确定种群个数以及最大评价次数；基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
参见图4所示，本申请实施例公开了一种电子设备20，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，前述实施例公开的桶生命周期配置方法。
关于上述桶生命周期配置方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。
另外，所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述电子设备20上的各硬件设备提供工作电压；所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的桶生命周期配置方法。
关于上述桶生命周期配置方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种桶生命周期配置方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种对象存储方法、装置、设备及存储介质