具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种数据存储生命周期管理方法，应用于Amazon S3分布式系统，如图1所示，包括如下步骤：

步骤S1：获取生命周期操作指令。

在一具体实施例中，如图2所示，获取生命周期操作指令，包括如下步骤：

步骤S11：获取生命周期请求报文。

步骤S12：对生命周期请求报文进行解析，生成生命周期操作指令。

在本发明实施例中，在接收到用户发送的生命周期请求报文后，对生命周期请求报文进行解析，实现生命周期的语义定义解析。具体地，生命周期管理器负责管理生命周期策略、执行生命周期策略。生命周期管理的具体实现，就是通过定义S3生命周期策略，并按照确定的策略执行。其中，S3生命周期策略的语义定义：1)每个配置包含一个或多个生命周期规则(最多可以有1000个规则)。2)每个规则由以下内容组成(ID元素、Status元素、Filter元素、用于描述生命周期操作的元素)，其中，ID元素唯一地标识规则，ID元素长度最多为255个字符；Status元素值可以是Enabled或Disabled，但是，如果生命周期规则处于Disabled状态，则此生命周期策略不会执行生命周期规则中定义的任何操作；Filter元素应用于存储桶中的所有对象或一部分对象，并按键前缀、对象标签或二者的组合筛选对象；用于描述生命周期操作的元素，在生命周期规则中指定一个或多个以下预定义的待执行特定操作。在本发明实施例中，待执行特定操作包括：存储类型转换操作及删除操作。

步骤S2：根据生命周期操作指令获取待执行数据对象，并将各待执行数据对象进行合并，生成待传输数据。

在一具体实施例中，如图3所示，根据生命周期操作指令获取待执行数据对象，包括如下步骤：

步骤S21：获取当前存储的数据对象。

步骤S22：根据各数据对象的大小进行排序，根据生命周期操作指令筛选出预设级别范围内的待执行数据对象。

在本发明实施例中，根据生命周期操作指令获取当前存储的数据对象后，根据各数据对象占用的存储空间(即各数据对象的大小)，对各数据对象进行排序，筛选出内容较少的、KB级的待执行数据对象。然后利用源节点内部的IO吞吐能力大的特性，将上述内容较少的、KB级的待执行数据对象进行数据合并，合并成数据包，将合并后的数据包作为待传输数据进行传输。具体地，数据包的大小和内容可根据待执行数据对象的目的源，待执行数据对象的区域、待执行数据对象的大小、待执行数据对象特性、当时源与目的源之间的可用带宽等参数进行计算得到。由于目前现有的性能优化策略只能实现存储对象大小在MB级、GB级，甚至TB级的数据处理，而对于KB级别的待执行数据对象，缺乏有效的性能优化策略。因此，在本发明实施例中，利用客户端将内容较少的、KB级的待执行数据对象合并成占用存储空间较大的数据包，并将合并后的数据包作为待传输数据传输至目标服务器，提高数据传输效率。

步骤S3：根据生命周期操作指令对待传输数据进行数据传输。

在一具体实施例中，如图4所示，根据生命周期操作指令对待传输数据进行数据传输，包括如下步骤：

步骤S31：获取待传输数据的原存储地址。

步骤S32：根据生命周期操作指令确定待传输数据的目的存储地址。

步骤S33：根据原存储地址和目的存储地址，对待传输数据进行数据传输。

在本发明实施例中，原存储地址可以是磁盘，也可以是蓝光存储器，目的存储地址可以是磁盘，也可以是蓝光存储器。且当原存储地址为磁盘，目的存储地址为蓝光存储器时，待传输数据的传输方向为待传输数据由磁盘写入蓝光存储器；当原存储地址为蓝光存储器，目的存储地址为磁盘时，待传输数据的传输方向为待传输数据由蓝光存储器读出至磁盘。然而，在存储类型之间的转换(磁盘与蓝光存储器之间的数据传输)过程中，会存在转换之间的限制要求。例如，WS S3生命周期配置的存储类之间可以进行以下生命周期转换：从STANDARD存储类可转换为任何其他存储类。从任何存储类可转换为GLACIER或DEEP_ARCHIVE存储类。从STANDARD_IA存储类转换为INTELLIGENT_TIERING或ONEZONE_IA存储类。从INTELLIGENT_TIERING存储类转换为OneZONE_IA存储类。从GLACIER存储类转换为DEEP_ARCHIVE存储类。AWS S3生命周期配置不支持的存储类型转换如下：从任何存储类转换为STANDARD存储类。从任何存储类转换为REDUCED_REDUNDANCY存储类。从INTELLIGENT_TIERING存储类转换为STANDARD_IA存储类。从ONEZONE_IA存储类转换为STANDARD_IA或INTELLIGENT_TIERING存储类。

本发明提供的数据存储生命周期管理方法，包括：获取生命周期操作指令；根据生命周期操作指令获取待执行数据对象，并将各待执行数据对象进行合并，生成待传输数据；根据生命周期操作指令对待传输数据进行数据传输。通过将各待执行数据对象进行数据合并处理，将合并后的待传输数据进行数据传输，优化了数据传输方式，提高了数据传输效率。

在一实施例中，数据存储生命周期管理方法，还包括：根据生命周期操作指令及数据传输结果生成生命周期管理过程信息。

在一具体实施例中，通过构建、配置消息中间Kafka，以及利用现有的编程语言，获取生命周期管理过程信息，并将生命周期管理过程信息发送到用户的消息中间件的客户端上，便于客户查询生命周期管理过程相关信息。

在一实施例中，如图5所示，数据存储生命周期管理方法，包括如下步骤：

步骤S4：获取当前数据对象的访问频率；

步骤S5：根据访问频率调整当前数据对象的存储模式。

在一具体实施例中，预先将Amazon S3分布式系统中的访问层划分为频繁访问层及不频繁访问层，然后根据当前数据对象的访问频率调整当前数据对象的存储模式。在本发明实施例中，当访问频率大于预设访问频率时，将当前数据对象存储至预设频繁访问层；当访问频率不大于预设访问频率时，将当前数据对象存储至预设不频繁访问层。通过预先设置频繁访问层及不频繁访问层，可以为不同频繁访问层次的对象提供不同的访问带宽，优化用户体验效果；并且可以为不同频繁访问层次的对象提供更合理的硬件配置，优化硬件运营成本；另外还可以为不同频繁访问层次的对象提供更合理的网络设置，优化网络状况以及网络运营成本。通过配置相应的生命周期策略将不频繁访问的对象迁移到不频繁数据访问层，降低不频繁数据访问层的带宽，把更多的带宽交给频繁访问的对象，优化数据访问效率，进而可以显著减少存储成本。

本发明实施例还提供一种数据存储生命周期管理系统，如图6所示，包括：

获取模块1，用于获取生命周期操作指令。详细内容参见上述实施例中步骤S1的相关描述，在此不再赘述。

处理模块2，用于根据生命周期操作指令获取待执行数据对象，并将各待执行数据对象进行合并，生成待传输数据。详细内容参见上述实施例中步骤S2的相关描述，在此不再赘述。

传输模块3，用于根据生命周期操作指令对待传输数据进行数据传输。详细内容参见上述实施例中步骤S3的相关描述，在此不再赘述。

本发明提供的数据存储生命周期管理系统，通过将各待执行数据对象进行数据合并处理，将合并后的待传输数据进行数据传输，优化了数据传输方式，提高了数据传输效率。

本发明实施例还提供一种计算机设备，如图7所示，该设备可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图7以通过总线连接为例。

处理器61可以为中央处理器(Central Processing Unit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据存储生命周期管理方法。

存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。

一个或者多个模块存储在存储器62中，当被处理器61执行时，执行本发明实施例提供的电能表数据交互方法或执行本发明实施提供的数据存储生命周期管理方法。

上述计算机设备具体细节可以对应参阅图1-5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。