一种在客户端实现分级存储的方法及装置
阅读说明：本技术 一种在客户端实现分级存储的方法及装置 (Method and device for realizing hierarchical storage at client ) 是由 李旭东 于 2021-07-30 设计创作，主要内容包括：本发明提供一种在客户端实现分级存储的方法及装置,所述方法包括如下步骤：S1.在客户端节点设置客户端读写模块和数据管理模块,并配置客户端读写模块和数据管理模块功能；S2.设置数据管理模块采用分布式架构,并获取数据管理模块对接的目标存储系统,建立数据管理块与目标存储系统的接口；S3.客户端读写模块接收用户读写请求,并向一级存储进行读写操作,数据管理模块实现冷数据从一级存储到二级存储的下刷,以及热数据从二级存储到一级存储的提取。本发明提供的在客户端实现分级存储的方法及装置,实现分级存储的基础上,可兼容客户端原有一二级存储架构,并能兼容对中一二级存储系统型号,还可兼容各类私有云及公有云。(The invention provides a method and a device for realizing hierarchical storage at a client, wherein the method comprises the following steps: s1, a client read-write module and a data management module are arranged on a client node, and functions of the client read-write module and the data management module are configured; s2, setting a data management module to adopt a distributed architecture, acquiring a target storage system which is butted by the data management module, and establishing an interface between the data management module and the target storage system; and S3, the client read-write module receives a user read-write request and performs read-write operation on the primary storage, and the data management module realizes the refreshing of cold data from the primary storage to the secondary storage and the extraction of hot data from the secondary storage to the primary storage. The method and the device for realizing the hierarchical storage at the client can be compatible with the original secondary storage framework of the client on the basis of realizing the hierarchical storage, can be compatible with the models of the secondary storage system in the middle and the secondary storage system, and can be compatible with various private clouds and public clouds.)
技术领域
本发明属于分布式存储的分级存储技术领域，具体涉及一种在客户端实现分级存储的方法及装置。
背景技术
企业的应用系统在线处理大量的数据，随着数据量的不断加大，如果都采用传统的在线存储方式，就需要大容量本地一级存储。这样一来一方面投资会相当较大；另一方面一级存储的大部分数据访问率并不高，但仍然占据硬盘空间，会导致存取速度下降。在这种情况下，层次化存储管理软件，或称为数据迁移软件，可以在性能和价格间作出最好的平衡。分级存储管理(HSM)便应运而生。
分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中不常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上，只在磁盘阵列上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动地把这些数据回迁到磁盘阵列中；同样，磁盘阵列中很久未访问的数据被自动迁移到磁带介质上，从而大大降低投入和管理成本。
但是传统的分级存储管理系统也存在着对一二级存储架构兼容性差，支持的一二级存储型号少等缺点。
此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种在客户端实现分级存储的方法及装置，是非常有必要的。
发明内容
针对现有技术的上述传统的分级存管理系统粗壮对一二级存架构兼容性差，支持的一二级存储型号少的缺陷，本发明提供一种在客户端实现分级存储的方法及装置，以解决上述技术问题。
第一方面，本发明提供一种在客户端实现分级存储的方法，包括如下步骤：
S1.在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；
S2.设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；
S3.客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取。
进一步地，步骤S1具体步骤如下：
S11.在客户端节点设置客户端读写模块和数据管理模块；所述客户端读写模块和数据管理模块兼容不同操作系统的客户端节点；
S12.为客户端读写模块配置用户接口接收用户的读写请求；
S13.为客户端读写模块配置读写接口，根据用户的读写请求通过读写接口向一级存储进行对应的读写操作；
S14.配置数据管理模块从一级存储检测冷数据，将冷数据下刷到二级存储；
S15.配置数据管理模块从二级存储检测热数据，将热数据提取到一级存储。
进一步地，步骤S2具体步骤如下：
S21.设置数据管理模块采用分布式架构；
S22.获取数据管理模块对接的目标存储系统；
S23.在数据管理模块创建与目标存储系统对接的接口，并创建接口规范。
进一步地，目标存储系统包括光盘库、磁盘库、公有云以及私有云。
进一步地，步骤S3具体步骤如下：
S31.当用户请求写入文件数据时，客户端读写模块将文件数据写入一级存储，同时数据管理模块将用户请求写入的文件数据从后台刷到二级存储；
S32.当用户请求访问文件数据时，客户端读写模块从一级存储查找请求访问的文件数据，并判断是否查找到；
若是，客户端读写模块将从一级存储查找到的文件数据返回给用户，进入步骤S34；
若否，进入步骤S33；
S33.客户端读写模块进入二级存储查找请求的文件数据，并向用户返回从二级存储查找到的文件数据，同时数据管理模块将该请求的文件数据提取到一级存储中，进入步骤S34；
S34.数据管理模块检测一级存储中冷数据，将冷数据下刷到二级存储，以及检测二级存储中热数据，将热数据提取到一级存储。
进一步地，步骤S34具体步骤如下：
S341.数据管理模块检测一级存储中数据的访问频率，将访问频率低于第一阈值的数据设定为冷数据；
S342.数据管理模块将冷数据从一级存储以条带的方式下刷到二级存储；
S343.数据管理模块检测二级存储中数据的访问频率，将访问频率高于第二阈值的数据设定为热数据；
S344.数据管理模块将热数据从二级存储提取到一级存储；
S345.判断分布式存储系统中迁移速度是否满足需求；
若是，结束；
若否，根据需求的迁移速度部署若干个数据管理模块，设置各数据管理模块并行处理一级存储及二级存储间的数据迁移。
第二方面，本发明提供一种在客户端实现分级存储的装置，包括：
模块增加单元，用于在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；
数据管理模块接口设置单元，用于设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；
数据迁移单元，用于客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取。
进一步地，模块增加单元包括：
读写模块数据管理模块设置子单元，用于在客户端节点设置客户端读写模块和数据管理模块；所述客户端读写模块和数据管理模块兼容不同操作系统的客户端节点；
读写模块配置子单元，用于为客户端读写模块配置用户接口接收用户的读写请求；
读写接口配置子单元，用于为客户端读写模块配置读写接口，根据用户的读写请求通过读写接口向一级存储进行对应的读写操作；
数据下刷配置子单元，用于配置数据管理模块从一级存储检测冷数据，将冷数据下刷到二级存储；
数据提取配置子单元，用于配置数据管理模块从二级存储检测热数据，将热数据提取到一级存储。
进一步地，数据管理模块接口设置单元包括：
数据管理模块架构设置子单元，用于设置数据管理模块采用分布式架构；
目标存储系统获取子单元，用于获取数据管理模块对接的目标存储系统；
接口创建子单元，用于在数据管理模块创建与目标存储系统对接的接口，并创建接口规范。
进一步地，数据迁移单元包括：
数据写子单元，用于当用户请求写入文件数据时，客户端读写模块将文件数据写入一级存储，同时数据管理模块将用户请求写入的文件数据从后台刷到二级存储；
数据读子单元，用于当用户请求访问文件数据时，客户端读写模块从一级存储查找请求访问的文件数据，并判断是否查找到；
第一数据返回子单元，用于从一级存储读取到数据时，客户端读写模块将从一级存储查找到的文件数据返回给用户；
数据提取子单元，用于从一级存储未读取到数据时，客户端读写模块进入二级存储查找请求的文件数据，并向用户返回从二级存储查找到的文件数据，同时数据管理模块将该请求的文件数据提取到一级存储中；
数据迁移子单元，用于数据管理模块检测一级存储中冷数据，将冷数据下刷到二级存储，以及检测二级存储中热数据，将热数据提取到一级存储。
进一步地，数据迁移子单元包括：
冷数据检测组件，用于数据管理模块检测一级存储中数据的访问频率，将访问频率低于第一阈值的数据设定为冷数据；
冷数据下刷组件，用于数据管理模块将冷数据从一级存储以条带的方式下刷到二级存储；
热数据检测组件，用于数据管理模块检测二级存储中数据的访问频率，将访问频率高于第二阈值的数据设定为热数据；
热数据提取组件，用于数据管理模块将热数据从二级存储提取到一级存储；
迁移速度判断组件.用于判断分布式存储系统中迁移速度是否满足需求；
并行数据管理模块设置组件，用于迁移速度不满足需求时，根据需求的迁移速度部署若干个数据管理模块，设置各数据管理模块并行处理一级存储及二级存储间的数据迁移。
本发明的有益效果在于，
本发明提供的在客户端实现分级存储的方法及装置，实现分级存储的基础上，可兼容客户端原有一二级存储架构，并能兼容对中一二级存储系统型号，还可兼容各类私有云及公有云。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的在客户端实现分级存储的方法流程示意图一。
图2是本发明的在客户端实现分级存储的方法流程示意图二。
图3为本发明的客户端实现分级存储的装置示意图。
图中，1-模块增加单元；1.1-读写模块数据管理模块设置子单元；1.2-读写模块配置子单元；1.3-读写接口配置子单元；1.4-数据下刷配置子单元；1.5-数据提取配置子单元；2-数据管理模块接口设置单元；2.1-数据管理模块架构设置子单元；2.2-目标存储系统获取子单元；2.3-接口创建子单元；3-数据迁移单元；3.1-数据写子单元；3.2-数据读子单元；3.3-第一数据返回子单元；3.4-数据提取子单元；3.5-数据迁移子单元。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例1：
如图1所示，本发明提供一种在客户端实现分级存储的方法，包括如下步骤：
S1.在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；
S2.设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；
S3.客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取。
实施例2：
如图2所示，本发明提供一种在客户端实现分级存储的方法，包括如下步骤：
S1.在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；具体步骤如下：
S11.在客户端节点设置客户端读写模块和数据管理模块；所述客户端读写模块和数据管理模块兼容不同操作系统的客户端节点；
S12.为客户端读写模块配置用户接口接收用户的读写请求；
S13.为客户端读写模块配置读写接口，根据用户的读写请求通过读写接口向一级存储进行对应的读写操作；
S14.配置数据管理模块从一级存储检测冷数据，将冷数据下刷到二级存储；
S15.配置数据管理模块从二级存储检测热数据，将热数据提取到一级存储；
S2.设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；具体步骤如下：
S21.设置数据管理模块采用分布式架构；
S22.获取数据管理模块对接的目标存储系统；
S23.在数据管理模块创建与目标存储系统对接的接口，并创建接口规范；
S3.客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取；步骤S3具体步骤如下：
S31.当用户请求写入文件数据时，客户端读写模块将文件数据写入一级存储，同时数据管理模块将用户请求写入的文件数据从后台刷到二级存储；
S32.当用户请求访问文件数据时，客户端读写模块从一级存储查找请求访问的文件数据，并判断是否查找到；
若是，客户端读写模块将从一级存储查找到的文件数据返回给用户，进入步骤S34；
若否，进入步骤S33；
S33.客户端读写模块进入二级存储查找请求的文件数据，并向用户返回从二级存储查找到的文件数据，同时数据管理模块将该请求的文件数据提取到一级存储中，进入步骤S34；
S34.数据管理模块检测一级存储中冷数据，将冷数据下刷到二级存储，以及检测二级存储中热数据，将热数据提取到一级存储。
实施例3：
如图2所示，本发明提供一种在客户端实现分级存储的方法，包括如下步骤：
S1.在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；具体步骤如下：
S11.在客户端节点设置客户端读写模块和数据管理模块；所述客户端读写模块和数据管理模块兼容不同操作系统的客户端节点；
S12.为客户端读写模块配置用户接口接收用户的读写请求；
S13.为客户端读写模块配置读写接口，根据用户的读写请求通过读写接口向一级存储进行对应的读写操作；
S14.配置数据管理模块从一级存储检测冷数据，将冷数据下刷到二级存储；
S15.配置数据管理模块从二级存储检测热数据，将热数据提取到一级存储；
S2.设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；具体步骤如下：
S21.设置数据管理模块采用分布式架构；
S22.获取数据管理模块对接的目标存储系统；目标存储系统包括光盘库、磁盘库、共有云以及私有云；
S23.在数据管理模块创建与目标存储系统对接的接口，并创建接口规范；
S3.客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取；步骤S3具体步骤如下：
S31.当用户请求写入文件数据时，客户端读写模块将文件数据写入一级存储，同时数据管理模块将用户请求写入的文件数据从后台刷到二级存储；
S32.当用户请求访问文件数据时，客户端读写模块从一级存储查找请求访问的文件数据，并判断是否查找到；
若是，客户端读写模块将从一级存储查找到的文件数据返回给用户，进入步骤S34；
若否，进入步骤S33；
S33.客户端读写模块进入二级存储查找请求的文件数据，并向用户返回从二级存储查找到的文件数据，同时数据管理模块将该请求的文件数据提取到一级存储中，进入步骤S34；
S34.数据管理模块检测一级存储中冷数据，将冷数据下刷到二级存储，以及检测二级存储中热数据，将热数据提取到一级存储；具体步骤如下：
S341.数据管理模块检测一级存储中数据的访问频率，将访问频率低于第一阈值的数据设定为冷数据；
S342.数据管理模块将冷数据从一级存储以条带的方式下刷到二级存储；
S343.数据管理模块检测二级存储中数据的访问频率，将访问频率高于第二阈值的数据设定为热数据；
S344.数据管理模块将热数据从二级存储提取到一级存储；
S345.判断分布式存储系统中迁移速度是否满足需求；
若是，结束；
若否，根据需求的迁移速度部署若干个数据管理模块，设置各数据管理模块并行处理一级存储及二级存储间的数据迁移。
实施例4：
如图3所示，本发明提供一种在客户端实现分级存储的装置，包括：
模块增加单元1，用于在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；
数据管理模块接口设置单元2，用于设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；
数据迁移单元3，用于客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取。
实施例5：
如图3所示，本发明提供一种在客户端实现分级存储的装置，包括：
模块增加单元1，用于在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；模块增加单元1包括：
读写模块数据管理模块设置子单元1.1，用于在客户端节点设置客户端读写模块和数据管理模块；所述客户端读写模块和数据管理模块兼容不同操作系统的客户端节点；
读写模块配置子单元1.2，用于为客户端读写模块配置用户接口接收用户的读写请求；
读写接口配置子单元1.3，用于为客户端读写模块配置读写接口，根据用户的读写请求通过读写接口向一级存储进行对应的读写操作；
数据下刷配置子单元1.4，用于配置数据管理模块从一级存储检测冷数据，将冷数据下刷到二级存储；
数据提取配置子单元1.5，用于配置数据管理模块从二级存储检测热数据，将热数据提取到一级存储；
数据管理模块接口设置单元2，用于设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；数据管理模块接口设置单元2包括：
数据管理模块架构设置子单元2.1，用于设置数据管理模块采用分布式架构；
目标存储系统获取子单元2.2，用于获取数据管理模块对接的目标存储系统；
接口创建子单元2.3，用于在数据管理模块创建与目标存储系统对接的接口，并创建接口规范；
数据迁移单元3，用于客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取；数据迁移单元3包括：
数据写子单元3.1，用于当用户请求写入文件数据时，客户端读写模块将文件数据写入一级存储，同时数据管理模块将用户请求写入的文件数据从后台刷到二级存储；
数据读子单元3.2，用于当用户请求访问文件数据时，客户端读写模块从一级存储查找请求访问的文件数据，并判断是否查找到；
第一数据返回子单元3.3，用于从一级存储读取到数据时，客户端读写模块将从一级存储查找到的文件数据返回给用户；
数据提取子单元3.4，用于从一级存储未读取到数据时，客户端读写模块进入二级存储查找请求的文件数据，并向用户返回从二级存储查找到的文件数据，同时数据管理模块将该请求的文件数据提取到一级存储中；
数据迁移子单元3.5，用于数据管理模块检测一级存储中冷数据，将冷数据下刷到二级存储，以及检测二级存储中热数据，将热数据提取到一级存储。
实施例6：
如图3所示，本发明提供一种在客户端实现分级存储的装置，包括：
模块增加单元1，用于在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；模块增加单元1包括：
读写模块数据管理模块设置子单元1.1，用于在客户端节点设置客户端读写模块和数据管理模块；所述客户端读写模块和数据管理模块兼容不同操作系统的客户端节点；
读写模块配置子单元1.2，用于为客户端读写模块配置用户接口接收用户的读写请求；
读写接口配置子单元1.3，用于为客户端读写模块配置读写接口，根据用户的读写请求通过读写接口向一级存储进行对应的读写操作；
数据下刷配置子单元1.4，用于配置数据管理模块从一级存储检测冷数据，将冷数据下刷到二级存储；
数据提取配置子单元1.5，用于配置数据管理模块从二级存储检测热数据，将热数据提取到一级存储；
数据管理模块接口设置单元2，用于设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；数据管理模块接口设置单元2包括：
数据管理模块架构设置子单元2.1，用于设置数据管理模块采用分布式架构；
目标存储系统获取子单元2.2，用于获取数据管理模块对接的目标存储系统；
接口创建子单元2.3，用于在数据管理模块创建与目标存储系统对接的接口，并创建接口规范；
数据迁移单元3，用于客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取；数据迁移单元3包括：
数据写子单元3.1，用于当用户请求写入文件数据时，客户端读写模块将文件数据写入一级存储，同时数据管理模块将用户请求写入的文件数据从后台刷到二级存储；
数据读子单元3.2，用于当用户请求访问文件数据时，客户端读写模块从一级存储查找请求访问的文件数据，并判断是否查找到；
第一数据返回子单元3.3，用于从一级存储读取到数据时，客户端读写模块将从一级存储查找到的文件数据返回给用户；
数据提取子单元3.4，用于从一级存储未读取到数据时，客户端读写模块进入二级存储查找请求的文件数据，并向用户返回从二级存储查找到的文件数据，同时数据管理模块将该请求的文件数据提取到一级存储中；
数据迁移子单元3.5，用于数据管理模块检测一级存储中冷数据，将冷数据下刷到二级存储，以及检测二级存储中热数据，将热数据提取到一级存储；数据迁移子单元3.5包括：
冷数据检测组件，用于数据管理模块检测一级存储中数据的访问频率，将访问频率低于第一阈值的数据设定为冷数据；
冷数据下刷组件，用于数据管理模块将冷数据从一级存储以条带的方式下刷到二级存储；
热数据检测组件，用于数据管理模块检测二级存储中数据的访问频率，将访问频率高于第二阈值的数据设定为热数据；
热数据提取组件，用于数据管理模块将热数据从二级存储提取到一级存储；
迁移速度判断组件.用于判断分布式存储系统中迁移速度是否满足需求；
并行数据管理模块设置组件，用于迁移速度不满足需求时，根据需求的迁移速度部署若干个数据管理模块，设置各数据管理模块并行处理一级存储及二级存储间的数据迁移。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。