一种数据采集方法、系统、设备以及介质

文档序号:189811 发布日期:2021-11-02 浏览:10次 >En<

阅读说明:本技术 一种数据采集方法、系统、设备以及介质 (Data acquisition method, system, device and medium ) 是由 单亚勇 于 2021-06-30 设计创作,主要内容包括:本发明公开了一种数据采集方法,包括以下步骤:响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;判断所述采集对象是否是预设对象;响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;响应于触发所述执行条件,执行所述采集任务。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。(The invention discloses a data acquisition method, which comprises the following steps: responding to a received data acquisition request, and analyzing the request to acquire an acquisition object and acquisition parameters carried in the request; judging whether the acquisition object is a preset object or not; responding to the fact that the collection object is not a preset object, matching a current collection strategy according to the collection object, and modifying the collection parameters by using the matched collection strategy; reestablishing an acquisition task by using the modified acquisition parameters, and setting execution conditions of the acquisition task according to the matched acquisition strategy; and executing the acquisition task in response to triggering the execution condition. The invention also discloses a system, a computer device and a readable storage medium. The scheme provided by the invention can carry out differentiated modification on the data acquisition request, thereby improving the management capability of the management platform.)

一种数据采集方法、系统、设备以及介质

技术领域

本发明涉及数据采集领域,具体涉及一种数据采集方法、系统、设备以及存储介质。

背景技术

存储领域里,数据是系统管理的根本,越来越多的客户业务量巨大、数据增长快、存储设备多,对于大量的存储设备与集群的管理,各存储厂商也相继推出了各种统一的综合平台去集中管理。统一管理将要面对就是从大量的设备、集群采集数据信息,进行管理、呈现与操作,在这个过程中,数据是基础,采集的工作是尤为重要的。但是当前大多数厂商的系统对于存储系统的数据采集还停留在由统一管理平台直接进行采集与请求的阶段,因此对于大量的存储设备和集群的响应速度,网络都提出了较高的要求,同时也是统一管理平台的瓶颈之一。繁琐的数据种类、API请求、各种定时采集任务也让统一管理平台略显臃肿与复杂,同时直接的采集方式也影响到统一管理平台对大量存储的操作响应,数据查询速度;也会相应的占用统一管理平台运行环境的软硬件资源,影响稳定性。

发明内容

有鉴于此,为了克服上述问题的至少一个方面,本发明实施例提出一种数据采集方法,包括以下步骤:

响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

判断所述采集对象是否是预设对象;

响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

响应于触发所述执行条件,执行所述采集任务。

在一些实施例中,还包括:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,还包括:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

在一些实施例中,根据所述采集对象匹配当前采集策略,进一步包括:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

在一些实施例中,还包括:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种数据采集系统,包括:

接收模块,配置为响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

判断模块,配置为判断所述采集对象是否是预设对象;

匹配模块,配置为响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

任务模块,配置为利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

采集模块,配置为响应于触发所述执行条件,执行所述采集任务。

在一些实施例中,还包括缓存模块,配置为:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,所述缓存模块还配置为:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

在一些实施例中,匹配模块还配置为:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

在一些实施例中,还包括修改模块,配置为:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机设备,包括:

至少一个处理器;以及

存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行以下步骤:

响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

判断所述采集对象是否是预设对象;

响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

响应于触发所述执行条件,执行所述采集任务。

在一些实施例中,还包括:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,还包括:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

在一些实施例中,根据所述采集对象匹配当前采集策略,进一步包括:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

在一些实施例中,还包括:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时执行以下步骤:

响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

判断所述采集对象是否是预设对象;

响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

响应于触发所述执行条件,执行所述采集任务。

在一些实施例中,还包括:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,还包括:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

在一些实施例中,根据所述采集对象匹配当前采集策略,进一步包括:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

在一些实施例中,还包括:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

本发明具有以下有益技术效果之一:本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。

图1为本发明的实施例提供的数据采集方法的流程示意图;

图2为本发明的实施例提供的数据采集系统的结构示意图;

图3为本发明的实施例提供的计算机设备的结构示意图;

图4为本发明的实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。

需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。

根据本发明的一个方面,本发明的实施例提出一种数据采集方法,如图1所示,其可以包括步骤:

S1,响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

S2,判断所述采集对象是否是预设对象;

S3,响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

S4,利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

S5,响应于触发所述执行条件,执行所述采集任务。

本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

在一些实施例中,在步骤S1中,响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数,具体的,可以配置请求拦截器,用于拦截数据采集请求,并对数据采集请求进行解析,以得到数据采集请求中携带的采集对象和采集参数。根据请求的详细参数提供对应的数据服务(如所要采集的设备IP、账密、端口、采集的频次、返回时间、是否需要定时或进行缓存等)。并且可以制定规范的请求格式,例如请求查询某存储A的磁盘信息立即返回,数据采集请求可以是getDiskInfo&str=A&ip=10.10.10.10&time=60&return=now-。

在一些实施例中,还可以创建采集中心,这样当请求拦截器接收到请求并解析后,可以将采集对象和采集参数传递给采集中心。通过采集中心判断采集对象是否是预设对象,如果不是预设对象,则需要根据采集对象匹配相应的采集策略,根据采集策略对请求中携带的采集参数进行修改,并根据修改后的参数重新生成采集任务,并设定采集任务的触发条件,采集中心只需要在触发条件触发后,执行相应的采集任务即可。这样,通过采集中心对每一个数据采集请求进行差异化匹配采集策略,可以实现采集任务的负载均衡。

在一些实施例中,还包括:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,还包括:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

具体的,可以创建缓存池用于缓存一些有定时需求的任务的数据。例如,可以缓存首页数据。在本发明的实施例中,可以在采集中心中配置多个定时任务,循环执行每一个定时任务,这样可以不断采集相应的数据并缓存到存储池。当请求拦截器接收到数据采集请求并将解析出的参数传递给采集中心时,由于预设对象可以通过定时任务不断采集对应的数据,因此只要采集对象为预设对象,即可直接在缓存池中获取到相应的数据,返回给数据请求方,这样可以提高响应速度。

在一些实施例中,根据所述采集对象匹配当前采集策略,进一步包括:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

具体的,可以预先针对不同的采集对象配置在不同负载下的采集策略,这样当接收到请求拦截器传递的采集对象时,可以根据当前负载情况匹配相应的采集策略。

例如,接收到采集对象为到A存储采集B模块的C信息,请求中携带的采集参数,例如采集的频次为60,返回时间为立即返回。预先针对该采集对象在不同负载下配置的采集策略可以为默认策略、第一优先级策略、第二优先级策略,其中默认策略可以是直接根据请求中携带的采集参数进行数据采集;第一优先级策略可以是对采集频次、采集时间、返回时间、调用资源进行限定;第二优先级策略可以是进一步对采集频次、采集时间、返回时间、调用资源进行限定。

在一些实施例中,针对一些采集对象也可以只设置默认策略,即无论当前负载如何,直接根据请求中携带的采集参数进行采集。

在一些实施例中,还包括:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

具体的,用户可以实时的调整采集策略,当采集中心根据接收到的采集对象匹配到相应的采集策略后,用户可以对匹配到的采集策略进行相应的调整。然后,利用调整后的采集策略进行数据采集,从而进一步提高管理平台的管理能力。

本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种数据采集系统400,如图2所示,包括:

接收模块401,配置为响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

判断模块402,配置为判断所述采集对象是否是预设对象;

匹配模块403,配置为响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

任务模块404,配置为利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

采集模块405,配置为响应于触发所述执行条件,执行所述采集任务。

本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

在一些实施例中,接收模块可以为请求拦截器,用于拦截数据采集请求,并对数据采集请求进行解析,以得到数据采集请求中携带的采集对象和采集参数。根据请求的详细参数提供对应的数据服务(如所要采集的设备IP、账密、端口、采集的频次、返回时间、是否需要定时或进行缓存等)。并且可以制定规范的请求格式,例如请求查询某存储A的的磁盘信息立即返回,数据采集请求可以是getDiskInfo&str=A&ip=10.10.10.10&time=60&return=now-。

在一些实施例中,还可以创建采集中心,这样当请求拦截器接收到请求并解析后,可以将采集对象和采集参数传递给采集中心。通过采集中心判断采集对象是否是预设对象,如果不是预设对象,则需要根据采集对象匹配相应的采集策略,根据采集策略对请求中携带的采集参数进行修改,并根据修改后的参数重新生成采集任务,并设定采集任务的触发条件,采集中心只需要在触发条件触发后,执行相应的采集任务即可。这样,通过采集中心对每一个数据采集请求进行差异化匹配采集策略,可以实现采集任务的负载均衡。

在一些实施例中,还包括缓存模块,配置为:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,所述缓存模块还配置为:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

具体的,可以创建缓存池用于缓存一些有定时需求的任务的数据。例如,可以缓存首页数据。在本发明的实施例中,可以在采集中心中配置多个定时任务,循环执行每一个定时任务,这样可以不断采集相应的数据并缓存到存储池。当请求拦截器接收到数据采集请求并将解析出的参数传递给采集中心时,由于预设对象可以通过定时任务不断采集对应的数据,因此只要采集对象为预设对象,即可直接在缓存池中获取到相应的数据,返回给数据请求方,这样可以提高响应速度。

在一些实施例中,匹配模块还配置为:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

具体的,可以预先针对不同的采集对象配置在不同负载下的采集策略,这样当接收到请求拦截器传递的采集对象时,可以根据当前负载情况匹配相应的采集策略。

例如,接收到采集对象为到A存储采集B模块的C信息,请求中携带的采集参数,例如采集的频次为60,返回时间为立即返回。预先针对该采集对象在不同负载下配置的采集策略可以为默认策略、第一优先级策略、第二优先级策略,其中默认策略可以是直接根据请求中携带的采集参数进行数据采集;第一优先级策略可以是对采集频次、采集时间、返回时间、调用资源进行限定;第二优先级策略可以是进一步对采集频次、采集时间、返回时间、调用资源进行限定。

在一些实施例中,还包括修改模块,配置为:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

具体的,用户可以实时的调整采集策略,当采集中心根据接收到的采集对象匹配到相应的采集策略后,用户可以对匹配到的采集策略进行相应的调整。然后,利用调整后的采集策略进行数据采集,从而进一步提高管理平台的管理能力。

本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

基于同一发明构思,根据本发明的另一个方面,如图3所示,本发明的实施例还提供了一种计算机设备501,包括:

至少一个处理器520;以及

存储器510,存储器510存储有可在处理器上运行的计算机程序511,处理器520执行程序时执行以下步骤:

S1,响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

S2,判断所述采集对象是否是预设对象;

S3,响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

S4,利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

S5,响应于触发所述执行条件,执行所述采集任务。

在一些实施例中,还包括:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,还包括:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

在一些实施例中,根据所述采集对象匹配当前采集策略,进一步包括:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

在一些实施例中,还包括:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

基于同一发明构思,根据本发明的另一个方面,如图4所示,本发明的实施例还提供了一种计算机可读存储介质601,计算机可读存储介质601存储有计算机程序指令610,计算机程序指令610被处理器执行时执行以下步骤:

S1,响应于接收到数据采集请求,对所述请求进行解析以获取所述请求中携带的采集对象和采集参数;

S2,判断所述采集对象是否是预设对象;

S3,响应于所述采集对象不是预设对象,根据所述采集对象匹配当前采集策略,并利用匹配到的采集策略对所述采集参数进行修改;

S4,利用修改后的采集参数重新建立采集任务,并根据所述匹配到的采集策略设置所述采集任务的执行条件;

S5,响应于触发所述执行条件,执行所述采集任务。

在一些实施例中,还包括:

响应于所述采集对象是预设对象,根据所述采集对象在缓存池中获取相应的数据并返回。

在一些实施例中,还包括:

分别创建若干个预设对象对应的定时任务;

根据所述定时任务循环采集相应的预设对象对应的数据;

将采集到的数据缓存到缓存池中。

在一些实施例中,根据所述采集对象匹配当前采集策略,进一步包括:

针对不同的采集对象预先创建若干个不同负载下的采集策略;

根据当前负载确定所述请求中携带的采集对象对应的采集策略。

在一些实施例中,还包括:

响应于接收到用户下发的修改所述匹配到的采集策略的指令,根据所述指令对所述匹配到的采集策略进行相应修改。

本发明提出的方案能够对数据采集请求进行差异化修改,进而提升了管理平台的管理能力。

需要特别指出的是,上述数据采集方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于数据采集方法也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在实施例之上。

最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。

此外,应该明白的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。

本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。

应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。

14页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种磁盘空间分配方法、系统、存储介质及设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类