基于模板简化的物联网网关数据处理方法及装置

文档序号:615151 发布日期:2021-05-07 浏览:9次 >En<

阅读说明:本技术 基于模板简化的物联网网关数据处理方法及装置 (Internet of things gateway data processing method and device based on template simplification ) 是由 温文坤 王鑫 马凤鸣 林英喜 刘毅 陈名峰 于 2021-01-20 设计创作,主要内容包括:本发明实施例公开了一种基于模板简化的物联网网关数据处理方法及装置,该方法包括:对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。本方案,提高了数据存储、转发效率,优化了物联网数据传输系统。(The embodiment of the invention discloses a template simplification-based method and a template simplification-based device for processing gateway data of the Internet of things, wherein the method comprises the following steps: analyzing the acquired data uploaded by a plurality of different terminal devices to generate data storage templates corresponding to different acquired data, wherein the data storage templates comprise public data and private data; receiving data to be forwarded sent by terminal equipment, determining a data storage template corresponding to the data to be forwarded, and converting the data to be forwarded into a corresponding data storage template format for data storage; and when the data storage amount is detected to be larger than the set data sending amount upper limit, sending the stored data to the server. According to the scheme, the data storage and forwarding efficiency is improved, and the data transmission system of the Internet of things is optimized.)

基于模板简化的物联网网关数据处理方法及装置

技术领域

本申请实施例涉及物联网技术领域,尤其涉及一种基于模板简化的物联网网关数据处理方法及装置。

背景技术

随着物联网技术的普及以及智能设备的功能的强大,物联网设备在人们日常生活中扮演着越来越重的角色。各类智能化的物理网终端设备被应用在各个领域。通常,物联网通过各类信息感知设备将物品与互联网相联,让所有能够被独立寻址的普通物理对象可以实现信息交换,最终达到智能化识别、定位、跟踪、监控和管理的目。

通常,物联网终端在和服务器进行数据交互时,需要通过物联网网关进行数据的转发,如何提高物联网网关的数据处理效率是目前急需解决的问题。

发明内容

本发明实施例提供了一种基于模板简化的物联网网关数据处理方法及装置,提高了数据存储、转发效率,优化了物联网数据传输系统。

第一方面,本发明实施例提供了一种基于模板简化的物联网网关数据处理方法,该方法包括:

对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;

接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;

当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

可选的,所述对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,包括:

确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板。

可选的,所述基于所述相似度生成不同采集数据对应的数据存储模板,包括:

基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板。

可选的,所述将所述待转发数据转换为对应的数据存储模板格式进行数据存储,包括:

如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。

第二方面,发明实施例还提供了一种基于模板简化的物联网网关数据处理装置,包括:

模板生成模块,用于对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;

数据存储模块,用于接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;

数据发送模块,用于当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

可选的,所述模板生成模块具体用于:

确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板。

可选的,所述模板生成模块具体用于:

基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板。

可选的,所述数据存储模块,具体用于:

如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。

第三方面,本发明实施例还提供了一种基于模板简化的物联网网关数据处理设备,该设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所述的基于模板简化的物联网网关数据处理方法。

第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的基于模板简化的物联网网关数据处理方法。

本发明实施例中,通过对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。本方案,提高了数据存储、转发效率,优化了物联网数据传输系统。

附图说明

图1为本发明实施例提供的一种基于模板简化的物联网网关数据处理方法的流程图;

图2为本发明实施例提供的另一种基于模板简化的物联网网关数据处理方法的流程图;

图3为本发明实施例提供的另一种基于模板简化的物联网网关数据处理方法的流程图;

图3a为本发明实施例提供的一种数据存储模板示意图;

图4为本发明实施例提供的另一种基于模板简化的物联网网关数据处理方法的流程图;

图5为本发明实施例提供的一种基于模板简化的物联网网关数据处理装置的结构框图;

图6为本发明实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。

图1为本发明实施例提供的一种基于模板简化的物联网网关数据处理方法的流程图,本实施例可适物联网设备的数据处理,可由物联网网关设备执行。本申请一实施例方案具体包括如下步骤:

步骤S101、对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据。

在一个实施例中,物联网中的终端设备上传数据至物联网网关设备进行数据的存储、转发,物联网网关设备可将接收到的终端设备的上传数据发送至服务器以实现终端设备与服务器之间的通信,来实现相应的功能。

在一个实施例中,物联网网关设备在对终端设备上传的数据进行存储时,首先对上传的数据进行分析生成不同采集数据对应的数据存储模板,当生成模板后,将当前上传的数据以及后续上传的数据以该数据存储模板的形式进行数据存储。可选的,进行的数据分析包括同一个终端设备上传的数据或者多个不同的终端设备上传的数据的相似度分析。以字符数据为例,终端设备1上传的数据a包括8个字段,其中字段1-6为通用字段,字段7、字段8为表征当前数据特性的字段;以图像数据为例,终端设备2在第一时刻上传图像a,在第二时刻上传图像b,图像a和图像b之间可确定相似一致的图像内容,如背景图像内容一致;以文字内容为例,终端设备3上传了文字a和文字b,通过相似度比对,如确定出二者在开头或结尾部分内容一致。

在一个实施例中,数据存储模板包括公有数据和私有数据,其中,公有数据可以是对分析的上传数据中确定出的相同部分的数据内容,私有数据为对分析的上传数据中确定出的特性(即存在区别)部分的数据内容。

在另一个实施例中,对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,包括:对不同终端设备进行分组,得到分组终端设备;对每个所述分组终端设备中的上传的数据,确定非需求数据,根据所述非需求数据和剩余数据生成不同采集数据对应的数据存储模板。具体的,生成的数据存储模板的方式为对不同终端设备进行分组,得到分组终端设备,即将同类型的终端设备分为同一组,如采集环境参数的终端设备分为一组,录像监控设备分为一组。对每个所述分组终端设备中的上传的数据,确定非需求数据。其中,以声音数据为例,该非需求数据可以是不包含人声的数据。根据所述非需求数据和剩余数据生成不同采集数据对应的数据存储模板,以前述声音数据为例,其需求数据为包含人声的音频,则该对应的数据存储模板为去除上传数据中的非需求数据,保留剩余(即需求数据)数据的存储模板。

步骤S102、接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储。

在一个实施例中,在前述确定数据存储模板时,可相应记录每种数据所对应的数据存储模板,该数据存储模板同时对应于不同类型的数据,如文字、字符、图片、声音等,该数据存储模板和具体的数据存储方式相对应,如以图片内容为例,数据存储方式可以是背景加目标物体。

其中,在生成数据存储模板后,对接收的待转发数据以数据存储模板的形式进行存储,如该待转发数据为终端设备2在第三时刻上传的图像c,如果该图像c中存在区别于背景的目标物体,则将该目标物体进行单独保存,将背景部分采用前述生成数据存储模板时的背景部分进行标识,即只进行目标物体的存储。

步骤S103、当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

在一个实施例中,物联网网关接收终端设备上传的数据,并采用生成的模板进行数据存储,当检测到数据存储的数据量大于设定数据发送量上限时(如存储空间的80%),将存储的数据发送至服务器。

由此可知,通过对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。本方案,提高了数据存储、转发效率,优化了物联网数据传输系统。

图2为本发明实施例提供的另一种基于模板简化的物联网网关数据处理方法的流程图。在上述技术方案的基础上,所述对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,包括:

确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板。具体为:

步骤S201、确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据。

在一个可能的实施例中,确定不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板。具体的,将各个终端设备上传的数据中,数据内容一致或相似度大于80%的内容确定为公有数据,内容不一致或相似度低于80%的数据确定为私有数据,存储过程中,仅存储一份公有数据,针对私有数据则对照上传的数据进行每份的单独存储。以视频图像为例,针对同一区域不同角度拍摄的视频画面,其相似度大于80%的视频帧作为公有数据进行存储,对于相似度小于80%的视频帧分别作为私有数据进行存储。

步骤S202、接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储。

步骤S203、当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

由上述可知,通过确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据,提高了数据存储、转发效率,优化了物联网数据传输系统。

图3为本发明实施例提供的另一种基于模板简化的物联网网关数据处理方法的流程图。在上述技术方案的基础上,所述基于所述相似度生成不同采集数据对应的数据存储模板,包括:

基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板。具体为:

步骤S301、确定多个不同终端设备上传的数据的相似度,基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板,所述数据存储模板包括公有数据和私有数据。

在一个实施例中,如图3a所示,图3a为本发明实施例提供的一种数据存储模板示意图,该数据存储模板包括公有数据和私有数据,公有数据为前述说明中确定的满足条件的共同数据,私有数据为特性数据,针对接收到的终端设备上传的数据,采用该模板方式进行存储。

步骤S302、接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储。

步骤S303、当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

由上述可知,通过确定多个不同终端设备上传的数据的相似度,基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板,所述数据存储模板包括公有数据和私有数据,提高了数据存储、转发效率,优化了物联网数据传输系统。

图4为本发明实施例提供的另一种基于模板简化的物联网网关数据处理方法的流程图。在上述技术方案的基础上,所述将所述待转发数据转换为对应的数据存储模板格式进行数据存储,包括:

如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。具体为:

步骤S401、确定多个不同终端设备上传的数据的相似度,基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板,所述数据存储模板包括公有数据和私有数据。

步骤S402、接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。

在一个实施例中,在生成数据存储模板时相应的生成该数据存储模板的原始数据,如记录原始数据的内容标识,当接收终端设备发送的待转发数据时,提取该待转发数据的内容标识,找到对应该内容标识的数据存储模板进行相应存储。具体的,如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。

步骤S403、当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

由上述可知,通过接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储,提高了数据存储、转发效率,优化了物联网数据传输系统。

在上述技术方案的基础上,针对服务器发送的数据上报指令,对其进行相应后,采用被动上传数据至服务器的方式。具体的,接收服务器发送的数据上报指令,所述数据上报指令关联于服务器端输入的场景查询事件;获取和所述数据上报指令对应的私有数据,将所述私有数据上传至所述服务器。其中,服务器接收输入的场景查询事件,根据所述场景查询事件确定对应的数据获取特征,基于所述数据获取特征生成数据上报指令,所述数据上报指令记录对应的数据特征。具体的,网关设备获取所述数据上报指令中的数据特征;基于所述数据特征确定对应匹配的私有数据,将所述私有数据上传至服务器。在一个实施例中,在一个实施例中,针对数据上报指令进行数据库查询,由于存储的数据采用数据存储模板形式保存为公有数据和私有数据,此时将满足查询条件的私有数据进行上报。优选的,当接收到另一上报指令时,如需要上传公有数据的上报指令,则将对应公有数据进行上报。在一个实施例中,在一个实施例中,服务器接收输入的场景查询事件,该场景查询事件为具体的想要得到的查询需求对应的事件,如查询某一区域温度大于设定温度值的天数,相应的根据该场景查询事件确定对应的数据获取特征为大于设定温度的温度值的获取,基于此生成数据上报指令,该数据上传指令包括设置比对的设定温度如25摄氏度,以及相应的数据查询范围,如针对某一区域某一日期区间的终端设备上报数据的查询。

图5为本发明实施例提供的一种基于模板简化的物联网网关数据处理装置的结构框图,该装置用于执行上述数据接收端实施例提供的基于模板简化的物联网网关数据处理方法,具备执行方法相应的功能模块和有益效果。如图5所示,该装置具体包括:模板生成模块101、数据存储模块102和数据发送模块103,其中,

模板生成模块101,用于对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;

数据存储模块102,用于接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;

数据发送模块103,用于当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

由上述方案可知,通过对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。本方案,提高了数据存储、转发效率,优化了物联网数据传输系统。

在一个可能的实施例中,所述模板生成模块具体用于:

确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板。

在一个可能的实施例中,所述模板生成模块具体用于:

基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板。

在一个可能的实施例中,所述数据存储模块,具体用于:

如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。

图6为本发明实施例提供的一种基于模板简化的物联网网关数据处理设备的结构示意图,如图6所示,该设备包括处理器201、存储器202、输入装置203和输出装置204;设备中处理器201的数量可以是一个或多个,图6中以一个处理器201为例;设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接,图6中以通过总线连接为例。存储器202作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的基于模板简化的物联网网关数据处理方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的基于模板简化的物联网网关数据处理方法。输入装置203可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。

本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于模板简化的物联网网关数据处理方法,该方法包括:

对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,所述数据存储模板包括公有数据和私有数据;

接收终端设备发送的待转发数据,确定所述待转发数据对应的数据存储模板,将所述待转发数据转换为对应的数据存储模板格式进行数据存储;

当检测到数据存储的数据量大于设定数据发送量上限时,将存储的数据发送至服务器。

在一个可能的实施例中,所述对采集到的多个不同终端设备上传的数据进行分析生成不同采集数据对应的数据存储模板,包括:

确定多个不同终端设备上传的数据的相似度,基于所述相似度生成不同采集数据对应的数据存储模板。

在一个可能的实施例中,所述基于所述相似度生成不同采集数据对应的数据存储模板,包括:

基于所述相似度确定公有数据和私有数据,生成包含公有数据和私有数据的数据存储模板。

在一个可能的实施例中,所述将所述待转发数据转换为对应的数据存储模板格式进行数据存储,包括:

如果确定出的待转发数据对应的数据存储模板中存在公有数据,则提取所述待转发数据的私有数据进行关联存储。

通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明实施例可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(Random Access Memory, RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务,或者网络设备等)执行本发明实施例各个实施例所述的方法。

值得注意的是,上述基于模板简化的物联网网关数据处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。

注意,上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明实施例不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明实施例构思的情况下,还可以包括更多其他等效实施例,而本发明实施例的范围由所附的权利要求范围决定。

14页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:资源推荐方法、装置、电子设备和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!