具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

图1为本发明实施例提供的一种基于去重规则的物联网单数据存储方法的流程图，本实施例可适物联网设备数据的存储。本申请一实施例方案具体包括如下步骤：

步骤S101、第一节点设备接收第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度。

其中，该第一节点设备可以是物联网网关设备，第二节点设备可以是物联网网关设备覆盖下的物联网终端设备。第二节点设备上传数据至第一节点设备，通过第一节点设备将数据发送至服务器进行存储。可选的，该第一节点设备还可以是从众多第二节点设备中选择确定出的中转设备。

在一个实施例中，第一节点设备对接收的第二节点设备的物联网数据集合进行处理，具体为确定所述物联网数据集合中数据内容的关联度。示例性的，以字符数据为例，第二节点设备1上传的数据a包括8个字段，其中字段1-6为通用字段，字段7、字段8为表征当前数据特性的字段，则字段1-6在各个数据中为关联字段；以图像数据为例，第二节点设备2在第一时刻上传图像a，在第二时刻上传图像b，图像a和图像b之间可确定其图像关联度，如背景图像内容一致，且没有特殊目标物体，则二者关联度为100%，如存在目标物体的差别，则示例性的以目标物体索赞所占整体图像的面积大小确定二者关联度，如占据图像整体10%，则判定关联度为90%；以文字内容为例，第二节点设备3上传了文字a和文字b，通过相似度比对，如确定出二者在开头或结尾部分内容一致，其关联度为100%中间内容部分，存在明显文字差异，相似度为0。

步骤S102、根据所述数据内容的关联度以及数据类型确定去重处理规则。

在一个实施例中，以数据内容包括字符型、音频型和视频图像型为例，针对每种类型的数据，在确定出相似度后，相应的去重处理机制存在差异。

具体的，针对每种数据类型可设置以关联度阈值，确定出的物联网数据集合中的数据的关联度大于该关联度阈值时，则根据对应的数据类型匹配相应的去重处理规则。示例如下表所示：

其中，去重规则1示例性的可以是：提取相同内容的字符作为公有数据，剩余作为私有数据，公有数据单独存储一份，私有数据均单独存储；去重规则2示例性的可以是：针对不包含特定目标（如人）的声音的音频部分进行删除；去重规则3示例性的可以是：删除视频图像中的背景图像，或提取目标物（如车辆）图像进行单独保存。

步骤S103、确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。

在一个实施例中，不同去重规则对应不同的处理的服务器，确定去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。其中，针对每种去重规则设置有单独对应的服务器进行批量处理，提高去重存储效率。

由此可知，通过第一节点设备接收第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；根据所述数据内容的关联度以及数据类型确定去重处理规则；确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存，提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

图2为本发明实施例提供的另一种基于去重规则的物联网单数据存储方法的流程图。在上述技术方案的基础上，所述确定所述物联网数据集合中数据内容的关联度，包括：

根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。具体为：

步骤S201、第一节点设备接收第二节点设备发送的物联网数据集合，根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。

在一个实施例中，对确定关联度的方式进行了进一步限定，具体为根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。如前后上传的两幅图像，或前后上传的采集的传感数据等。

步骤S202、根据所述数据内容的关联度以及数据类型确定去重处理规则。

步骤S203、确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。

由上述可知，通过第一节点设备接收第二节点设备发送的物联网数据集合，根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度，提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

图3为本发明实施例提供的另一种基于去重规则的物联网单数据存储方法的流程图。在上述技术方案的基础上，所述根据所述数据内容的关联度以及数据类型确定去重处理规则包括：

如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则；

如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则。具体为：

步骤S301、第一节点设备接收第二节点设备发送的物联网数据集合，根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。

步骤S302、如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则，如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则。

在一个实施例中，该第一预设值可以是90%，第一预设类型可以是视频图像类型，第二预设类型可以是音频类型。其中，将相同的（即关联的）数据内容保留一份，进行合并处理，针对非关联的部分则单独保留的处理规则；删除处理规则可以是删除不包含人声部分的音频数据段。

步骤S303、确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。

由上述方案可知，如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则，如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则，提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

图4为本发明实施例提供的另一种基于去重规则的物联网单数据存储方法的流程图。在上述技术方案的基础上，所述处理服务器进行去重处理，包括：

如果为删除处理规则对应的服务器，根据所述数据类型确定数据删除内容，并将所述删除内容进行合并后保存至存储器。具体为：

步骤S401、第一节点设备接收第二节点设备发送的物联网数据集合，根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。

步骤S402、如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则，如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则。

步骤S403、确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器，如果为删除处理规则对应的服务器，根据所述数据类型确定数据删除内容，并将所述删除内容进行合并后保存至存储器。

在一个实施例中，存在两种不同数据处理类型的服务器设备。示例性的，如果为删除处理规则对应的服务器，根据所述数据类型确定数据删除内容，并将所述删除内容进行合并后保存至存储器，具体的，以音频数据类型为例，其对应的删除内容为不包含人声音的音频数据段，则将不包含人声的音频数据段删除后进行合并后保存至存储器。

由上述可知，通过确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器，如果为删除处理规则对应的服务器，根据所述数据类型确定数据删除内容，并将所述删除内容进行合并后保存至存储器提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

图5为本发明实施例提供的一种基于去重规则的物联网单数据存储装置的结构框图，该装置用于执行上述数据接收端实施例提供的基于去重规则的物联网单数据存储方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置具体包括：数据接收处理模块101、规则确定模块102和数据发送模块103，其中，

数据接收处理模块101，用于接收第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；

规则确定模块102，用于根据所述数据内容的关联度以及数据类型确定去重处理规则；

数据发送模块103，用于确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。

由上述方案可知，通过第一节点设备接收第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；根据所述数据内容的关联度以及数据类型确定去重处理规则；确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。本方案，提高了数据存储效率，便于数据的传输和维护，同时保证了数据稳定性、安全性。

在一个可能的实施例中，所述数据接收处理模块具体用于：

根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。

在一个可能的实施例中，所述规则确定模块具体用于：

如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则；

如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则。

在一个可能的实施例中，所述数据发送模块具体用于：

如果为删除处理规则对应的服务器，根据所述数据类型确定数据删除内容，并将所述删除内容进行合并后保存至存储器。

图6为本发明实施例提供的一种基于去重规则的物联网单数据存储设备的结构示意图，如图6所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图6中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图6中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于去重规则的物联网单数据存储方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于去重规则的物联网单数据存储方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于去重规则的物联网单数据存储方法，该方法包括：

第一节点设备接收第二节点设备发送的物联网数据集合，确定所述物联网数据集合中数据内容的关联度；

根据所述数据内容的关联度以及数据类型确定去重处理规则；

确定所述去重处理规则对应的处理集群中的处理服务器，将所述第二节点设备发送的物联网数据集合发送至所述处理服务器进行去重处理后，进行数据保存。

在一个可能的实施例中，所述确定所述物联网数据集合中数据内容的关联度，包括：

根据所述物联网集合中相邻数据的内容相似度确定数据内容的关联度。

在一个可能的实施例中，所述根据所述数据内容的关联度以及数据类型确定去重处理规则包括：

如果所述数据内容的关联度大于第一预设值，且数据类型为第一预设类型，则确定对应的去重处理规则为合并处理规则；

如果所述数据内容的关联度大于所述第一预设阈值，且数据类型为第二预设类型，则确定对应的去重处理规则为删除处理规则。

在一个可能的实施例中，所述处理服务器进行去重处理，包括：

如果为删除处理规则对应的服务器，根据所述数据类型确定数据删除内容，并将所述删除内容进行合并后保存至存储器。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（Random Access Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务，或者网络设备等）执行本发明实施例各个实施例所述的方法。

值得注意的是，上述基于去重规则的物联网单数据存储装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。