具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，下文为了描述方便，所引用的“上”、“下”、“左”、“右”等于附图本身的上、下、左、右等方向一致，下文中的“第一”、“第二”等为描述上加以区分，并没有其他特殊含义。

针对现有技术中存在的问题，本发明提供一种物联设备监测数据存储动态扩容方法，可以在控制合理成本投入情况下有效解决背景技术中的问题；本发明的方法是采用算法与信息化技术点相结合的创新方式来灵活的解决遇到的问题，设计达成在服务器投入资源成本合理可控前提下降低设备监测数据存储和监测数据访问应用的耦合性，实现海量监测数据存储动态在线扩容、提供高性能的查询访问支持能力，包括如下步骤：

S1、为数据存储服务器划分设备存储槽空间，依据数据库服务器配置的计算资源和存储资源，合理初始化划分设备存储槽，预留资源用于后续扩展新增存储设备槽；

首先，具体参照附图1，为数据存储服务器划分设备存储槽空间，依据数据库服务器配置的计算资源和存储资源、并评估项目中应用的设备年数据增长量，合理初始化划分设备存储槽，可预留资源用于后续扩展新增存储设备槽；

在S1中，划分存储设备槽的过程，在物理操作上对应的自动化创建物理数据库表的过程，编写自动化脚本执行程序实现，表的命名采用slot+顺序数字组成；在S1中，每个存储槽在逻辑概念上用于存储单个设备的数据，物理上的概念存储槽对应的就是数据库物理表，具备规范命名的库名与表名；当物联设备绑定了设备存储槽，设备相关数据存储和访问可寻址到对应的库与表；

其次，从完整的物联监测数据存储访问工作过程来看，具体参照附图2，从物联网功能角度分析，存在设备绑定接入存储过程和应用中设备数据查询过程；

具体参照附图3可以得到：S2、物联设备初次接入，当存在多个数据库存储节点时，每个数据库存储节点发生为接入设备分配设备存储槽事件后均需记录当前最新的已用和可用的存储槽数量，并统一汇总可用存储空闲状态数据供新设备绑定分配存储槽时获取存储节点最新的设备存储槽空闲率；在S2和S3中，上述步骤为设备绑定接入存储过程，整个过程基于算法的为设备路由-绑定设备槽算法；在获取存储槽空闲率时，单台服务器存储槽的空闲率的计算公式为：设备存储槽空闲率＝在用设备存储槽数量/总设备存储槽数量；

S3、通过算法比较判定，获取当前负载最轻的存储节点，并从此节点上为设备划分设备存储槽，设备绑定存储槽后即确定了设备的存储数据库和存储物理表，为后续的设备数据访问寻址提供依据；

在S3中，每台服务器存储节点的汇总存储状态数据和明细分配数据均会随着每次分配绑定设备存储槽后更新变动，统一汇集集中存储，用于接入设备时快速调用算法计算每个存储节点的空闲率从而判定为设备分配当前负载最轻的存储节点上的存储槽空间；

具体参照附图4可以得到：S4，该步骤为应用中设备数据查询过程；在物联应用中存在若干设备数据查询，在单个或多个设备数据查询时，可方便获取设备绑定的存储槽对应的目标库和表信息，通过数据库中间件工具实现不同数据库的连接查询执行，将查询结果返回应用；在S4中，数据库中间件用于连接底层多个分布式数据源、支持多线程并行查询并聚合多个设备查询结果以及支持动态更新配置文件实现数据源的动态扩展。

综合以上算法及应用技术点，物联设备监测数据存储动态扩容方法的发明，既可以增强存储节点的算力及存储资源配置，纵向通过动态扩展新增设备存储槽来提高接入的物联设备数量；也可以增强底层存储节点服务器的数量，支持横向动态线性扩充加入存储服务器并在新增存储节点上配置可用的设备存储槽来提高系统的整体吞吐量，对于物联网时序型监测数据应用具备很好的扩展性、实用性、合理性。

申请人对当前常规技术方案存在的缺陷进行分析：

如，采用传统关系型数据库存储数据，存在前期表结构设计的难点，依据物联监测数据具备时序性的特征，

一方面单个设备存储数据量年增量可达数百万级，多个设备存储在一张表里会导致单表数据量过大，性能瓶颈很快暴露，按业务规则将部分设备数据存储在一张表里存在不同应用特征的差异化，如：在不同厂房范围内的设备为一组、不同用途的设备为一组等；不同应用中业务规则可能存在变化，规则变化导致设备存储空间分布难均匀，且要做差异化适配导致研发成本提高；

另一方面，存储设计机制关系到一段时间数据增长后应用访问效率及存储扩容运维便利性，在传统设计机制下扩容迁移数据不方便，需要从数据库表中读取固定的设备数据，移动存储到扩展库中完成迁移，工作量巨大且对迁移期间对应用系统访问体验差带来隐患问题；多个设备存储物理表的数据量不均匀也会导致随时间增长后访问效率出现偏差，物联表空间小相对访问性能好些，物联表空间大访问性能下降严重，带来体验问题。

如，完全采用大数据技术方案，技术上可通过离线数据仓库实现离线数据加工和实时流计算引擎实时分析处理数据，满足延时类分析统计和实时类分析统计需求；但完全大数据技术方案更适宜应用在较大项目中，大数据技术更多依赖多台算力一般的服务器组成集群，以多服务器集群并行运算来解决大量计算和存储扩展的问题，要达到效果项目前期就要求投入一定数量的服务器资源，成本相对投入较高且技术研发周期也较长，对于一些体量和项目经费有限的项目并不合适；

本发明综合分析上述常规技术方案的缺陷，设计一种物联设备监测数据存储动态扩容方法采用算法与信息化技术点相结合的创新方式来灵活的解决遇到的问题；物联设备监测数据存储动态扩容方法由：设备数据存储槽、分布式数据库连接中间件、物联设备存储访问路由算法三部分关键技术部分组成，具体为：

一，采用设备数据存储槽设计

设备数据存储槽是本发明中的一个逻辑概念，一个设备存储槽实际对应关系型数据库的一张物理存储表，强调单个设备具备唯一的设备存储槽，一个设备采集的监测数据仅存储在一张数据库物理表内；在物联感知监测数据存储领域，单个设备存储单张表的优势为：一方面避免了多个设备存储一张表长期数据量增长过快导致的访问性能问题，规避在很多设备数据查询场景中需查个别指定设备却需要从表中扫描过滤大量其他设备表的数据；

单个设备数据独立存储若是按5年计算，单表数据量可达到几千万级，单个设备的数据指标均有上传时间戳标记，利用时间戳创建索引，千万级数据量也可在短时间范围查询窗口(如:5分钟、10分钟等)实时快速查询出结果；对周期性统计的计算也可保障做延时加工汇总计算得出统计结果；设备存储槽具备可标识的存储槽名称，存储槽分配给设备占用后，设备将和存储槽空间绑定，后续结合智能设备路由算法可自动化从固定的存储槽读写数据；

存储槽设计解决了上述存储访问性能问题外，当发生存储扩容和迁移时操作也大大提高了便利性；评估数据库服务器的存储性能和容量，前期可自动化创建设备数据存储槽空间，即利用程序自动化依据算力和容量创建合适的设备存储表数量；当提高服务器硬件性能时，仍可应用同样的扩容程序脚本自动化扩展设备存储槽位；当存在特殊原因必须要迁移设备数据时，因单个设备数据存储在唯一的存储槽内，采用按设备自动化迁移的方式，将设备数据存储槽平滑迁移转储到其他数据库上即可。

设备存储槽的设计规避表设计的难点，降低了设备数据查询访问应用和设备数据存储之间的耦合性；

二，采用分布式数据库连接中间件设计

随着上线物联设备数增加和时间推移，存储的监测数据量持续增长，单一的数据存储资源服务器会逐步达到承载上限，设计当到达一定的数据承载量时，可在线扩充数据库服务器，在新扩充的数据库服务器上新增设备数据存储槽空间，分布式数据库连接中间件设计目的就是达成支持线性扩展连接多个数据库服务器；

数据库中间件是一个支持多个数据库连接的中间件应用程序，中间件程序为每个连接的数据源创建可配置连接数量的数据库连接，并保持数据库连接用于设备数据存储和设备数据访问；数据库连接上一般运行对应库上存储的单个或多个设备相关sql语句。

数据库中间件提供YAML格式的数据库连接配置文件，当扩展数据库连接时支持动态配置修改数据库连接配置文件，修改后触发程序配置内容在线更新生效，完成底层分布式数据库动态扩容增加算力和存储；

三，采用物联设备存储访问路由算法设计

物联设备在初次接入物联网云平台时，系统会依据后端分布式存储节点上的现有设备存储槽使用空闲率来为接入的物联设备划分具体的设备存储槽存储监测数据；存储服务器上的设备存储槽存在状态忙碌、空闲，已被绑定设备的存储槽为忙碌，仅分配了存储空间但还未绑定设备的为空闲；

每台服务器存储节点的汇总存储状态数据和明细分配数据均会随着每次分配绑定设备存储槽后更新变动，统一汇集集中存储，用于接入设备时快速调用算法计算每个存储节点的空闲率从而判定为设备分配当前负载最轻的存储节点上的存储槽空间，实现设备数据存储均匀分布；

存储服务器节点上可分配的存储槽数量需合理评估，如在服务器计算及存储资源一致的情况下，可始终为每台服务器预分配一致的存储槽数量；如不同的服务器计算及存储资源不一致，建议评估后按实际情况先预分配合理数量的存储槽，预分配的存储槽数量建议不要过多，可在使用一定量后通过存储槽扩展功能在服务器计算和存储资源有冗余的情况下后续通过程序功能在线扩展；设计的好处是应对不同体量的项目时可以合理评估资源需求，灵活合理的逐步增加投入服务器存储资源。

由以上三个关键技术组成的物联设备监测数据存储动态扩容方法相对应其他常规技术方案的优点总结如下，参照有益效果中提到的内容。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。