一种尾矿坝监测数据处理方法、设备及可读存储介质
阅读说明：本技术 一种尾矿坝监测数据处理方法、设备及可读存储介质 (Tailing dam monitoring data processing method and device and readable storage medium ) 是由 刘恩慧 廉绍康 赵逢春 周锐 王甜 彭冰凯 孙俊桥 于 2021-05-17 设计创作，主要内容包括：本发明涉及地质监测数据处理技术领域,具体公开一种尾矿坝监测数据处理方法、设备及可读存储介质,本发明的数据处理方法以及相应的设备和存储介质,完成与不同厂家、不同型号、不同品牌的尾矿坝监测设备进行匹配以完成监测数据的采集工作,通过一段时间的使用,数据采集器还可以完成自我学习和自我升级,直接就可以实现对市面上绝大部分的尾矿坝监测设备的数据采集工作,并将采集到的检测数据进行统一的汇总和存储,方便对监测数据的使用和分析,简化了不同类型尾矿坝监测设备的数据协同和数据分析工作,实现了不同类型的尾矿坝监测设备的数据共用,有助于尾矿坝的大数据监测分析,更好服务于救灾减灾工作。(The invention relates to the technical field of geological monitoring data processing, and particularly discloses a tailing dam monitoring data processing method, equipment and a readable storage medium, wherein the data processing method, the corresponding equipment and the storage medium of the invention finish the acquisition work of monitoring data by matching with tailing dam monitoring equipment of different manufacturers, different models and different brands, and a data acquisition unit can finish self learning and self upgrading by using the data processing method and the corresponding equipment and storage medium for a period of time, so that the data acquisition work of most tailing dam monitoring equipment on the market can be directly realized, the acquired detection data is uniformly summarized and stored, the use and analysis of the monitoring data are convenient, the data cooperation and data analysis work of different types of tailing dam monitoring equipment is simplified, the data sharing of different types of tailing dam monitoring equipment is realized, and the big data monitoring and analysis of a tailing dam are facilitated, better service the work of disaster relief and reduction.)
技术领域
本发明涉及地质监测数据处理技术领域，具体涉及一种尾矿坝监测数据处理方法、设备及可读存储介质。
背景技术
随着我国国民经济的发展，自然资源消耗量迅速增加，尾矿堆积量逐渐增加，尾矿库是矿山三大基础工程之一，对于矿山企业，尾矿库既是矿山选矿厂生产过程中不可或缺的设施又是矿山企业最大的危险源。尾矿库的建立能够起到防止尾矿向江、河、湖等处任意排放，是矿山企业一个环境保护工程项目；同时，随着尾矿库的不断堆积，尾矿坝就成了储备着高势能的人造泥石流的危险源，其一旦失事溃坝，将给下游人民生命财产、农业经济以及生态造成严重的影响和损失。世界93种事故和公害中，尾矿坝事故排名第18位，我国已发生60多起尾矿坝溃坝事故，严重威胁下游人民生命财产安全和周边生态环境。由尾矿坝引发的众多灾害中，约60％的灾害是由尾矿坝的溃坝造成的。
尾矿坝是用于储存尾矿砂和尾矿水的封闭式建筑物，考虑到许多尾矿坝都是上游筑坝方式，尾矿坝具有巨大的势能，一旦大坝损坏，巨大的势能就会转化为动能，影响下游村庄甚至严重危害居民的生命和财产安全。同时，大量的重金属蕴含在尾矿砂中，会随着水流进入地下水，会严重污染自然环境，饮用水水源，甚至对人体造成不可逆的损害。尾矿坝失事的主要原因有漫顶、坝体失稳和地震破坏等。
尾矿坝的的监测主要通过监测设备实现，市面上常用的监测手段按测量方式主要可分为接触式监测与非接触式监测。非接触式监测技术主要有雷达成像技术、三维激光扫描技术、数字近景摄影测量技术。接触式形变监测技术通常将传感器元件安装在监测目标表面或内部，通过监测目标传感器近距离获取位移数据，此类监测技术能够更直接准确地获取监测数据。常用的接触式形变监测技术主要有传统大地测量、光纤监测技术和高精度GPS监测技术。相较于非接触式监测，接触式监测类监测技术能够更直接准确地获取监测数据，而且监测设备易于采购，监测成本更低，是目前较多采用的监测手段。
接触式监测的监测设备易于采购也带来另一个弊端，就是市面上监测设备种类繁杂，不同的厂家会生产并向市场投放多种不同型号、不同规格、不同类型的监测设备，这些不同的监测设备还有可能采用的是多种不同的数据存储方法和数据传输协议，这就给不同型号、不同规格、不同类型的监测设备的监测数据的采集工作带来极大的不便，而且后期的数据处理也不方便进行，导致监测数据不能被充分地发挥其价值，也不利于防灾减灾工作的顺利开展，因此，如何协调利用多种类型的监测设备的监测数据成为了亟需解决的技术问题。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，提供一种新型的监测数据处理方法，简化了不同类型尾矿坝监测设备的数据协同和数据分析工作，实现了不同类型的尾矿坝监测设备的数据共用，有助于尾矿坝的大数据监测分析，更好服务于救灾减灾工作。
为了实现上述目的，本发明的技术方案如下：
一种尾矿坝监测数据处理方法包括以下步骤，
1)数据采集器与需要采集数据的尾矿坝监测设备建立连接，启动尾矿坝监测设备的数据传输模块；
2)同时启动数据采集器和尾矿坝监测设备，数据采集器根据尾矿坝监测设备的数据传输协议与尾矿坝监测设备建立数据连接；
3)数据采集器与数据服务器建立网络连接，数据服务器获取数据采集器的通信数据；
4)数据采集器通过步骤3)中建立的网络连接将从尾矿坝监测设备中采集到的监测数据传输至数据服务器；
5)数据服务器获取监测数据后对监测数据进行压缩处理，并存储为数据包，数据采集器在向服务器传输监测数据的同时还可以读取所述数据包。
进一步的，所述步骤1)中数据采集器与需要采集数据的尾矿坝监测设备建立的连接为硬件连接，所述硬件连接通过无线连接或有线连接方式建立；所述有线连接通过数据线或同轴线缆连接；所述无线连接通过数据通讯协议建立连接。
进一步的，所述数据线为DB9、DB25、MIB中的一种或多种，所述数据线的接口为USB、串口、TTL，所述同轴线缆为同轴光纤；所述无线连接形式包括WIFI或蜂窝数据。
进一步的，所述数据服务器获取监测数据后对监测数据进行压缩处理是对监测数据根据协议定义格式化为便于存储的键值对形式形成具有快速读取功能的数据包。
进一步的，步骤2)中数据采集器根据尾矿坝监测设备的数据传输协议与尾矿坝监测设备建立数据连接包括以下步骤：
2.1)如果数据采集器中预设有数据传输协议，则执行该数据传输协议询问需要采集数据的尾矿坝监测设备，如果数据采集器中没有预设数据传输协议，则不能建立数据连接，执行下一步骤；
2.2)数据采集器依次枚举数据传输协议尝试与尾矿坝监测设备建立数据连接，若果枚举成功并建立数据连接，则对该枚举成功的数据传输协议记录保存并返回执行步骤2.1)建立数据连接；
2.3)如果连续执行步骤2.2)多次后仍不能建立数据连接，则数据采集器发出警报提示进行手动操作。
进一步的，所述步骤2.1)中的预设的数据传输协议包括但不仅限于TXD/RXD接线端口位点、波特率、数据位；所述步骤2.2)中的手动操作为手动配置数据传输协议。
进一步的，所述步骤4)中将从尾矿坝监测设备中采集到的监测数据传输至数据服务器的步骤包括：
4.1)数据采集将采集到的数据打包成待传输数据包，并对超时未发出的待传输数据包进行压缩处理形成数据压缩包；
4.2)如果网络连接可用，则将待传输数据包传输至数据服务器；
4.3)如果网络连接不可用，则等到网络连接可用时将待传输数据包和数据压缩包一并传输至数据服务器。
进一步的，所述监测数据包括尾矿坝监测设备的实时监测数据和历史监测数据。
本发明还提供一种尾矿坝监测数据采集器，其特征在于，所述尾矿坝监测数据采集器包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的尾矿坝监测数据处理程序，所述尾矿坝监测数据处理程序被所述处理器执行时实现上述的尾矿坝监测数据处理方法的步骤。
本发明还提供一种可读存储介质，其特征在于，所述可读存储介质上存储有尾矿坝监测数据处理程序，所述尾矿坝监测数据处理程序被处理器执行时实现上述的尾矿坝监测数据处理方法的步骤。
相对于现有技术，本发明具有以下有益效果：
使用本发明的数据处理方法，首先数据采集器与需要采集数据的尾矿坝监测设备建立连接，启动尾矿坝监测设备的数据传输模块，同时启动数据采集器和尾矿坝监测设备，数据采集器根据尾矿坝监测设备的数据传输协议与尾矿坝监测设备建立数据连接，数据采集器与数据服务器建立网络连接，数据服务器获取数据采集器的通信数据，数据采集器通过已经建立的网络连接将从尾矿坝监测设备中采集到的监测数据传输至数据服务器，数据服务器获取监测数据后对监测数据进行压缩处理，并存储为数据包，数据采集器在向服务器传输监测数据的同时还可以读取所述数据包。
本发明在数据采集器中首先预置了多种市面上常用的数据传输协议，在与不同厂家、不同型号、不同品牌的尾矿坝监测设备进行数据连接时采用枚举的方式，依次尝试采用不同的数据传输协议与尾矿坝监测设备进行通信连接，指导找到合适的数据传输协议建立连接为止，同时，一旦经过枚举确定了与该型尾矿坝监测设备相适配的数据传输协议时，则对该数据传输协议以及与其相对应的尾矿坝监测设备进行记录，在后续的使用过程中可以直接采用这一数据传输协议与该型号的尾矿坝监测设备匹配进行数据传输。通过多次的枚举，本发明的数据采集器可以记录下多组相互匹配的数据传输协议和尾矿坝监测设备，即，可以完成数据采集器的自我学习和自我升级，以方便后续的使用。借助本发明的数据处理方法以及相应的设备和存储介质，在首次使用时，可以完成与不同厂家、不同型号、不同品牌的尾矿坝监测设备进行匹配以完成监测数据的采集工作，通过一段时间的使用，数据采集器还可以完成自我学习和自我升级，直接就可以实现对市面上绝大部分的尾矿坝监测设备的数据采集工作，并将采集到的检测数据进行统一的汇总和存储，方便对监测数据的使用和分析，简化了不同类型尾矿坝监测设备的数据协同和数据分析工作，实现了不同类型的尾矿坝监测设备的数据共用，有助于尾矿坝的大数据监测分析，更好服务于救灾减灾工作。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明 白，以下对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实
在本发明的描述中，需要说明的是，术语“中心”、“中”“上”、“下”、“左”、 “右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位 置关系为基于方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指 示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因 此不能理解为对本发明的限制。此外，术语“一”、“第一”、“第二”、“第三”、 “第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重 要性。
出于简明和说明的目的，实施例的原理主要通过参考例子来描述。在以下描述中，很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是，对于本领域普通技术人员，这些实施例在实践中可以不限于这些具体细节。在一些实例中，没有详细地描述公知方法和结构，以避免无必要地使这些实施例变得难以理解。另外，所有实施例可以互相结合使用。一种多设备尾矿坝监测数据处理方法，包括以下步骤，
1)数据采集器与需要采集数据的尾矿坝监测设备建立连接，启动尾矿坝监测设备的数据传输模块；
2)同时启动数据采集器和尾矿坝监测设备，数据采集器根据尾矿坝监测设备的数据传输协议与尾矿坝监测设备建立数据连接，该步骤的具体操作为：
2.1)如果数据采集器中预设有数据传输协议，则执行该数据传输协议询问需要采集数据的尾矿坝监测设备，如果数据采集器中没有预设数据传输协议，则不能建立数据连接，执行下一步骤；
2.2)数据采集器依次枚举数据传输协议尝试与尾矿坝监测设备建立数据连接，若果枚举成功并建立数据连接，则对该枚举成功的数据传输协议记录保存并返回执行步骤2.1)建立数据连接；一旦经过枚举确定了与该型尾矿坝监测设备相适配的数据传输协议时，则对该数据传输协议以及与其相对应的尾矿坝监测设备进行记录，在后续的使用过程中可以直接采用这一数据传输协议与该型号的尾矿坝监测设备匹配进行数据传输。通过多次的枚举，本发明的数据采集器可以记录下多组相互匹配的数据传输协议和尾矿坝监测设备，即，可以完成数据采集器的自我学习和自我升级，以方便后续的使用；
2.3)如果连续执行步骤2.2)多次后仍不能建立数据连接，则数据采集器发出警报提示进行手动操作。
3)数据采集器与数据服务器建立网络连接，数据服务器获取数据采集器的通信数据；
4)数据采集器通过步骤3)中建立的网络连接将从尾矿坝监测设备中采集到的监测数据传输至数据服务器；
5)数据服务器获取监测数据后对监测数据进行压缩处理，并存储为数据包，数据采集器在向服务器传输监测数据的同时还可以读取所述数据包。
为了进一步的压缩数据容量，提高数据使用效率，本发明还包括对传输至数据服务器的监测数据进行特征化处理的步骤，将监测数据经过特征化处理后形成监测特征系数，并将监测特征系数作为数据包进行存储，以此减少数据存储所占用的空间，并且有利于数据的快速使用，本发明的监测数据特征化处理的步骤为：
选取监测位置点的平面坐标(xi,yi)和正常高度zi(i＝1,2,3,……n)，计算出监测位置点P的特征属性值，如式(一)所述；
式(一)中di(x,y)＝(x-xi)2+(y-yi)2，表示监测区域离散点(xi,yi)至p(x,y)点的距离，p(z)为路基沉降所引起的地标塌陷值，wi(x，y)＝1/|di(x，y)|u为权函数，u 的取值为2；
而后计算出路基沉降区域未监测点的特征属性值加权和，如式(二)所示：
式(二)中的Z(x0)为路基沉降监测区域变化量，x表示发生路基沉降的位置点，z(x)在监测点xi(i＝1,2,3,……n)处的属性值为z(xi)(i＝1,2,3,……n)，λi(i＝1,2,3,……n)为无偏权重系数，且
最后计算得到监测位置点的监测特征系数式(三)：
式(三)中C(xi,yi)是Z(xi)和Z(yi)的协方差函数。
本发明中所涉及的数据采集器为一个嵌入式设备，其基本构成包括一个处理芯片、运行内存SDRAM、存储FLASH、串口或TTL等物理接口以及网络通讯模块，包括有线通讯或者无线通讯，比如WIFI，RJ45、4G、5G通讯模块等。
本发明所涉及的尾矿坝监测设备为一般情况使用的，带有数据传输功能的尾矿坝监测设备，这些尾矿坝监测设备可以带有或者不带有网络传输功能，其可以是不同厂家、不同品牌、不同型号的尾矿坝监测设备。
为了不破坏尾矿坝监测设备的原有外形和数据接口，降低数据采集难度，本发明所述步骤1)中数据采集器与需要采集数据的尾矿坝监测设备建立的连接为硬件连接，所述硬件连接通过无线连接或有线连接方式建立；所述有线连接通过数据线或同轴线缆连接；所述无线连接通过数据通讯协议建立连接。
本发明所使用的数据线为DB9、DB25、MIB中的一种或多种，所述数据线的接口为USB、串口、TTL，所述同轴线缆为同轴光纤；所述无线连接形式包括WIFI或蜂窝数据。
本发明所使用的连阿姐方式包括但不仅限于MIB/RS232、TTL、USB等传输形式，本发明是使用的数据传输协议包括但不仅限于RS232、TTL、USB等传输形式涉及的通讯参数，或者开放标准的HL7、VueLink协议及半开放的呼吸机厂家自定义协议。
为了便于监测数据的存储和读取使用，本发明所述数据服务器获取监测数据后对监测数据进行压缩处理是对监测数据根据协议定义格式化为便于存储的键值对形式形成具有快速读取功能的数据包。
根据目前市面常用的尾矿坝监测设备的种类和类型，本发明在步骤2.1)中的预设的数据传输协议包括但不仅限于TXD/RXD接线端口位点、波特率、数据位，还可以根据市场上最新投放的检测设备的类型进行预设数据传输协议的更新和更迭，以便于数据采集的使用。如果数据采集器经过全部的枚举均为找到与目标监测设备相匹配的数据传输协议，则在步骤2.2)中由工作人员进行手动操作，即由工作人员人工手动配置可能的数据传输协议，如果配置成功，也将该配对信息进行记录和保存。
为了保证数据传输至数据服务器的及时性和有效性，步骤4)中将从尾矿坝监测设备中采集到的监测数据传输至数据服务器的步骤包括：
4.1)数据采集将采集到的数据打包成待传输数据包，并对超时未发出的待传输数据包进行压缩处理形成数据压缩包；
4.2)如果网络连接可用，则将待传输数据包传输至数据服务器；
4.3)如果网络连接不可用，则等到网络连接可用时将待传输数据包和数据压缩包一并传输至数据服务器。
本发明对向数据服务器的数据传输具有一定的数据亢余度，在网络连接不通的情况下，可以将监测数据线暂时存储在数据采集器中，等到网络连接建立了，再将这些数据连通最新采集的数据一同传输给数据服务器，避免了在网络连接不可用时有可能导致的数据丢失问题。
为了提高数据使用的便利性，所述监测数据包括尾矿坝监测设备的实时监测数据和历史监测数据，即，只要尾矿坝监测设备与数据采集器建立了有效稳定的连接，该监测设备的全部时段的监测数据都可以完成采集和传送工作，而不仅仅限于只能采集历史数据。
为实现上述目的，本发明还提供一种尾矿坝监测数据采集器，所述尾矿坝监测数据采集器包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的多设备尾矿坝监测数据处理程序，所述多设备尾矿坝监测数据处理程序被所述处理器执行时实现上述的多设备尾矿坝监测数据处理方法的步骤。
本发明的尾矿坝监测数据采集器还包括用户接口、网络接口，存储器上还存储有操作系统，还包括网络通讯模块以及用户接口模块。
为实现上述目的，本发明还提供一种可读存储介质，本发明可读存储介质可以是计算机可读存储介质，所述可读存储介质上存储有多设备尾矿坝监测数据处理程序，所述多设备尾矿坝监测数据处理程序被处理器执行时实现上述的多设备尾矿坝监测数据处理方法的步骤。使用本发明的数据处理方法，首先数据采集器与需要采集数据的尾矿坝监测设备建立连接，启动尾矿坝监测设备的数据传输模块，同时启动数据采集器和尾矿坝监测设备，数据采集器根据尾矿坝监测设备的数据传输协议与尾矿坝监测设备建立数据连接，数据采集器与数据服务器建立网络连接，数据服务器获取数据采集器的通信数据，数据采集器通过已经建立的网络连接将从尾矿坝监测设备中采集到的监测数据传输至数据服务器，数据服务器获取监测数据后对监测数据进行压缩处理，并存储为数据包，数据采集器在向服务器传输监测数据的同时还可以读取所述数据包。
本发明在数据采集器中首先预置了多种市面上常用的数据传输协议，在与不同厂家、不同型号、不同品牌的尾矿坝监测设备进行数据连接时采用枚举的方式，依次尝试采用不同的数据传输协议与尾矿坝监测设备进行通信连接，指导找到合适的数据传输协议建立连接为止，同时，一旦经过枚举确定了与该型尾矿坝监测设备相适配的数据传输协议时，则对该数据传输协议以及与其相对应的尾矿坝监测设备进行记录，在后续的使用过程中可以直接采用这一数据传输协议与该型号的尾矿坝监测设备匹配进行数据传输。通过多次的枚举，本发明的数据采集器可以记录下多组相互匹配的数据传输协议和尾矿坝监测设备，即，可以完成数据采集器的自我学习和自我升级，以方便后续的使用。借助本发明的数据处理方法以及相应的设备和存储介质，在首次使用时，可以完成与不同厂家、不同型号、不同品牌的尾矿坝监测设备进行匹配以完成监测数据的采集工作，通过一段时间的使用，数据采集器还可以完成自我学习和自我升级，直接就可以实现对市面上绝大部分的尾矿坝监测设备的数据采集工作，并将采集到的检测数据进行统一的汇总和存储，方便对监测数据的使用和分析，简化了不同类型尾矿坝监测设备的数据协同和数据分析工作，实现了不同类型的尾矿坝监测设备的数据共用，有助于尾矿坝的大数据监测分析，更好服务于救灾减灾工作。
此外，需要说明的是，本说明书中所描述的具体实施例，其配方、工艺所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
虽然本发明已以实施例公开如上，但其并非用以限定本发明的保护范围，任何熟悉该项技术的技术人员，在不脱离本发明的构思和范围内所作的更动与润饰，均应属于本发明的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种农业物联网系统及其远距离农田数据传输方法