一种基于关键点检测的仪表读数方法
阅读说明：本技术 一种基于关键点检测的仪表读数方法 (Instrument reading method based on key point detection ) 是由 汪小龙 陈俊彦 于 2021-09-06 设计创作，主要内容包括：本发明涉及图像处理领域,具体涉及一种基于关键点检测的仪表读数方法,包括：建立仪表关键点检测训练模型；获取仪表图像；基于训练模型和仪表图像获取指针仪表的指针尖端点和中心点；用指针尖端点和中心点可以计算出指针的角度；根据角度-读数映射表获取指针仪表的读数。本发明摒弃直接使用二值化的方式来检测仪表的指针,而是使用基于深度学习的关键点检测的方式来检测指针仪表的两个关键点,即指针的尖端和指针仪表的中心点。利用两个关键点可以计算出指针的角度,然后根据各个范围的角度-读数映射来获取此时指针仪表的读数,从而提高了算法的鲁棒性以及读数的精确度。(The invention relates to the field of image processing, in particular to a meter reading method based on key point detection, which comprises the following steps: establishing an instrument key point detection training model; acquiring an instrument image; acquiring a pointer tip point and a center point of the pointer instrument based on the training model and the instrument image; the angle of the pointer can be calculated by using the point of the pointer tip and the center point; and acquiring the reading of the pointer instrument according to the angle-reading mapping table. The invention abandons the mode of directly using binaryzation to detect the pointer of the instrument, and uses the mode of key point detection based on deep learning to detect two key points of the pointer instrument, namely the tip of the pointer and the central point of the pointer instrument. The angle of the pointer can be calculated by using the two key points, and then the reading of the pointer instrument at the moment is obtained according to the angle-reading mapping of each range, so that the robustness of the algorithm and the accuracy of the reading are improved.)
技术领域
本发明涉及图像处理领域，尤其涉及一种基于关键点检测的仪表读数方法。
背景技术
在自动化工厂、密集仪器实验室以及医院辐射区等区域，经常需要通过仪表的示数来评估这些环境中不同设备的运转状况，如果采用人工读数的方式，将对工人的身体健康造成极大的伤害，所以需要使用智能的方式来代替人工读取仪表的示数。
在仪表读数领域，研究方向大致分为两大类。一种是研究一种智能仪表，从硬件角度实现自动报表读取的智能设备，每当需要了解仪表的读数的时候，只需要操作硬件即可将数据显示出来。但是，硬件优化的成本比较高，且需要长期进行额外的维护。二是通过研究一种合适、高效的方法来实现指针仪表的读数功能，从而简化繁琐的人工操作步骤。在现有的一些仪表读数算法中，大都采用的是图像二值化的方法，将图像直接二值化处理虽然处理方法简单，但是也有非常大的弊端，极容易受到背景因素的影响，且对于光照因素非常敏感，除此之外，对于拍摄照片的硬件设备摄像头的要求也比较高，如果拍摄的照片比较模糊，将损失指针仪表的刻度信息，这对于读数的精度的影响是巨大的。除了直接进行二值化处理之外，还有类似模板匹配融合指针旋转的方法来检测指针仪表的读数，该种方法同样受仪表的背景因素影响极大，由于该种方法通过最高相应值来进行判断指针的指向，故一旦背景花纹较多，很容易让算法误判导致读数结果与真实结果大相径庭。除了背景因素之外，指针掩膜的旋转增量也是极为关键的因素，如果旋转增量过小，那么每一次读数所需要花费的时间过久，如果旋转增量过大，虽然减少了读数花费的时间，但是旋转增量过大，导致读数结果误差非常大。
发明内容
本发明的目的在于提供一种基于关键点检测的仪表读数方法，旨在解决现有指针仪表读数方法容易受到环境、光照影响而导致读数的可靠性大大降低的问题。
为实现上述目的，本发明提供了一种基于关键点检测的仪表读数方法，包括：建立仪表关键点检测训练模型；获取仪表图像；基于训练模型和仪表图像获取指针仪表的指针尖端点和中心点；用指针尖端点和中心点可以计算出指针的角度；根据角度-读数映射表获取指针仪表的读数。
其中，在所述获取仪表图像之后，所述基于训练模型和仪表图像获取指针仪表的指针尖端点和中心点之前，所述方法还包括判断仪表图像是否倾斜，若倾斜则进行纠偏。
其中，所述建立仪表关键点检测训练模型的具体步骤是：
建立神经网络训练数据集；
通过人工标注软件，对指针尖端点和中心点进行标注，生成对应指针仪表的标签文件；
将标签文件传入Mask R-CNN网络中进行迭代训练，得到最终的训练模型；
使用标准均方误差函数对训练模型的检测效果进行评估。
其中，所述将标签文件传入Mask R-CNN网络中进行迭代训练，得到最终的训练模型的具体步骤是：
将掩码分支结构改成关键点分支结构；
确认损失函数；
基于标签文件进行迭代训练。
其中，所述关键点分支结构由两组卷积层组成，第一组卷积层的大小为14x14x256，第二组卷积层大小为14x14x2。
其中，所述用指针尖端点和中心点可以计算出指针的角度的具体步骤包括：
以指针仪表的中心垂直作一条线，将此线作为区域分割线，设置指针仪表在示数为0时，指针的指向是区域分割线的左边；
将仪表图像中以左上角为原点的坐标转换为以图像的中心点为坐标原点的坐标；
获取指针所处象限；
结合指针所处象限计算指针的倾斜角度。
其中，所述根据角度-读数映射表获取指针仪表的读数的具体步骤是：
构建多个区间的角度-读数映射字典；
根据倾斜角度，判断指针指向的区间，根据区间的上下限计算精度；
输出指针仪表的读数。
本发明的一种基于关键点检测的仪表读数方法，包括：建立仪表关键点检测训练模型；获取仪表图像；基于训练模型和仪表图像获取指针仪表的指针尖端点和中心点；用指针尖端点和中心点可以计算出指针的角度；根据角度-读数映射表获取指针仪表的读数。本发明摒弃直接使用二值化的方式来检测仪表的指针，而是使用基于深度学习的关键点检测的方式来检测指针仪表的两个关键点，即指针的尖端和指针仪表的中心点。利用两个关键点可以计算出指针的角度，然后根据各个范围的角度-读数映射来获取此时指针仪表的读数，从而提高了算法的鲁棒性以及读数的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是单指针仪表的示例图；
图2为修改关键点分支之后的网络头部结构图；
图3是本发明的一种基于关键点检测的仪表读数方法的逻辑图；
图4是本发明的一种基于关键点检测的仪表读数方法的流程图；
图5是本发明的建立仪表关键点检测训练模型的流程图；
图6是本发明的将标签文件传入Mask R-CNN网络中进行迭代训练，得到最终的训练模型的流程图；
图7是本发明的用指针尖端点和中心点可以计算出指针的角度的流程图；
图8是本发明的根据角度-读数映射表获取指针仪表的读数的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1～图8，本发明提供一种基于关键点检测的仪表读数方法，包括：
S101建立仪表关键点检测训练模型；
以单指针仪表为例。
具体步骤为：
S201建立神经网络训练数据集；
针对单指针仪表建立神经网络训练数据集。
S202通过人工标注软件，对指针尖端点和中心点进行标注，生成对应指针仪表的标签文件；
通过人工标注软件，对单指针仪表的关键点进行标注，对于单指针仪表而言，其关键点为指针仪表的中心点P点，以及指针的尖端Q点如图1所示。标注之后生成对应指针仪表的标签文件。
S203将标签文件传入Mask R-CNN网络中进行迭代训练，得到最终的训练模型；
具体步骤是：
S301将掩码分支结构改成关键点分支结构；
基于关键点检测的仪表读数方法的模型训练过程中，需要将模型的头部分修改为适合关键点检测的头部，即将原来的掩码分支结构改成如图2所示的关键点分支结构，该结构由两组卷积层组成，第一组卷积层的大小为14x14x256，第二组卷积层大小为14x14x2，这里第二组卷积层的第三维度为2是由于认为指针仪表的关键点仅有两个，即图1中的P点和Q点。
S302确认损失函数；
修改完头部结构，还需要确认损失函数，原论文中用于训练实例分割任务的损失函数为：
L＝Lcls+Lbox+Lmask
基于关键点检测的仪表读数方法的模型训练过程中，需要将损失函数修改为如下的函数：
L＝Lcls+Lbox+Lkpt
其中，Lcls与Lbox与原来的实例分割任务中的Lcls与Lbox一致，Lcls表示类别损失项，Lbox表示预测框坐标参数损失项。修改项Lkpt的表达式为：
其中，k为关键点的数目，由于指针仪表的关键点的个数为2，所以k的取值是1和2。设H为图像的高度，W为图像的宽度，A＝{1，2，3，......，H}，B＝{1，2，3，......，W}，p表示每一个感兴趣区域除以k+1个类别的概率分布。
S303基于标签文件进行迭代训练。
S204使用标准均方误差函数对训练模型的检测效果进行评估。
所使用的标准均方误差评估函数(NE)的表达式如下：
其中k表示第k个关键点。dk是预测关键点的位置和真实关键点的位置之间的欧几里得距离。sk是距离归一化参数，对于指针仪表而言，距离归一化参数为指针仪表的半径长度。vk是关键点的能见度，在本发明中两个关键点的能见度均设置为1。如果评估结果达到了预期效果，就表明模型的训练效果已经满足需要，并利用训练好的模型检测仪表的关键点，
S102获取仪表图像；
可以通过拍照的方式获取仪表图像。
S103判断仪表图像是否倾斜，若倾斜则进行纠偏；
利用训练好的模型进行检测仪表的关键点之前，需要判断此时的仪表是否由于拍摄的角度而导致的倾斜，如果倾斜需要进行透视变换纠正指针仪表图像。
基于关键点检测的仪表读数方法的透视变换纠正指针仪表的通用过程如下：
设[X Y Z]T是原始视图平面，[x y 1]T是目标视图平面，透视变换矩阵为：
基干透视变换方程可以对原始视图平面进行透视变换：
S104基于训练模型和仪表图像获取指针仪表的指针尖端点和中心点；
将步骤S103获取的经过透视变换矫正之后的仪表图像传入模型中进行预测，即可获取指针尖端点和中心点的位置，若图像中有多个指针仪表，模型可以预测出多组仪表内的中心点和指针尖端点，将每一组中的中心点和每个指针尖端点匹配，生成多组检测对象，从而可以将多指针仪表问题转化为多个单指针仪表问题进行处理。
S105结合指针尖端点和中心点可以计算出指针的角度；
具体步骤包括：
S401以指针仪表的中心垂直作一条线，将此线作为区域分割线，设置指针仪表在示数为0时，指针的指向是区域分割线的左边；
S402将仪表图像中以左上角为原点的坐标转换为以图像的中心点为坐标原点的坐标；
其中(x′，y′)为转换前的坐标，(x，y)为转换后的坐标。
S403获取指针所处象限；
在进行计算角度之前需要判断指针指向第几象限。根据多种情况分析，得到如下的判断标准：
其中(xP，yP)和(xQ，yQ)为关键点P和Q在原图像中以图像的中心点作为坐标原点的坐标。
S404结合指针所处象限计算指针的倾斜角度；
结合指针的象限，计算此时指针相对于水平向右的x轴的角度θ：
S106根据角度-读数映射表获取指针仪表的读数。
具体步骤是：
S501构建多个区间的角度-读数映射字典；
根据图1中的指针仪表构建基于关键点检测的仪表读数方法的角度-读数映射字典，如表1所示：
表1
S502根据倾斜角度，判断指针指向的区间，根据区间的上下限计算精度；
根据倾斜角度，判断指针指向的区间，根据区间的上下限计算精度φ如下：
其中b和a分别为该区间的指针角度上下限，rb和ra分别为指针指向上下限时的读数。
S503输出指针仪表的读数。
输出此时的指针仪表的读数R为：
R＝φ*(θ-a)
本发明摒弃直接使用二值化的方式来检测仪表的指针，而是使用基于深度学习的关键点检测的方式来检测指针仪表的两个关键点，即指针的尖端和指针仪表的中心点。利用两个关键点可以计算出指针的角度，然后根据各个范围的角度-读数映射来获取此时指针仪表的读数，从而提高了算法的鲁棒性以及读数的精确度。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：杆塔藤蔓攀爬检测方法、装置、设备及存储介质