阅读说明：本技术 一种基于计算机视觉的液压支架调平调直方法 (Hydraulic support leveling and straightening method based on computer vision ) 是由 刘川贺 刘志高 马永飞 于 2020-04-26 设计创作，主要内容包括：本发明公开了一种基于计算机视觉的液压支架调平调直方法,在多个液压支架上各设置两个圆形反光标志,通过摄像头拍摄各反光标志的照片,对照片进行YOLOv3算法和SITF算子处理,求出反光标志中心点的三维坐标,再拟合成长直线,然后根据反光标志中心点与直线的距离计算偏移量,再进行对齐操作。该方法可以在无人值守条件下自动将液压支架调直调平,操作精度高,便于提升采煤的自动化水平。(The invention discloses a computer vision-based hydraulic support leveling and straightening method, which comprises the steps of arranging two circular light reflecting marks on a plurality of hydraulic supports respectively, shooting photos of the light reflecting marks through a camera, carrying out YOLOv3 algorithm and SITF operator processing on the photos, solving the three-dimensional coordinates of the central points of the light reflecting marks, fitting a long straight line, calculating the offset according to the distance between the central points of the light reflecting marks and the straight line, and carrying out alignment operation. The method can automatically straighten and level the hydraulic support under the unattended condition, has high operation precision and is convenient for improving the automation level of coal mining.)

一种基于计算机视觉的液压支架调平调直方法

技术领域

本发明涉及煤炭开采所用的液压支架调直调平领域，具体涉及一种基于计算机视觉的液压支架调平调直方法。

背景技术

现代煤炭开采时，要在井下巷道内依次排列液压支架，液压支架朝向煤炭综采面，采煤机在液压支架前的溜槽内运动并将煤从综采面上割下，然后落入采煤机下方的刮板运输机上运走。实际操作中，需要液压支架水平并排列整齐，液压支架的不平或排列不齐会影响采煤机的顺利前进甚至导致事故。目前，液压支架的调平和调直主要通过人工操作液压支架的控制系统来进行，并依据工人经验对调平调直的程度进行判断，对工人技能要求高，效率偏低，也不符合无人值守采煤的发展趋势。

发明内容

本发明的目的是提供一种基于计算机视觉的液压支架调平调直方法，该方法可以在无人值守条件下自动将液压支架调直调平，操作精度高，便于提升采煤的自动化水平。

为了实现上述目的，本发明采取如下技术方案：

一种基于计算机视觉的液压支架调平调直方法，包括依次排列的多个液压支架，其特征在于包括如下步骤：

（a）在每个所述液压支架的相同位置设置两个反光标志，并确定所述两个反光标志中心点的实际距离；

（b）每隔若干液压支架设置摄像头，并保证每个液压支架上的反光标志能够被相邻的两个摄像头拍到；

（c）所述摄像头同时曝光对各所述液压支架上的反光标志进行拍摄得到照片，利用YOLOv3算法得到每个摄像头拍摄到的各反光标志的所在区域，并用椭圆拟合法进行反光标志的高精度定位从而求出各反光标志的中心点的二维坐标；

（d）利用SIFT算子提取所述液压支架所处环境的纹理特征，结合所述反光标志点，用基于多条核线约束的匹配方法，利用多张像片上的核线约束来实现相应像点的匹配，获取所有反光标志中心点的三维相对坐标；

（e）利用所述两个反光标志中心点的实际距离，通过所述反光标志中心点的三维相对坐标，求出各反光标志的中心点的三维绝对坐标；

（f）根据所有反光标志的中心点的三维坐标拟合出两条目标直线，并计算各所述中心点与目标直线的距离，计算出所述各中心点对所述目标直线的偏移量；

（g）每个液压支架的控制系统根据所述偏移量控制该液压支架在竖直方向上进行调平和朝向与远离采煤面的水平方向的调整，以减小所述偏移量至预设的阈值范围。

优选的，其特征在于，所述反光标志为圆形反光标志。

优选的，所述步骤（g）中，每个所述液压支架的控制系统根据所述偏移量控制该液压支架在竖直方向上进行一个幅度的调平和朝向与远离采煤面的水平方向的一个幅度调整，然后根据步骤（b）至（f）重新计算所述偏移量，并根据所述偏移量再进行一个幅度的所述调平和调整，以此类推，直至减小所述偏移量至预设的阈值范围为止。

本发明有益效果在于，通过设置圆形反光标志和为液压支架分组并为每组设置两个摄像头，可以使每个摄像头均同时拍摄到带有反光标志的照片，从而可以引入YOLOv3智能算法，并由此得出放光标志的二维坐标。通过SIFT算子提取环境纹理特征能够更精准地确定反光标志的坐标，再结合多相片点云的匹配即可确定反光标志圆心的三维坐标，从而为拟制支线以及计算每个圆心对支线的偏移量创造条件，最后根据偏移量不断校正液压支架的位置直至调平调直。使用圆形反光标志尤其适合井下光线较暗环境的拍摄，容易使反光标志与背景进行明显区分，便于YOLOv3算法更好识别反光标志并计算出外接矩形位置。本方法将计算机视觉智能算法与具体采煤环境相结合，采用两个摄像头同时拍摄并作为数据源，可以避免摄像头随液压支架运动所带来的干扰，也为摄像头的设置提供了方便。

具体实施方式

下面通过具体实施例对本发明做进一步说明：

假设有20台液压支架，每台液压支架顶梁下侧设置两个圆形反光标志，每隔5台液压支架分别相对设置摄像头，分别为：第1台、第6台、第11台分别相对设置摄像头，保证每个反光标志都能被相邻两个摄像头拍摄到，同时测量出两个反光标志中心点的实际距离。

以前6台液压支架为例，摄像头1和摄像头2同时拍摄，每台摄像头一次曝光的照片均含有该组6*2个圆形反光标志，将照片传给计算机系统，计算机系统通过YOLOv3算法首先对圆形反光标志进行识别，识别过程中将最亮部分（灰度接近255）识别为对象，灰度小于一定值时即为背景，然后给出圆形标志外接矩形的左上角和右下角的二维坐标，在区域内，用椭圆拟合法进行摄影标志的高精度定位求出各反光标志的中心点的二维坐标。提取相片中环境中SIFT特征，以及强回光反射点，使用基于多条核线约束的匹配方法，利用多张像片上的核线约束来实现相应像点的匹配，建立三维坐标系，获得相对坐标，再依据同一液压支架上两强光点尺度建立绝对坐标系根据20*2个圆形反光标志圆心的三维坐标拟合出两条直线（最小二乘法计算），然后分别计算各圆形与直线的距离，计算出偏移量，根据该偏移量得出液压支架在竖向方向上的上升或下降幅度（调平），以及朝向或远离综采面的运动幅度（调直），然后是液压支架运动一个步幅。运动完该步幅后，重新再次同时拍摄，然后利用YOLOv3算法识别、求算圆心三维坐标、拟合直线，得出新的偏移量，然后每台液压支架再根据新的偏移量移动一个步幅，以此类推，直到最后每台液压支架相对于直线的偏移量均在阈值范围内，即认为完成调平调直。

上述实施例只是对本发明构思和实现的若干说明，并非对其进行限制，在本发明构思下，未经实质变换的技术方案仍然在保护范围内。