阅读说明：本技术 一种基于双目视觉的输电杆塔倾斜的测量方法 (Binocular vision-based transmission tower inclination measurement method ) 是由 乔铁柱 焦晨浩 阎高伟 吕玉祥 杨毅 于 2019-08-16 设计创作，主要内容包括：本发明一种基于双目视觉的输电杆塔倾斜的测量方法,属于机器视觉、电力系统在线监测技术领域；由于输电线路覆盖地貌复杂多变,对输电杆塔的安全性要求越来越高,人工定时巡检费时费力,利用倾斜传感器测量杆塔倾斜数据,不能够完全反应倾斜杆塔实地情况；本发明提供一种基于双目视觉的输电杆塔倾斜的测量方法,双目相机标定后,根据对旋转、尺度缩放、亮度变化保持不变性的杆塔特征点计算其三维世界坐标,由三维坐标计算出杆塔倾斜角和倾斜方位角,若杆塔处于异常状态,将倾斜的杆塔信息传输至后台监控室；远程监控室实时全面了解杆塔信息,有利于实现自动化安全监控,具有重大的社会意义。(The invention relates to a binocular vision-based transmission tower inclination measuring method, belonging to the technical field of machine vision and electric power system online monitoring; the power transmission line coverage landform is complex and changeable, the requirement on the safety of a power transmission tower is higher and higher, manual timing inspection wastes time and labor, and the inclination sensor is used for measuring the inclination data of the tower, so that the field situation of the inclined tower cannot be completely reflected; the invention provides a binocular vision-based method for measuring the inclination of a transmission tower, which comprises the steps of calculating three-dimensional world coordinates of the transmission tower according to tower characteristic points with rotation, scale scaling and unchanged brightness change after a binocular camera is calibrated, calculating the inclination angle and the inclination azimuth angle of the tower according to the three-dimensional coordinates, and transmitting the information of the inclined tower to a background monitoring room if the tower is in an abnormal state; the remote monitoring room can comprehensively know the tower information in real time, is favorable for realizing automatic safety monitoring and has great social significance.)

一种基于双目视觉的输电杆塔倾斜的测量方法

技术领域

本发明属于机器视觉、电力系统在线监测技术领域，涉及一种基于双目视觉的输电杆塔倾斜的测量方法。

背景技术

随着经济的高速发展，分布全国的高压输电线路越来越多。由于输电线路覆盖的地况环境趋于复杂，对输电杆塔的安全性要求越来越高，因此对杆塔的状态检测系统的研究十分必要。为了能够对泥石流及山体滑坡多发区、煤矿采空塌陷区等不良地质区域内杆塔倾斜角进行实时监测，相关负责人员会每天定时巡检负责区域内的杆塔倾斜状况，对处于异常状态的杆塔会呼叫检修人员及时修理，这种方法既费时又费力；还有的是监测主机收集倾斜传感器测量的杆塔倾斜数据，其具体情况是监测主机通过RS485与传感器连接，供电方式为太阳能电池供电，数据从传感器通过RS485传至监测主机，最后由监测主机通过3G/4G发送到后端系统，这种方法不能够完全反应倾斜杆塔实地情况。因此，如何简单、可靠、快速、自动检测杆塔的倾斜状况是预防杆塔倾斜造成架空线路事故的关键技术难题。

发明内容

本发明的目的是提供一种基于双目视觉的输电杆塔倾斜的测量方法，解决了现有方法对杆塔角进行实时监测，工作量大，装置复杂，监测效果不好的问题。

本发明所采用的技术方案是，基于双目视觉的输电杆塔倾斜的测量方法，包括以下步骤：

S10：对由两个摄像头组成的双目CCD相机进行标定，通过完成标定的双目CCD相机获取杆塔图像。

S20：在S10获取的杆塔左相机图像和右相机图像中提取对旋转、尺度缩放、亮度变化保持不变性的特征点；完成能够反应场景中同一个点的特征点匹配工作，并选取一对属于杆塔塔身并且已经匹配好的特征点作为目标观察点，通过已选定的目标观察点在左相机图像和右相机图像中的像素坐标点求出目标观察点在世界坐标系中的三维坐标(X_W，Y_W，Z_W)。

S30：通过S20特征点在世界坐标系中的三维坐标(X_W，Y_W，Z_W)，计算输电杆塔倾斜角R和倾斜方位角B，具体按照以下步骤实施：

S31：根据在S20过程中获取目标观察点的三维坐标利用公式(8)求出杆塔倾斜角R，

S32：在监测过程中，如果杆塔倾斜角R与杆塔正常状态下的倾斜角R₀的差值大于15°，根据目标观察点的三维坐标求出倾斜方位角B，如果杆塔倾斜角R与杆塔正常状态下的倾斜角R₀差值小于15°，跳过此步骤，倾斜方位角B计算公式(9)如下：

S40：根据倾斜方位角B判断杆塔状态：倾斜方位角B的差值大于15°，那么杆塔处于危险状态，向监控后台发出预警并将倾斜角R、倾斜方位角B和捕捉的实时图像传送给监控后台；倾斜方位角B小于15°，杆塔处于正常状态，继续监控。

进一步，S10中双目CCD相机标定的具体操作如下：

S11：将一幅棋盘图放置在双目CCD视野中。

S12：分别从五个不同的角度观察放置在视野中的棋盘图，并在每个角度上获取一张棋盘图的图像。

S13：检测棋盘图像上的角点，完成相机标定。

进一步，S20中获取目标观察点在世界坐标系的三维坐标(X_W，Y_W，Z_W)，具体操作如下：

S21.在同一个世界坐标系中，分别以两个相机为参考原点建立左相机坐标系C_L和右相机坐标系C_R，并用世界坐标系C_W表示，如公式(2)：

R_L、t_L是左相机的外部参数，R_R、t_R是右相机的外部参数，两个相机坐标系利用公式(3)和公式(4)相互表示：

分别表示左相机相对于右相机的旋转和平移关系。

S22.添加辅助相机填补景深信息Zc，

其中(x_L，y_L)是目标特征点投影在左相机成像平面的坐标，(x_R，y_R)是目标特征点投影在右相机成像平面的坐标，f_xL、f_yL是左相机以像素为单位的焦距，f_xR、f_yR是右相机以像素为单位的焦距。

S23.利用公式(6)计算得到目标特征点的三维坐标，

根据公式(7)获取目标特征点在世界坐标系中的三维坐标(X_W，Y_W，Z_W)，

(X_C，Y_C，Z_C)是目标特征点在左相机坐标系的坐标，R_L、t_L是左相机的外部参数。

本发明的有益效果是，与现有的系统相比，实施本发明所用到的设备少、结构简单、成本低廉。本方法能充分利用图像处理技术对输电线路杆塔倾斜情况进行远程的全局监控，克服了现有系统的诸多不足。本方法最大的特点就是不仅能让管理者知道杆塔倾斜角度，还能知道杆塔的倾斜方向，最后根据实时杆塔图像让管理者评估杆塔的安全性。因此有利于实现自动化的安全监控，从而具有重大的社会意义。

附图说明

图1是用于双目CCD相机标定的棋盘图；

图2是计算杆塔倾斜角和倾斜方位角的数学模型；以杆塔与地面连接的部分视为坐标原点，建立世界三维坐标系；

图3是基于双目视觉的输电杆塔倾斜的测量方法示意图。

图中，OT为倾斜杆塔数学模型，T为塔身特征点，及目标观察点，R为倾斜角，B为倾斜方位角，在图3中有三个坐标系，以左相机光心O_L为坐标原点的相机坐标系，以右相机光心O_R为坐标原点的相机坐标系和以倾斜杆塔与地面连接点O为坐标原点的世界坐标系；塔身的特征点T在左右图像平面的投影点分别为E_L和E_R点，左相机坐标系的Z轴和右相机坐标系的Z轴穿过相应的图像平面于M_L和M_R点。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。本发明基于双目视觉的输电杆塔倾斜的测量方法，具体按照以下步骤实施：

S10：对由两个摄像头组成的双目CCD进行相机标定，通过完成标定的双目CCD相机获取杆塔图像。

相机标定具体按照以下步骤实施：

S11：将图1所示的棋盘图放置在如图2所示的世界坐标系Z＝0的平面中，利用双目CCD观察拍摄视野中的棋盘图；

S12：分别从五个不同的方向观察棋盘图上的角点，理论上选取至少三张图片就可以求解出内部参数和外部参数，内参数包括焦距、主像点坐标，外参数包括平移变量和旋转变量。但是选取三张图片获得的内外参数误差比较大，另外需要特别注意的是在至少三幅图像中，任意两幅图像所对应的相机光轴不能是平行的，一般选取五幅图片进行内外参数的求解。

S13：计算相机的内部参数和外部参数需要棋盘图中的角点坐标和实际的三维坐标，每张棋盘图中的角点符合共面但不共线的特点，基于此特点，假定棋盘图所在的面为水平面，即Z＝0；求解出的内部参数矩阵不依赖场景的视图，只要相机的焦距是固定的，计算所得的内部参数能够重复利用。求解外部参数时，要取几个点的旋转角度再做一下平均就能够得到精度符合测量和计算的要求的旋转角度，求出外部参数，即可获取棋盘图中的角点在世界坐标系的坐标，计算双目CCD相机内外参数的公式如下：

sm′＝A[R|t]M′或者

其中(X,Y,Z)与M′均表示棋盘图中的任一角点的世界坐标，其中Z为0；(u，υ)与m′均表示角点投影在图像平面的坐标，以像素点为单位；s是标定系数，A被称作相机矩阵，或者内参数矩阵，[R|t]是由外部参数构成的外参数矩阵。(c_x,c_y)是基准点，通常在图像中心，(f_x，f_y)是以像素为单位的焦距。

S20：在通过S10获取的杆塔左相机图像和右相机图像上提取特征点，其中该特征点满足对旋转、尺度缩放、亮度变化保持不变性，将两幅图像上具有一样属性的特征点完成匹配操作，选取的特征点是杆塔塔身的，这样的特征点有多组，成像视野中只有杆塔，虚化的背景不会存在这样的特征点，选取任意一对已经匹配好的特征点作为目标观察点，通过目标观察点在相应图像上的像素坐标点求出其在世界坐标系中的三维坐标。

通过标定后的双目CCD相机观察目标杆塔的状况，获取杆塔特征点的三维坐标。但是，一个相机只能获取平面二维信息，为了获取杆塔特征点的三维坐标需要添加辅助相机填补景深信息。两个相机都在同一个世界坐标系中，利用公式(2)通过世界坐标系C_W表示左相机坐标系C_L和右相机坐标系C_R。

两个相机坐标系利用公式(3)和公式(4)互相表示，由公式(5)计算景深信息Zc，那么杆塔的目标特征点的三维坐标可以根据公式(6)计算得出，根据公式(7)求出特征点在世界坐标系中的三维坐标(X_W，Y_W，Z_W)。

S30：在通过S20得到的特征点基础上，计算输电杆塔倾斜角R和倾斜方位角B，计算具体按照以下步骤实施：

S31：根据在S20过程中获取目标观察点的三维坐标，利用公式(8)求出杆塔倾斜角R,根据图2所示杆塔的倾斜方位角B测量模型；

S32：在监测过程中，假设杆塔正常状态下的倾斜角为R₀，如果杆塔倾斜角R与R₀的差值大于15°，即杆塔处于异常状态，那么根据其三维坐标利用公式(9)求出倾斜方位角B。

S40：根据倾斜方位角B判断杆塔状态：倾斜方位角B的差值大于15°，那么杆塔处于危险状态，向监控后台发出预警并将倾斜角R、倾斜方位角B和捕捉的实时图像传送给监控后台；倾斜方位角B小于15°，杆塔处于正常状态，继续监控。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。