阅读说明：本技术 机器人夹持下的导管测量方法 (Method for measuring catheter clamped by robot ) 是由 陈月玲 夏仁波 赵吉宾 赵亮 付生鹏 刘明洋 于彦凤 于 2019-10-14 设计创作，主要内容包括：本发明涉及一种机器人夹持下的导管测量方法。其步骤为：同步触发多目视觉测量箱内的多个工业相机采集不同视角下的多幅原始图像,借助于过度分割边缘、组合平行边缘对以及剔除错误边缘等方法去除测量过程中夹爪的干扰,然后对边缘图像进行骨架提取得到弯管图像的中轴线,借助于图像分割将中轴线分割成直线段和椭圆段区域,最后利用极线约束对控制点进行三维重建,扫掠得到弯管的三维模型。本发明方法能实现在机器人夹持下的导管测量,能够自动去除夹爪的干扰,有效的重建管路的三维模型,得到的精确的控制点,鲁棒性强、精度高、效率高。(The invention relates to a method for measuring a catheter clamped by a robot. The method comprises the following steps: the method comprises the steps of synchronously triggering a plurality of industrial cameras in a multi-view vision measurement box to collect a plurality of original images at different viewing angles, removing interference of clamping jaws in the measurement process by means of methods of excessively segmenting edges, combining parallel edge pairs, removing wrong edges and the like, then carrying out skeleton extraction on edge images to obtain a central axis of a bent pipe image, segmenting the central axis into straight line sections and elliptical section areas by means of image segmentation, finally carrying out three-dimensional reconstruction on control points by means of polar constraint, and scanning to obtain a three-dimensional model of the bent pipe. The method can realize the measurement of the catheter clamped by the robot, can automatically remove the interference of the clamping jaw, effectively rebuilds the three-dimensional model of the pipeline, and obtains accurate control points with strong robustness, high precision and high efficiency.)

机器人夹持下的导管测量方法

技术领域

本发明涉及计算机视觉技术领域,具体的说是机器人夹持下的导管测量方法。

背景技术

在国内工业自动化日益发展的今天，工业机器人自动化水平也得到了显著的提高，并逐渐成为了自动生产未来的趋势。然而实现导管的自动化生产，离不开导管的自动化测量。导管的自动化测量需要在工业机器人的辅助下完成，进而才可以实现导管自动化切割、焊接、装配等一系列的导管智能制造的需求。

目前对成型的弯管测量方式有接触式测量以及非接触式测量方式，其中接触式测量方法，例如靠模法、三坐标测量机、关节式坐标测量机等，这些方法存在对比装置制造困难，容易造成损伤或变形，效率低，过分依赖操作者主观判断，无法重建三维模型以及无定位基准等缺陷。非接触式测量方法，例如光栅扫描、多目视觉测量扫描等，这些方法虽然精度高，但是无法应用到自动化生产线中，无法对导管进行基准定位。

因此亟需改变传统人工配管效率低、可靠性不高的局面，有效提升自动化装配的数字化和精益化水平。

如何有效地缩短研制时间、降低研制成本、提高产品质量是弯管快速加工制造的主要目的。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种机器人夹持下的导管测量方法，该方法有效的利用多目视觉处理算法，剔除了机器人夹爪的干扰，实现了导管的自动化生产，有效地缩短研制时间、降低研制成本、提高产品质量。

本发明为实现上述目的所采用的技术方案是：机器人夹持下的导管测量方法，包括以下步骤：

步骤1：同步触发多目视觉测量箱内的多个工业相机；

步骤2：工业相机采集不同视角下的多幅原始图像；

步骤3：对每一幅原始图像进行如下处理，得到分割的弯管中心轴线；

i.提取边缘图像并预处理：

ii.去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域：

iii.提取弯管轮廓区域的中心轴线：

iiii.将弯管中心轴线分割成直线段和椭圆段；

步骤4：选取控制点，由全局标定得到工业相机的内外参数，并借助极线约束进行控制点匹配，得到弯管的空间三维控制点；

步骤5：连接弯管相邻的空间三维控制点，形成弯管空间三维中心轴线，将弯管中心轴线作为路径进行扫掠，得到导管三维模型。

所述多目视觉测量箱由若干个处于不同位置的工业相机、背光光源、匀光板以及箱体构成，其中工业相机均匀布置于箱体内壁的上方，背光光源以及匀光板设置于箱体内的底部。

所述工业相机的布局位置使得其测量范围覆盖背光光源的整个视场。

所述提取边缘图像并预处理包括：

利用Canny算子对图像进行边缘亚像素提取，得到包含夹持部件和弯管的边缘图像；

去除轮廓长度小于阈值的边缘像素；

利用导管沿中轴线对称的形态，剔除图像中的边缘干扰像素。

所述去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域包括：

在图像中组合平行的边缘像素，再将平行边缘的距离大于阈值的边缘轮廓剔除掉，得到仅包含弯管的弯管轮廓区域。

所述提取弯管轮廓区域的中心轴线包括：

将得到弯管轮廓区域进行填充，再采用形态学开运算去除前景图像中的噪声区域；

对弯管轮廓的边缘区域进行骨架提取，得到弯管轮廓区域的中心轴线。

所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像素点，用于得到图像细化的骨架。

所述选取控制点为：利用相邻两个直线段的交点作为两幅图像中待匹配的控制点。

本发明具有以下有益效果及优点：

1.本发明所述的机器人夹持下的导管测量方法能有效的重建导管的三维模型。

2.本发明所述的机器人夹持下的导管测量方法能够剔除夹持夹爪的干扰有效得到导管控制点。

3.本发明所述的机器人夹持下的导管测量方法可以有效地应用到管路的自动化生产线中，推进导管的智能制造进程。

附图说明

图1为本发明方法流程图；

图2(a)为本发明方法中机器人夹持下的原始图像一；

图2(b)为本发明方法中机器人夹持下的原始图像一处理后的中心轴线图像；

图3(a)为本发明方法中机器人夹持下的原始图像二；

图3(b)为本发明方法中机器人夹持下的原始图像二处理后的中心轴线图像；

图4(a)为本发明方法中机器人夹持下的原始图像三；

图4(b)为本发明方法中机器人夹持下的原始图像三处理后的中心轴线图像；

图5为本发明方法中所采用的导管三维重建图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

参照附图1，本发明所述结合拓扑关系和极线约束的管路三维重建方法的具体步骤如下：

步骤1：机器人自动夹持弯曲后的弯管，将弯管送入多目视觉测量箱。

多目视觉测量箱由八个处于不同位置的工业相机、背光光源、匀光板以及密闭的箱体构成，其中工业相机处于箱体内部的顶部，背光光源以及匀光板处于箱体内部的底部。八个工业相机的布局保证测量范围可以覆盖背光光源的整个视场，确保无死角。

步骤2：同步触发多个工业相机采集不同视角下的原始图像；

步骤3：对每一幅弯管图像进行如下步骤3.1至步骤3.7的处理，得到分割的弯管中心轴线；

i.提取边缘图像并预处理(步骤3.1-3.3)：

步骤3.1：利用Canny算子对图像进行边缘亚像素提取，得到包含夹持部件和弯管的边缘图像；

步骤3.2：滤除边缘图像上弯管的干扰边缘，即去除轮廓长度小于threshold的边缘，实验中，threshold＝80；

步骤3.3：由于导管的边缘区域是接近于对称的，因此在分割前将没有对称区域的轮廓剔除掉(即利用导管沿中轴线对称的形态，进一步剔除图像中的干扰像素)；

ii.去除图像上夹持部件，得到仅包含弯管的弯管轮廓区域：

步骤3.4：由于夹持部件在图像上呈现为两个仿形的长方形块，即在图像中其边缘显现为平行的边缘，因此在图像中组合平行的边缘像素，再将平行边缘的距离大于阈值threshold1的边缘轮廓剔除掉(夹持机构的仿形的长方形块的像素阈值为threshold1＝100)，就得到仅包含弯管的弯管轮廓区域；

iii.提取弯管轮廓区域的中心轴线(步骤3.5-3.6)：

步骤3.5：将得到弯管轮廓区域进行填充，用形态学开运算去除前景图像中的噪声区域。所述噪声指的是图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响。

步骤3.6：对弯管轮廓的边缘区域进行骨架提取，得到弯管轮廓区域的中心轴线；所述骨架提取包括：以距离两侧边界上两点等距的像素点作为中轴线的像素点，用于得到图像细化的骨架。

iiii.将弯管中心轴线分割成直线段和椭圆段；

步骤3.7：将弯管中心轴线分割成直线段和椭圆段；包括：将弯管中心轴线近似的通过一个过度分割的多边形曲线来表示，遍历多边形曲线的每条边；如果拟合直线段的误差小于拟合椭圆段的误差，则彼此相邻的线段就被合并为直线段；如果拟合椭圆的误差小于拟合直线的误差，则彼此相邻的线段就被合并为椭圆弧；迭代处理多边形曲线的所有边，直到没有可以合并的直线段为止。

步骤4：利用相邻两个直线段的交点作为两幅图像中待匹配的控制点，由全局标定得到工业相机的内外参数，并借助极线约束进行控制点匹配，得到导管的空间三维控制点。如图2(a)、3(a)、4(a)为本发明方法中机器人夹持下的三幅原始图像，如图2((b))、3(b)、4(b)为本发明方法中对原始图像处理之后的三幅图像。

所述内外参数，包括：

内参数表示从工业相机坐标系到像平面坐标系的变换，像平面坐标系用像素单位表示；每个镜头的畸变程度各不相同，包括径向畸变、偏心畸变；利用二维柔性靶标对每个工业相机的内参数进行标定；

外参数表示从工业相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和平移矩阵T实现。

步骤5：连接弯管相邻的空间三维控制点，形成弯管空间三维中心轴线，将弯管中心轴线作为路径进行扫掠，得到导管三维模型。如图5所示，为本发明方法中所采用的导管三维重建图。

所述扫掠就是将二维图形转为三维图形的建模方法，是将一个二维形体对象作为沿某个路径(例如是弯管中心轴线方向)的剖面，而形成的三维图形。

本发明对多种管路进行测量，测量精度可以达到0.15mm，测量时间效率2s。测量精度高，效率高，克服了机器人夹爪的干扰，具有较强的稳定性。