一种基于机器视觉的降落伞绳圈位姿检测方法及系统
阅读说明：本技术 一种基于机器视觉的降落伞绳圈位姿检测方法及系统 (Parachute rope loop pose detection method and system based on machine vision ) 是由 史铁林 阳静 熊烽 熊良才 廖圣洁 马海 刘进雷 凡小平 于 2021-01-19 设计创作，主要内容包括：本发明属于人工智能相关技术领域,并公开了一种基于机器视觉的降落伞绳圈位姿检测方法及系统。该方法包括：S1采集降落伞绳圈的图像,对该图像进行处理以此提取绳圈的边缘,根据该边缘确定绳圈的中心线；S2获取绳圈中心线上各点的图像坐标,并将中心线上各个点的图像坐标转化为空间三维坐标,以此确定绳圈的三维曲线,实现绳圈的位置和姿态的检测。本发明还公开了利用上述检测方法的检测系统,包括图像采集模块、图像处理模块和控制中心,图像采集模块采集绳圈的图像,图像处理模块对采集的图像进行处理获得绳圈的中心和平面法矢量；控制中心控制降落伞伞绳穿过绳圈。通过本发明,实现绳圈的自动位姿识别和定位,提升生产效率和自动化程度。(The invention belongs to the technical field of artificial intelligence correlation, and discloses a parachute line loop pose detection method and system based on machine vision. The method comprises the following steps: s1, collecting the image of the parachute loop, processing the image to extract the edge of the loop, and determining the center line of the loop according to the edge; s2, obtaining the image coordinates of each point on the central line of the rope loop, and converting the image coordinates of each point on the central line into space three-dimensional coordinates, so as to determine the three-dimensional curve of the rope loop and realize the detection of the position and the posture of the rope loop. The invention also discloses a detection system using the detection method, which comprises an image acquisition module, an image processing module and a control center, wherein the image acquisition module acquires images of the rope loop, and the image processing module processes the acquired images to obtain the center and the plane normal vector of the rope loop; the control center controls the parachute cord to penetrate through the cord loop. By the aid of the method, automatic pose identification and positioning of the rope loop are achieved, and production efficiency and automation degree are improved.)
技术领域
本发明属于人工智能相关技术领域，更具体地，涉及一种基于机器视觉的降落伞绳圈位姿检测方法及系统。
背景技术
随着对降落伞折叠、整理的快速性与使用安全性的要求日益提高，采用自动化的降落伞折叠、整理与包装的工艺显得越来越重要。在降落伞折叠、整理与包装自动化生产工艺中，穿伞绳是一个十分重要的工序。所谓穿伞绳就是将伞绳按照一定的次序整齐第穿过伞包上的各个绳圈。由于伞包及其上的绳圈属于软质材料，其状态呈现各种不同的形式，因此，为了正确地将伞绳穿过各个绳圈，就必须对各个绳圈的位置和姿态进行检测。
为此，本发明针对降落伞伞绳自动穿过绳圈装备的需要，发明一种伞包上绳圈位姿的自动检测方法与系统，即采用机器视觉实现伞包上绳圈位姿的自动检测方法与检测系统。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于机器视觉的降落伞绳圈位姿检测方法及系统，通过采用机器视觉的方式采集伞包上各个绳圈的图像，然后对图像进行处理获得绳圈的位置与姿态，最后将各个绳圈的位姿信息输出到穿伞绳装置的控制系统，并进一步控制穿绳机构，以此实现降落伞绳圈位姿的检测。
为实现上述目的，按照本发明的一个方面，提供了一种基于机器视觉的降落伞绳圈位姿检测方法，该方法包括：
S1在降落伞的包装过程中，采集降落伞绳圈的图像，对该图像进行处理以此提取所述绳圈的边缘，根据该边缘确定所述绳圈的中心线；
S2获取所述绳圈中心线上各点的图像坐标，并将中心线上各点的图像坐标转化为空间三维坐标，以此获得空间三维坐标中所述绳圈的三维曲线，实现所述绳圈的位置和姿态的检测。
进一步优选地，在步骤S1中，所述对图像进行处理包括灰度化、滤波、边缘检测和二值化，其中，所述灰度化处理用于滤去图像中的背景色，所述滤波处理用于去除残留的背景噪声，所述边缘检测和二值化用于提取获得绳圈的边缘。
进一步优选地，在步骤S2中，在确定所述绳圈的三维曲线后，计算该三维曲线的中心和绳圈平面的法线矢量，以此对所述绳圈的中心进行定位。
进一步优选地，在步骤S2中，将中心线上各个点的图像坐标转化为空间三维坐标时，是通过建立图像坐标系和空间三维坐标系之间的转换矩阵后，然后利用所述转换矩阵将各个点的图像坐标转化为三维坐标。
按照本发明的另一个方面，还提供了一种上述所述的检测方法进行检测的检测系统，该系统包括图像采集模块、图像处理模块和控制中心，其中，所述图像采集模块用于采集降落伞绳圈的图像，所述图像处理模块用于对采集的图像进行处理，以此获得所述绳圈的中心以及平面法矢量；所述控制中心同时与所述图像采集模块和图像处理模块连接，所述图像处理模块将所述绳圈中心和平面法矢量传递给所述控制中心，控制中心控制降落伞伞绳穿过所述绳圈。
进一步优选地，所述图像采集模块中采用单目视觉检测装置或双目视觉检测装置。
进一步优选地，所述图像采集模块在采集所述降落伞绳圈的图像之前，还需对图像采集模块的误差进行标定。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具备下列有益效果：
1.本发明由于待定位的绳圈的直径较小，构建绳圈位姿自动检测的方法，该方法相对于二维图像识别具有立体感强的优点，而相对于普通的三维重建方法具有计算量大大减小的优点，因而不仅可用于绳圈轮廓中心线三维重建，而且也非常适合绳圈中心位置定位和姿势识别；
2.本发明中通过构建自动检测系统，该检测系统结构简单，其中采用单目或者双目的检测装置采集绳圈的图像，然后对图像进行处理获得绳圈的中心，根据确定的绳圈中心进伞绳穿过各个绳圈，实现穿绳的自动化过程，减少人工成本，提高穿绳效率。
附图说明
图1是按照本发明的优选实施例所构建的基于机器视觉的降落伞绳圈位姿检测方法的流程图；
图2是按照本发明的优选实施例所构建的基于单目视觉的绳圈位姿检测系统结构示意图；
图3是按照本发明的优选实施例所构建的基于双目视觉的绳圈位姿检测系统结构示意图。
在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：
101-绳圈，102-光源，103-相机，104-运动机构，105-轨道，106-主机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
一种基于机器视觉的降落伞绳圈位姿检测方法，该方法的基本过程是：经过标定的左、右两部相机分别获取被检测区域的图像，该图像经采集后输入到计算机，计算机图像处理程序对左、右相机获取的图像进行滤波处理，然后，对经过滤波处理的左、右图像进行绳圈边缘提取，接着，提取左、右图像的绳圈轮廓中心线；最后，依次根据左、右图像的绳圈轮廓中心线，计算出绳圈轮廓中心线各点的空间坐标，构造绳圈中心曲线在三维空间的图像，从而确定各个绳圈的位置与姿态。
为实现绳圈的位姿检测，本发明分别构建基于单目视觉的绳圈位姿检测系统和基于双目视觉的绳圈位姿检测系统。
基于单目视觉的绳圈位姿检测系统包括光源、工业相机一部、带动工业相机移动的运动装置、图像采集与传输装置(此部分可集成在工业相机内)、图像处理计算机等硬件及图像采集、处理软件。基于双目视觉的绳圈位姿检测系统的组成与基于单目视觉的绳圈位姿检测系统的区别在于需要两部固定安装的工业相机，而不需要带动工业相机移动的运动装置。系统软件包括图像采集模块、相机标定模块、图像预处理模块、左右图像绳圈边缘提取模块、左右图像绳圈轮廓中心线拟合模块、世界坐标系的绳圈轮廓中心线计算模块及绳圈位姿输出模块。
图像采集模块控制左右相机进行图像采集，并将采集图像保存在图像处理计算机内；相机标定模块用于相机内外参数改变时，对系统的双目相机进行标定，确定内外部参数，为后面计算绳圈轮廓中心线三维坐标提供依据；图像预处理模块实现对相机获取左、右图像的增强、去噪等预处理功能；左、右图像绳圈边缘提取模块实现左、右图像中绳圈边缘的提取，确定绳圈在像平面的位置、形状与尺寸；左、右图像绳圈轮廓中心线拟合模块根据绳圈边缘拟合各自图像中绳圈轮廓中心线；绳圈轮廓中心线世界坐标计算模块的功能为根据左、右图像的绳圈轮廓中心线计算世界坐标系中绳圈中心三维曲线各点的坐标；绳圈位姿输出模块根据计算出绳圈轮廓中心线各点三维坐标计算绳圈中心位置及绳圈姿态。
各模块实现方法阐述如下：
相机标定模块采用张正友经典标定方法，标定板采用棋盘格。首先，对于双目系统而言，通过左、右相机获取多张棋盘格的图像；而对于单目系统，则通过其中运动系统，多次改变相机位置，获取多张棋盘格的图像。接着，依次读取采集到的标定板图像，提取棋盘格的角点坐标。然后，以角点坐标值进行相机标定，求解相机的内参矩阵、畸变参数以及每张标定板图像的外参矩阵。最后，通过得到的相机内外参数，对角点进行重新投影计算，计算相机标定误差。
图像预处理模块包括灰度化、滤波及边缘检测与二值化等步骤，根据现有伞包绳圈颜色与伞包颜色不同的特点，从左、右图像中提取与绳圈颜色一致的成分，而滤去背景色，进而进行灰度化处理，针对残留的背景噪声采用滤波的方法进行处理，最后，进行边缘检测及二值化处理得到绳圈边缘图像。
左、右图像绳圈轮廓中心线拟合模块根据左、右图像中绳圈各截面的边缘坐标，取均值，得到对应位置的中心点，从而拟合出左、右图像内绳圈轮廓中心线。
世界坐标系的绳圈轮廓中心线计算模块根据拟合出的左、右图像内绳圈轮廓中心线，依次在左、右图像绳圈轮廓中心线各点的像平面坐标，根据三角测量原理，确定对应点的实际坐标，从而确定绳圈在世界坐标系的中心线。
绳圈位姿输出模块根据世界坐标系的绳圈中心三维曲线，确定绳圈中心的三维坐标，并输出绳圈的法线矢量。
本发明的特点在于根据绳圈的直径较小的特点，拟合左、右图像中绳圈轮廓中心线，然后，根据拟合的左、右图像的绳圈轮廓中心线的对应点，计算出绳圈轮廓中心线在世界坐标系内的三维坐标，得到世界坐标系的绳圈轮廓中心线，从而确定出各绳圈中心点坐标及绳圈面的法矢量。该方法相对于二维图像识别具有立体感强的优点，而相对于普通的三维重建方法具有计算量大大减小的优点，因而不仅可用于绳圈轮廓中心线三维重建，而且也非常适合绳圈中心位置定位、姿势识别。
实施例1：
附图1展示了基于单目视觉的绳圈位姿检测系统硬件组成。在安装完成后，进行相机标定。标定过程为光源102照射到标定板，相机103在左位置拍摄一幅标定板图像作为左图像，然后，相机在运动机构104的带动下，移动到右位置，相机103在右位置拍摄一幅标定板图像作为右图像。重复多次，完成相机标定，得到相机的内外参数。
经相机标定后，系统可正常应用。其工作过程为：光源102照射到绳圈101上，相机103在左位置拍摄一幅图像作为左图像，然后，相机在运动机构104的带动下，移动到轨道105的右侧，相机103在右位置拍摄一幅图像作为右图像。依次经过图像预处理、左右图像绳圈边缘提取、左右图像绳圈轮廓中心线拟合、世界坐标系的绳圈轮廓中心线计算及绳圈位姿输出得到绳圈轮廓中心线、绳圈中心坐标和绳圈平面的法矢量，并将该上述结果传递给主机106。
实施例2：
附图2展示了基于双目视觉的绳圈位姿检测系统硬件组成。其余实施例1的区别在于采用左、右两部相机103，而不需要运动机构。其工作过程与实施例1的区别在于左、右图像的获取不需要运动机构的动作。
本发明实际操作中的步骤如下：
S1当降落伞伞绳自动穿过线圈的装备工作时，通过相关的穿绳机构将伞绳按照一定的要求进行固定；
S2带有线圈的伞包固定于工作台；
S3穿绳机构将按要求固定好的伞绳带动至工作台的伞包附近；
S4图像采集装置采集线圈的图像，并进行相关的机器视觉处理，得到线圈在工作台的位置姿态；
S5在确定线圈的位置姿态后，穿绳机构控制伞绳穿入线圈；
S6图像采集装置移动，采集下一线圈的位置姿态数据，并重复穿绳步骤，实现所有伞绳穿入对应线圈。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种机械臂末端位姿误差测量方法及系统