一种基于机器视觉的工件装配过程的轴孔对中引导方法
阅读说明：本技术 一种基于机器视觉的工件装配过程的轴孔对中引导方法 (Machine vision-based shaft hole centering guide method for workpiece assembly process ) 是由 刘志峰 刘康 许静静 杨聪彬 王建华 李龙飞 陈建州 于 2021-08-29 设计创作，主要内容包括：本发明公开了一种基于机器视觉的工件装配过程的轴孔对中引导方法,通过工业相机对待检测工件进行拍摄,获取工件在检测区域中的图像。通过待检测工件的3d对象模型来创建用于匹配的3d形状模型。利用虚拟相机在指定的姿态范围内对3d对象模型进行拍摄,通过不同视角下的图像生成3d形状模型。采用贪婪算法在指定的图像金字塔范围内进行检索,找到最合适匹配对象,并得到匹配对象的姿态,通过对姿态的分析,调整机器人的末端进行正确的轴孔对中引导操作。(The invention discloses a machine vision-based shaft hole centering guide method for a workpiece assembly process. And creating a 3d shape model for matching through the 3d object model of the workpiece to be detected. And shooting the 3d object model in a specified posture range by using a virtual camera, and generating a 3d shape model through images at different view angles. Searching in the range of the appointed image pyramid by a greedy algorithm, finding the most appropriate matching object, obtaining the posture of the matching object, and adjusting the tail end of the robot to perform correct shaft hole centering guide operation through posture analysis.)
技术领域
本发明涉及一种应用于三维空间中工件匹配识别的机器视觉与图像识别相结合的检测方法，适用于各种工件在自动化生产过程中的轴孔对中引导操作，尤其涉及一种基于机器视觉的工件装配过程中的轴孔对中方法。
背景技术
在智能化与自动化在工业生产过程中的应用逐渐提高的背景下，越来越多的工厂开始开发工业机器人生产线，更多的生产工序开始由机器人完成，其中就包括自动化装配环节。在工件装配的过程中，轴孔对中环节是众多装配操作的基础，只有正确实现轴孔对中才能顺利完成装配操作，才能保证装配精度，同时避免造成装配工件的损坏，进而造成生产资源的浪费与生产成本的增加。然而在目前的自动化装配过程中，在机器人按照既定的工作路径进行装配的条件下，只能面对固定场景，一旦工件位置或姿态发生改变，便不能有效完成装配过程。这就导致目前应用工业机器人时一旦工作场景发生变化就不能很好地完成预选设定的任务。
因此为了提高工业机器人在装配应用过程中对场景中工件位置或者姿态的变化的适应性，急需一种高效、准确、实用且成本低廉的目标工件匹配识别与对装配过程中轴孔对中的引导方法，来提高机器人对场景变化的感知与其在生产领域应用率，尽可能最大化工业机器人的应用潜能。
发明内容
本发明的目的在于：针对现有的自动化装配生产中的轴孔对中工艺过程，为了提高机器人在装配操作过程中对环境中工件位置或者姿态变化的适应性，提出一种基于机器视觉的装配过程中的对中引导方法。
为了解决上文所述的技术问题，本发明提供一种基于视觉的机器人应用过程中引导末端与工件对中的方法，该方法的实现流程如下：
1.获取待识别匹配工件的模型图作为3d对象模型；
2.使用标定板标定法对双目工业相机进行标定，获取相机模型的关键参数与畸变系数，启动相机对包含目标工件的场景进行拍照，获取场景图像；
3.经过对双目相机拍摄的图像进行处理，获取图像中的深度信息；
4.由于环境光与所使用光源的影响，采集到的图像中某些部分往往会出现过暗或过亮的情况，这对于图像的后续处理带来一些麻烦，所以必须对图像进行一系列的图像处理操作。
5.使用虚拟相机在指定的姿态范围内对3d对象模型进行拍照，得到3d对象模型在不同视角下的平面视图，通过不同视角下的视图，获取3d形状模型并保存；
6.为了提高在图像中检索匹配模型的速度，一般会对图像进行缩放处理，采用高斯金字塔对图像进行处理，图像金字塔包含的图像信息随着的金字塔的升高而递减；
7.依据贪婪算法和高斯金字塔分层方法在图像中依据3d形状模型数据进行模型的搜素与匹配，寻找最优的模型匹配结果。在图像中寻找目标进行匹配这一任务，可以通过选择一系列的局部最优来达到整体最优的效果。
8.在完成目标工件的识别匹配后，获得目标的姿态信息，此时与机器人末端实时姿态信息进行比较计算，调整机器人末端姿态，实现装配过程中机器人末端夹持工件中心与待装配工件的中心轴的对中操作；
附图说明
图1是本发明实施的流程图。
图2是图像金字塔的尺度空间示意图。
图3是基于贪婪算法的模型匹配示意图。
图4是本发明引导对中示意图。
有益说明
本发明提出的基于机器视觉的工件装配过程的轴孔对中方法具有如下优点：
1.在工业装配过程中，轴孔对中操作是许多操作的前提条件，该方法可以大大提高自动化装配过程的效率
2.图像处理过程简单高效，计算速度快，整体计算效率高，算法的复杂度低。
3.该方法的可移植性强，既可以用来做物体检测识别，也可以用来做目标匹配，以及用来实现文中提到的轴孔对中操作的引导过程；
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
具体实施方式
以下是本发明的具体实施案例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施案例。
还应当理解，此处所描述的具体实施例仅用于理解本发明，并不用于限定本发明。
本发明处理的目标图像来源于工业机器人的工业相机，该工业相机用于检测生产线上的工件。
如图1所示，本发明提出的一种基于视觉的工件检测方法分步操作具体如下：
步骤1、将待识别匹配(装配)螺栓(M12)的模型图作为3d对象模型，在创建螺栓模型时，需要让螺栓中心轴与模型坐标系的z1轴重合；
步骤2、基于“张氏标定法原理”，使用Halcon专用的圆形标定板，采用标定算法对双目工业相机进行标定，获取相机模型的关键参数(左右相机的焦距、畸变系数、退选哪个行列像素个数、像原尺寸大小)；
步骤3、动相机对使用螺栓连接的场景进行拍照，获取螺栓所在的场景图像；
步骤4、由于环境光与所使用光源的影响，采集到的图像中某些部分往往会出现过暗或过亮的情况，这对于图像的后续处理带来一些麻烦，所以必须对图像进行一系列的图像处理操作。主要包括滤波降噪，图像边缘处增强，灰度均衡化等，经过图像处理可以明显改善图像的成像质量，提高后续处理过程中的效率与准确性；
步骤5、通过采集到的左右图像，经过对双目相机拍摄的图像进行处理，获取图像中的深度信息:
d＝f*b/d
其中f为相机焦距，b左右相机基线，d为视差；
步骤6、使用虚拟相机在指定的姿态范围内对螺栓的3d对象模型进行拍照，得到螺栓模型在不同视角下的平面视图，通过不同视角下的视图，生成螺栓的3d形状模型用于在图像中作为搜寻对象的模型；
步骤7、为了更好的提取拍摄的螺栓图像的不同尺度特征，同时为了提高在图像中检索匹配目标螺栓的速度与计算速度，一般需要对图像采用高斯金字塔对图像进行缩放处理，图像金字塔包含的图像信息随着的金字塔的升高而递减。高斯金字塔的计算过程可以用如下方式表示：
Gi＝Down(Gi-1)
其中Gi表示第i次采样得到的图像，Gi-1表示第i-1次采样得到的图像，Down表示图像的向下采样过程；
步骤8、由于在图像中寻找目标进行匹配这一任务，可以通过选择一系列的局部最优来达到整体最优的效果。因此可依据贪婪算法和高斯金字塔分层方法在图像中依据螺栓的3d形状模型数据进行模型的搜素与匹配，寻找最优的模型匹配结果；
步骤9、在图像中找到目标螺栓，完成目标工件的识别匹配后，即可获得目标此时的姿态信息[x,y,z,α,β,γ]：该数据是当前螺栓姿态相对于螺栓3d模型坐标系的姿态信息，由于螺栓模型的初始坐标系与机器人基坐标系相同，所以此时可与机器人末端姿态信息进行比较计算，调整机器人末端姿态,使机器人工具末端的z1轴与目标螺栓的z2轴平行，通过定位算法移动机器人末端，使z1与z2轴重合，进而实现装配过程中机器人末端夹持工件中心与待装配工件的中心轴的对中操作，具体实现过程如下：
9.1取螺栓坐标系B-XYZ的Z轴向量在模型匹配到实体螺栓后，得到该螺栓实体B'-XYZ相对于B-XYZ的姿态为[α,β,γ]，由此可得
其中：
9.2取机器人末端中心轴上向量其中R2由机器人末端位姿信息可知，其计算方式与R1相同。通过调整机器人末端姿态实现引导机器人末端工具中心轴与螺栓中心孔对中操作，即有：
9.3通过对矩阵R进行反解，即可得到相关的角度信息(α',β',γ')，即实现引导末端中心轴与螺栓中心轴对齐其姿态需要调整的角度与方向。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：机械臂的脑机接口控制方法、装置及设备