一种未知环境中的机器人抓取方法及系统

文档序号:1853970 发布日期:2021-11-19 浏览:1次 >En<

阅读说明:本技术 一种未知环境中的机器人抓取方法及系统 (Robot grabbing method and system in unknown environment ) 是由 陈建国 孔坚斌 刘俊 于 2021-07-26 设计创作,主要内容包括:本发明提出了一种未知环境中的机器人抓取方法及系统,其中方法具体包括以下步骤:步骤一、获取实际作业环境图像数据;步骤二、提取图像数据中的目标物;步骤三、根据标记出的目标物位置进行定位;步骤四、根据定位结果生成对应的抓取控制指令;步骤五、根据抓取控制指令触发抓取行为。本发明通过补偿智能机器人位置定位偏差,增加定位准确性,提高抓取效率。同时对采集到的数据图像进行预处理,实现图像特征提取的精度提高。针对抓取过程中的被夹持物的表面损伤,进一步提出了一种柔性的夹持器,与传统刚性接触的夹持器相比,自适应性更强,实际工作作业过程中对不同大小和形状的物体无损抓取更为稳定。(The invention provides a robot grabbing method and system in an unknown environment, wherein the method specifically comprises the following steps: acquiring image data of an actual operation environment; secondly, extracting a target object in the image data; thirdly, positioning according to the marked position of the target object; fourthly, generating a corresponding grabbing control instruction according to the positioning result; and step five, triggering the grabbing behavior according to the grabbing control instruction. According to the invention, the positioning accuracy is increased and the grabbing efficiency is improved by compensating the position positioning deviation of the intelligent robot. Meanwhile, the acquired data image is preprocessed, so that the accuracy of image feature extraction is improved. Aiming at the surface damage of a clamped object in the grabbing process, the flexible clamp holder is further provided, compared with the traditional clamp holder in rigid contact, the flexible clamp holder is stronger in self-adaptability, and objects with different sizes and shapes can be grabbed more stably without damage in the actual working process.)

一种未知环境中的机器人抓取方法及系统

技术领域

本发明涉及一种未知环境中的机器人抓取方法及系统,特别是涉及自动化智能机器人技术领域。

背景技术

随着计算机技术的发展以及自动化技术的大力推进,智能化的工业作业在日常生产活动中获得了大力的引进。往返抓取机器人的作业环境为定点抓取作业后,携带目标物至目的地,再返回取物作业环境进行下一轮的抓取作业。

现有技术中,由于在陌生环境,或返回作业的工业作业工况,往往会会出现定位不准的现象,从而导致智能机器人的抓取准确度不够。

发明内容

发明目的:提出一种未知环境中的机器人抓取方法及系统,以解决现有技术存在的上述问题。同时,通过补偿智能机器人位置定位偏差,增加定位准确性,提高抓取效率。

技术方案:第一方面,提出了一种未知环境中的机器人抓取方法,该方法包括以下步骤:

步骤一、获取实际作业环境图像数据;

步骤二、提取图像数据中的目标物;

步骤三、根据标记出的目标物位置进行定位;

步骤四、根据定位结果生成对应的抓取控制指令;

步骤五、根据抓取控制指令触发抓取行为。

在第一方面的一些可实现方式中,步骤三在进行目标位置定位时,实现流程进一步为:机器人在进行手眼标定时,设定机器人基座处于X1处时,观测到抓取作业台面和桌腿形状的激光数据为D1,转换为点云P1,设抓取时机器人停在X2处,观测到抓取作业台面和桌腿形状的激光数据为D2,转换为点云P2;激光传感器与机器人基座一体,位置关系固定,系统标定与抓取时激光传感器的位姿偏差即是机器人基座位姿偏差,采用基于激光数据的迭代最近点算法估计X1和X2之间的偏差;将手眼标定时的激光点云P1作为参考点云,将抓取时的激光点云P2作为源点云,对两者进行基于最小二乘法的最优匹配,每次迭代将P2通过旋转平移匹配P1,使二者点集重叠,每次迭代优化旋转与平移动作,通过多次迭代,达到最优配准并通过计算获得的偏差数据进行最终位置的修正。

在第一方面的一些可实现方式中,步骤一中获取到实际作业环境图像数据后,对所述环境图像数据进行图像预处理;所述图像预处理进一步为:首先通过智能机器人自身的信息采集设备获取像素值为图像传感器到场景点距离的图像数据;其次,根据深度值计算获得物体到信息采集设备之间的距离;再次,根据信息采集设备的内参矩阵与像素坐标,得到信息采集设别下的坐标,并进一步获得到目标物体的三维信息;最后获取目标物体的三维数据。

针对采集到的环境图像数据进行滤波操作,用于提高数据恢复的精度。

在第一方面的一些可实现方式中,实际住区作业过程中,在进行抓取行为前,智能机器人首先根据地标进行运输路径的规划定位;当抵达目的地位置时,通过信息采集设备获取当前目标物所在的场景的实际图像,然后通过标定关系和定位偏差补偿进行位置的精准确定;当目标物的位置确定后,生成对应的抓取指令,机械臂在接收到抓取指令后执行抓取行为,完成抓取。

在第一方面的一些可实现方式中,在步骤五进行抓取前,还包括对目标抓取物体的类型判断,进一步的,首先,构建目标物类型识别网络模型;其次,构建训练集;再次,通过训练集训练所述目标物类型识别网络模型;从次,将训练完成的目标物类型识别网络模型用于接收实际作业过程中采集到的图像数据,并进行分析;最后,所述目标物类型识别网络模型输出最终的识别结果,并根据获取到的目标判断结果生成抓取指令,完成抓取行为。

所述目标物类型识别网络模型训练过程中采用均方差作为损失函数,同时在构成目标物类型识别网络模型的全连接层后添加dropout层,降低神经元之间的复杂关系。

在第一方面的一些可实现方式中,步骤五中的进行抓取行为的通过夹持器进行物体的夹持行为,所述夹持器顶部设有安装孔,所述安装孔用于与驱动夹持器进行运动的驱动器固定连接,内部支撑为片状支撑,用于夹持物体的夹持器为两个相对握式的部件,抓取物体时为了与物体形状相适应,产生对应的柔性变形,实现抓取;当夹持器进行目标物抓取时,夹持面与目标物接触,夹持面与目标物外部轮廓变形贴合,从而实现抓取。

第二方面,提出一种未知环境中的机器人抓取系统,该系统具体包括:

视觉单元,被设置为控制信息采集设备获取目标图像;

机械臂控制单元,被设置为控制伺服电机控制智能机器人的关节转动;

计算机运算控制单元,被设置为接收视觉单元采集到的图像数据,并进行处理分析,从而获取对应的方案措施。

在第二方面的一些可实现方式中,在智能机器人在实际作业过程中,视觉单元通过置于智能机器人头部的摄像机获取周围作业环境,并将采集到的图像数据传输至计算机运算控制着单元;计算机运算控制单元接收视觉单元传输过来的图像数据后对其进行处理分析,并生成对应的控制指令,用于控制智能机器人的移动以及控制机械臂进行对应的操作;机械臂控制单元接收来自计算机运算控制单元生成的控制指令,根据控制指令调控伺服电机驱动智能机器人机械臂各个关节的转动,从而实现目标物的抓取。

其中,所述计算机运算控制单元还包括:处理器以及存储有计算机程序指令的存储器;所述处理器读取并执行所述计算机程序指令,以实现任意一项机器人抓取方法。

第三方面,提出一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令。其中,所述计算机程序指令被处理器执行时实现任意一项机器人抓取方法。

有益效果:本发明提出了一种未知环境中的机器人抓取方法及系统,通过补偿智能机器人位置定位偏差,增加定位准确性,提高抓取效率。同时对采集到的数据图像进行预处理,实现图像特征提取的精度提高。针对抓取过程中的被夹持物的表面损伤,进一步提出了一种柔性的夹持器,与传统刚性接触的夹持器相比,自适应性更强,实际工作作业过程中对不同大小和形状的物体无损抓取更为稳定。

附图说明

图1为本发明实施例的数据处理流程图。

图2为本发明实施例的夹持器的简易示意图。

具体实施方式

在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。

实施例一

提出一种未知环境中的机器人抓取方法,如图1所示,该方法具体包括以下步骤:

步骤一、获取实际作业环境图像数据;

步骤二、提取图像数据中的目标物;

步骤三、根据标记出的目标物位置进行定位;

步骤四、根据定位结果生成对应的抓取控制指令;

步骤五、根据抓取控制指令触发抓取行为。

具体的,在进一步的实施例中,智能机器人在作业过程时,根据地标进行运输路径的规划定位。当抵达目的地位置时,通过信息采集设备获取当前目标物所在的场景的实际图像,然后通过标定关系和定位偏差补偿进行位置的精准确定。当目标物的位置确定后,生成对应的抓取指令,机械臂在接收到抓取指令后执行抓取行为,完成抓取。

实施例二

在实施例一基础上的进一步的实施例中,为了解决定位不准的现象,从而导致智能机器人的抓取准确度不够的情况,在进行定位时,本实施例提出定位偏差补偿方法。具体的,机器人在进行手眼标定时,设定机器人基座处于X1处时,观测到抓取作业台面和桌腿形状的激光数据为D1,转换为点云P1,设抓取时机器人停在X2处,观测到抓取作业台面和桌腿形状的激光数据为D2,转换为点云P2。激光传感器与机器人基座一体,位置关系固定,系统标定与抓取时激光传感器的位姿偏差即是机器人基座位姿偏差,采用基于激光数据的迭代最近点算法估计X1和X2之间的偏差,原理是将手眼标定时的激光点云P1作为参考点云,将抓取时的激光点云P2作为源点云,对两者进行基于最小二乘法的最优匹配,每次迭代将P2通过旋转平移匹配P1,使二者点集重叠,每次迭代优化旋转与平移动作,通过多次迭代,达到最优配准,得出使两幅点云最优匹配的旋转平移矩阵[R1,T1],且该矩阵满足如下表达式:

P1=R1×P2+T1

迭代得到的旋转平移矩阵[R1,T1]表征了机器人抓取作业时与标定时基座坐标系的偏差。

根据抓取与标定时的位姿偏差[R1,T1],对手眼关系[R0,T0]进行补偿,得到实际抓取时的手眼关系,其表达式为:

[R0′,T0 ]=[R0,T0]×[R1,T1]

式中,R0表示智能机器人基座坐标系到视觉传感器坐标系的旋转矩阵;T0表示平移矩阵。

实施例三

在实施例一基础上的进一步的实施例中,夹持器作为智能机器人在实际抓取作业过程中的重要组成部分,用于根据智能机器人接收到的控制指令进行目标物的抓。现有技术中,夹持装置与被夹持物之间通过对接触点施加压力,从而增大摩擦力,进而实现抓取功能,且两者之间多为刚性接触。这种的通过增加压力以及摩擦力的接触方式,往往会对目标物的表面造成损伤,因此,为了降低被抓取目标物的损伤,本实施例进一步提出一种柔性夹持器。与现有技术中相比,本实施例的夹持器增加了传统夹持器的柔性,使其可以在快速适应目标被抓取物形状时,降低表面损伤。

具体的,如图2所示为本实施例夹持器的简易示意图,本实施例夹持器顶部设有安装孔用于与驱动夹持器运动的驱动器固定连接,内部支撑为片状支撑,用于夹持物体的夹持器为两个相对握式的部件,抓取物体时为了与物体形状相适应,产生对应的柔性变形,实现抓取。当夹持器进行目标物抓取时,夹持面与目标物接触,由于内部支撑刚度小,夹持面与目标物外部轮廓变形贴合,从而实现抓取。

本实施例与传统刚性接触的夹持器相比,自适应性更强,实际工作作业过程中对不同大小和形状的物体无损抓取更为稳定。

实施例四

在实施例一基础上的进一步的实施例中,针对图像数据的识别处理,进一步提出一种图像数据预处理方法。具体的,首先通过智能机器人自身的信息采集设备获取像素值为图像传感器到场景点距离的图像数据;其次,根据深度值计算获得物体到信息采集设备之间的距离;再次,根据信息采集设备的内参矩阵与像素坐标,得到信息采集设别下的坐标,并进一步获得到目标物体的三维信息;最后获取目标物体的三维数据。

在进一步的实施例中,在实际工业作业过程中,由于目标物体表面材质、被遮挡以及轮廓阴影等问题,往往会影响到智能机器人信息采集设备获取到的图像数据质量,从而使得测量到的深度值与实际值出现偏差。为了解决实际作业过程中遇到的问题,本实施例通过对采集到的图像数据进行滤波操作的方式,提高数据恢复的精度。

具体的,当获取到的图像数据上有一像素点m(x,y),则其对应的深度值为Data(m);当该像素点的领域集合为A,像素点n(a,b)为领域集合A中的一点时,对应的深度值为Data(n),若此时像素点m的深度值出现缺失时,其深度值的估计表达式为:

式中,wdis(x,y)表示距离权重;wc(x,y)表示图像灰度权值;Hp表示归一化系数;σdis表示图像数据灰度权重的标准差;σc表示图像数据空间权重标准差。优选的,在实际工况作业中,σdis取值范围为4~8mm,当σc值越小时,图像数据的边缘则会更加的清晰,进而使得获取到的深度值也更贴合实际。由于σc的取值与图像噪声σn的标准差具有线性关系,优选实施例中,当σc的范围为2σn到3σn时,效果最佳,其中,图像噪声标准差σn的表达式为:

式中,w表示图像数据的行数;h表示图像数据的列数;N表示拉普拉斯模板;G(p)表示采集到的图像数据。

实施例五

在实施例一基础上的进一步的实施例中,在步骤五进行抓取前,还包括对目标抓取物体的类型判断,进一步的,首先,构建目标物类型识别网络模型;其次,构建训练集;再次,通过训练集训练所述目标物类型识别网络模型;从次,将训练完成的目标物类型识别网络模型用于接收实际作业过程中采集到的图像数据,并进行分析;最后,所述目标物类型识别网络模型输出最终的识别结果,并根据获取到的目标判断结果生成抓取指令,完成抓取行为;

所述目标物类型识别网络模型训练过程中采用均方差作为损失函数,同时在构成目标物类型识别网络模型的全连接层后添加dropout层,由于不同的权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况,减少权重降低神经元之间的复杂关系,同时也使得网络对丢失特定神经元连接的鲁棒性提高。

实施例六

在实施例一的基础上,进一步提出一种未知环境中的机器人抓取系统,用于实现实施例一中的方法,该系统更具体包括:

视觉单元,被设置为控制信息采集设备获取目标图像;

机械臂控制单元,被设置为控制伺服电机控制智能机器人的关节转动;

计算机运算控制单元,被设置为接收视觉单元采集到的图像数据,并进行处理分析,从而获取对应的方案措施。

在进一步的实施例中,计算机运算控制单元还包括:处理器以及存储有计算机程序指令的存储器。

其中,处理器读取并执行所述计算机程序指令,以实现机器人抓取方法。

具体的,在智能机器人在实际作业过程中,视觉单元通过置于智能机器人头部的摄像机获取周围作业环境,并将采集到的图像数据传输至计算机运算控制着单元;计算机运算控制单元接收视觉单元传输过来的图像数据后对其进行处理分析,并生成对应的控制指令,用于控制智能机器人的移动以及控制机械臂进行对应的操作;机械臂控制单元接收来自计算机运算控制单元生成的控制指令,根据控制指令调控伺服电机驱动智能机器人机械臂各个关节的转动,从而实现目标物的抓取。

实施例七

在实施例一的基础上,进一步提出一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现机器人抓取方法。

如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上做出各种变化。

10页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种抓取机械手防滑控制系统及方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!