一种基于三维数据分析的机器人抓取方法及系统

文档序号:1869451 发布日期:2021-11-23 浏览:33次 >En<

阅读说明:本技术 一种基于三维数据分析的机器人抓取方法及系统 (Robot grabbing method and system based on three-dimensional data analysis ) 是由 李瑞锋 张考 许添平 于 2021-08-30 设计创作,主要内容包括:本发明提出了一种基于三维数据分析的机器人抓取方法及系统,方法包括:构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中,并对识别网络模型进行性能训练;根据路径规划达到目标物所在区域;触发信息采集设备对目标物进行图像数据采集;对采集到的图像数据进行数据预处理并获取目标物的三维数据信息;将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取;利用坐标转换模型对步骤五中提取到的位置信息进行转换;根据转换后的坐标生成抓取指令,并根据所述抓取指令完成抓取。通过获取物体的三维信息,以及识别网络模型对三维信息的读取分析,使得智能化抓取机器人可以高效率地控制完成抓取的任务。(The invention provides a robot grabbing method and system based on three-dimensional data analysis, wherein the method comprises the following steps: constructing a recognition network model and a coordinate conversion model, placing the recognition network model and the coordinate conversion model into a core processor of the intelligent grabbing robot, and performing performance training on the recognition network model; planning to reach the area where the target object is located according to the path; triggering information acquisition equipment to acquire image data of a target object; carrying out data preprocessing on the acquired image data and acquiring three-dimensional data information of a target object; inputting the three-dimensional data information acquired in the step four into the identification network model to extract the relevant information of the target object; converting the position information extracted in the fifth step by using a coordinate conversion model; and generating a grabbing instruction according to the converted coordinates, and completing grabbing according to the grabbing instruction. By acquiring the three-dimensional information of the object and recognizing the reading and analysis of the network model on the three-dimensional information, the intelligent grabbing robot can efficiently control and complete the grabbing task.)

一种基于三维数据分析的机器人抓取方法及系统

技术领域

本发明涉及一种基于三维数据分析的机器人抓取方法及系统,特别是涉及之鞥呢机器人图像数据处理技术领域。

背景技术

随着智能化技术的推进,带动了现代工业想智能化的方向发展,智能化产业在实际工业作业的生产中逐渐占据主导地位,智能机器人也逐渐被应用到社会生产的众多领域。在智能化工业抓取作业过程中,智能机器人在到达目标物的位置时,触发信息采集设备对目标物进行图像数据获取,随后通过图像数据处理获取目标物的位置,并返回目标物的相关信息,从而辅助抓取机器人对目标物的抓取。

现有技术中,由于目标物体散落的姿态和位置具有不确定性,因此,在抓取作业过程中往往会出现抓取掉落的情况,从而导致机器人重复劳动的现象,进而降低抓取机器人的工作效率。

发明内容

发明目的:提出一种基于三维数据分析的机器人抓取方法及系统,以解决现有技术存在的上述问题。

技术方案:第一方面,提出了一种基于三维数据分析的机器人抓取方法,其特征在于,具体包括以下步骤:

步骤一、构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中,并对识别网络模型进行性能训练;

步骤二、根据路径规划达到目标物所在区域;

步骤三、触发信息采集设备对目标物进行图像数据采集;

步骤四、对采集到的图像数据进行数据预处理并获取目标物的三维数据信息;

步骤五、将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取;所述相关信息包括位置信息、类别信息;

步骤六、利用坐标转换模型对步骤五中提取到的位置信息进行转换;

步骤七、根据转换后的坐标生成抓取指令,并根据所述抓取指令完成抓取。

在第一方面的一些可实现方式中,对采集到的图像数据进行数据预处理时,采用加权平均值法对彩色图像进行灰度图像处理,并在灰度化后采用0或255的数值将灰度化的图像数据转化为黑白二值化图像数据。

其中灰度化的表达式为:

式中,表示经过绘图处理后的图像数据,表示彩色图像中R分量的权值;表示彩色图像中G分量的权值;彩色图像中B分量的权值。

在第一方面的一些可实现方式中,步骤六中利用坐标转换模型对位置信息进行转换时进一步包括信息采集设备存在位于智能化机器人机械臂的末端,以及相对于地面固定两种情况。

建立机械臂基坐标系、机械臂末端坐标系以及信息采集设备所在坐标系,针对信息采集设备所在坐标系中的任意一点a(x,y,z)转换到机械臂末端坐标系中的b(X,Y,Z)的满足表达式如下:

或:

因此坐标转换的矩阵为:

式中,表示由信息采集设备所在坐标系到机械臂基坐标系的转换矩阵;表示由信息采集设备所在坐标系到机械臂末端坐标系的转换矩阵;表示由机械臂基坐标系到机械臂末端坐标系的转换矩阵。

当信息采集设备位于智能化机器人机械臂的末端时,由于信息采集设备的位置相对于工业机器人末端位置固定,根据坐标转换矩阵转换为对的标定。所述表示由信息采集设备所在坐标系到机械臂末端坐标系的转换矩阵。

当信息采集设备与工业机器人独立安装,且相对于地面固定安装时,通过坐标转换矩阵,将其转换为对的标定。所述表示由信息采集设备所在坐标系到机械臂基坐标系的转换矩阵。

在第一方面的一些可实现方式中,完成抓取过程中还包括一种柔性贴合机械爪;所述柔性贴合机械爪是根据鱼鳍向施加力方向弯曲的特性构建的仿生柔性贴合机械爪;抓取过程中,所述柔性贴合机械爪可以根据目标物给出的反向施加力,被动的适应目标物的形状。

所述柔性贴合机械爪采用步进电机,并通过差分式驱动器进行驱动,所述驱动器采用单端共阴极线路接法。

所述识别网络模型包括输入层、采样层、卷积层、池化层、全连接层;其中,所述池化层紧跟于所述卷积层之后,并采用下采样的方式进一步对特征图进行压缩和冗余去除。在池化层中通过在特征图中寻找最大值的方式对数据进行处理。全连接层的激活函数采用Leaky Re Lu函数,所述Leaky Re Lu函数为非线性的非饱和函数,用于解决梯度消失的问题,同时能够反向传播错误并激活多个神经元;若输入值为负,将为所有负值分配一个非零的斜率。

第二方面,提出一种基于三维数据分析的机器人抓取系统,该系统具体包括:用于构建网络识别模型和坐标转换模型的第一模块,该模块被设置为构建识别网络模型和坐标转换模型,并将两者置入智能抓取机器人核心处理器中;用于实现路径规划的第二模块,该模块被设置为根据作业需求制定智能化机器人的实际作业路线;用于获取图像数据的第三模块,该模块被设置为根据接收到的触发信号完成实际工况中的图像数据采集;用于提取图像数据信息的第四模块,该模块被设置为接收第三模块后采集到的图像数据,并进行数据预处理获取目标物的三维数据信息;用于获取目标物相关信息的第五模块,该模块被设置为将第四模块中获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取;用于生成智能化机器人可参考的坐标系坐标的第六模块,该模块被设置为利用坐标转换模型获取智能化机器人可识别才考的坐标,并生成抓取指令;用于执行抓取行为的第七模块,该模块被设置为根据生成抓取指令完成抓取行为。

在第二方面的一些可实现方式中,所述第一模块构建完识别网络模型和坐标转换模型后,将其置入智能抓取机器人核心处理器中,并进一步对识别网络模型进行性能训练;在实际作业过程中,所述第二模块首先根据需求制定智能化机器人的行走路线,并在抵达目标物所在范围后产生第三模块的触发信号;所述第三模块接收第二模块产生的触发信号,调动信息采集设备对实际工况进行图像数据的采集,并将采集到的图像数据发送至第四模块中进行预处理后,进入第五模块进行三维数据信息的提取;所述第六模块根据获取到的信息,采用坐标转换模型进行位置坐标的转换,并生成对应的抓取指令;所述第七模块根据生成的抓取指令完成抓取。

有益效果:在智能化抓取机器人的抓取作业过程中,针对现有技术中的二维图像识别技术存在技术视角敏感度高,以及可移植性差的问题进一步导致的目标物姿态和位置的不确定性、以及抓取效率不高的现象,提出一种基于三维数据分析的机器人抓取方法,通过获取物体的三维信息,以及识别网络模型对三维信息的读取分析,进一步获取更为精准的目标物姿态信息,从而提高目标物的定位精准度,引导智能化抓取机器人高效率控制完成抓取的任务。

附图说明

图1为本发明实施例的数据处理流程图。

图2为本发明实施例电机与驱动器之间的电路连接示意图。

具体实施方式

在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。

实施例一

在智能化抓取机器人的抓取作业过程中,由于现有技术中的二维图像识别技术存在技术视角敏感度高,以及可移植性差的问题,因此针对这些问题进一步导致的目标物姿态和位置的不确定性、以及抓取效率不高的问题,提出一种基于三维数据分析的机器人抓取方法,该方法具体包括以下步骤:

步骤一、构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中,并对识别网络模型进行性能训练;

步骤二、根据路径该规划达到目标物所在区域;

步骤三、触发信息采集设备对目标物进行图像数据采集;

步骤四、对采集到的图像数据进行数据预处理并获取目标物的三维数据信息;

步骤五、将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取;

步骤六、利用坐标转换模型对步骤五中提取到的位置信息进行转换;

步骤七、根据转换后的坐标生成抓取指令,并根据所述抓取指令完成抓取。

通过获取物体的三维信息,以及识别网络模型对三维信息的读取分析,进一步获取更为精准的目标物姿态信息,从而提高目标物的定位精准度,引导智能化抓取机器人高效率控制完成抓取的任务。

实施例二

在实施例一基础上的进一步实施例中,对采集到的图像数据进行数据预处理时,为了很好的提取到图像数据中的图像特征,本实施例采用图像灰度处理的方式降低由于色彩导致的数据信息量过大,处理耗时长的问题。

具体的,为了获取更完整的图像信息,以及更少的图像噪声,本实施例采用加权平均值法对彩色图像进行灰度图像处理,其处理表达式为:

式中,表示经过绘图处理后的图像数据,表示彩色图像中R分量的权值;表示彩色图像中G分量的权值;彩色图像中B分量的权值。

在进一步的实施例中,为了进一步简化图像数据处理的流程,对灰度化的图像数据采用0或255的数值生成黑白二值化图像,使得图像的特征信息仅仅与图像像素的位置有关,从而突出目标物的轮廓。

实施例三

在实施例一基础上的进一步实施例中,为了支持智能化抓取机器人的手眼协调作业,在获取到目标物的实际位置后,需将信息采集设备获取到的实际位置坐标转换为在智能化抓取机器人所采用坐标系中的坐标。由于智能化抓取机器人的抓取行为依赖于转换后的坐标系,因此坐标转换后的准确性对抓取行为存在较大的影响。本实施例针对坐标系转换的准确性,一种坐标转换方法用于提高坐标转换结果。

具体的,在工业实施过程中,对目标物体进行定位时,由于信息采集设备存在位于智能化机器人机械臂的末端以及相对于地面固定两种情况,因此首先建立机械臂基坐标系、机械臂末端坐标系以及信息采集设备所在坐标系,根据设备坐标系相对于工业机器人的位置,实现坐标系的不同转换。

当信息采集设备位于智能化机器人机械臂的末端时,由于信息采集设备的位置相对于工业机器人末端位置固定,根据坐标转换矩阵转换为对的标定;当信息采集设备与工业机器人独立安装,且相对于地面固定安装时,由于随着机器人末端运动而变化,并不是固定值,难以标定,因此通过坐标转换矩阵,将其转换为对的标定;其中,表示由信息采集设备所在坐标系到机械臂基坐标系的转换矩阵;表示由信息采集设备所在坐标系到机械臂末端坐标系的转换矩阵;表示由机械臂基坐标系到机械臂末端坐标系的转换矩阵。

在进一步的实施例中,针对信息采集设备所在坐标系中的任意一点a(x,y,z)转换到机械臂末端坐标系中的b(X,Y,Z)的满足表达式如下:

或:

因此坐标转换的矩阵为:

式中,表示由信息采集设备所在坐标系到机械臂基坐标系的转换矩阵;表示由信息采集设备所在坐标系到机械臂末端坐标系的转换矩阵;表示由机械臂基坐标系到机械臂末端坐标系的转换矩阵。

实施例四

在实施例一基础上的进一步实施例中,在实现抓取作业的过程中,当待抓取的目标物特点具备不确定性时,往往会由于目标物的硬度不够、质量不均匀等问题,出现损坏目标物的表面,或者抓取过程中掉落的现象。因此针对这种问题导致的抓取效率不高的现象,本实施例提出一种柔性贴合机械爪,使得抓取作业过程中,柔性贴合机械爪可以被动适应目标物的形状特点,从而实现牢固抓取的目的。

具体的,根据鱼鳍向施加力方向弯曲的特性构建仿生柔性贴合机械爪,使得机械爪可以根据目标物给出的反向施加力,被动的适应目标物的形状,在不损伤目标物的前提下,具备更强的通用性。

在进一步的实施例中,本实施例提出的柔性贴合机械爪采用步进电机,并通过差分式驱动器进行驱动,所述驱动器采用单端共阴极线路接法。如图2所示为电机与驱动器之间的电路连接图,本实施例中驱动器的细分数为16,且有ENA+信号接口、ENA-信号接口、DIR+信号接口、DIR-信号接口、CLK+信号接口、CLK-信号接口、电源信号口、接地信号口和4个绕组连接线路。其中,ENA+连接使能信号、CLK+连接控制脉冲信号、DIR+连接方向信号,ENA-信号接口、DIR-信号接口、CLK-信号接口共同连接在接地信号上,绕组连接线路与电机接口的AB相绕组正负端分别对应连接。

实施例五

在实施例一基础上的进一步实施例中,针对二维识别在拍摄角度倾斜等情况导致定位出错、抓取定位精度不高的问题,提出一种三维识别网络模型,该模型通过优化后的卷积神经网络对图像数据进行分类,并在分类后结合分类器的技术方案进行识别分析。通过提高识别结果,可以提高智能化抓取机器人对目标物的认知,从而提高智能化抓取机器人的抓取效率,针对非目标物体或者目标物体存在问题缺陷的,执行放弃抓取操作,减少无效作业的工况。

具体的,三维识别网络模型包括输入层、采样层、卷积层、池化层、全连接层,其中池化层紧跟于卷积层之后,并采用下采样的方式进一步对特征图进行压缩和冗余去除。在池化层中通过在特征图中寻找最大值的方式对数据进行处理,从而可以减少计算时间,提高不同空间位置特征的鲁棒性。全连接层的激活函数选取修正线性函数(Re LU)的改进函数Leaky Re Lu,该函数为非饱和函数,能够有效解决梯度消失的问题。此外,该函数是非线性的,能够反向传播错误并激活多个神经元。若输入值为负,将为所有负值分配一个非零的斜率,可以避免Re Lu函数在训练过程中由于将负值设置为0导致的问题。

在分类完成后采用分类器结合阈值进行筛选,从而获取最终的结果,通过这种组合分类的技术方案可以有效的将识别精度提高5%-8%。

实施例六

本实施例提出一种基于三维数据分析的机器人抓取系统用于实现实施例一种提出的方法,该系统具体包括:

用于构建网络识别模型和坐标转换模型的第一模块,该模块被设置为构建识别网络模型和坐标转换模型,并将两者置入智能抓取机器人核心处理器中;

用于实现路径规划的第二模块,该模块被设置为根据作业需求制定智能化机器人的实际作业路线;

用于获取图像数据的第三模块,该模块被设置为根据接收到的触发信号完成实际工况中的图像数据采集;

用于提取图像数据信息的第四模块,该模块被设置为接收第三模块后采集到的图像数据,并进行数据预处理获取目标物的三维数据信息;

用于获取目标物相关信息的第五模块,该模块被设置为将第四模块中获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取;

用于生成智能化机器人可参考的坐标系坐标的第六模块,该模块被设置为利用坐标转换模型获取智能化机器人可识别才考的坐标,并生成抓取指令;

用于执行抓取行为的第七模块,该模块被设置为根据生成抓取指令完成抓取行为。

在进一步的实施例中,第一模块构建完识别网络模型和坐标转换模型后,将其置入智能抓取机器人核心处理器中,并进一步对识别网络模型进行性能训练。在实际作业过程中,第二模块首先根据需求制定智能化机器人的行走路线,并在抵达目标物所在范围后产生第三模块的触发信号。第三模块接收第二模块产生的触发信号,调动信息采集设备对实际工况进行图像数据的采集,并将采集到的图像数据发送至第四模块中进行预处理后,进入第五模块进行三维数据信息的提取。第六模块根据获取到的信息,采用坐标转换模型进行位置坐标的转换,并生成对应的抓取指令。第七模块根据生成的抓取指令完成抓取。

如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上做出各种变化。

12页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种绳驱柔性摆动机构

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!