具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

装配机器人在利用机器视觉进行装配时，首先需要进行相机标定和手眼标定确定装配物体在相机坐标系，世界坐标坐标系和机器人抓手坐标系中位置关系，从而生成与之相对于的齐次转换矩阵或是三维姿态关系。并且判断出物体相对与机器人抓手的位置和姿态。再根据模型生成抓取姿态，完成运动规划，执行装配任务。在机器人进行装配的过程中面对不同物体时，选择更换匹配的模型从而得到抓取物体的位置和之态。但是上述方法将会出现以下问题：更换装配多个零件时，无法获取机器人抓手到待抓取零件的位姿，从而导致无法获得对应的抓取位姿。

为了解决上述难题，现有技术提供了多种解决办法，如通过多重力约束来确定零件抓取位置姿态，这个方案解决了如何装配的位置和姿态。但是这个带来了一些问题，要么需要对点云进行提前处理，其增加了算法的复杂和抓取时间增加了，造成机器人装配系统整体成本的增加。除了上述方法以外，目前采用方法到多数是通过深度学习来抓取零件，但是这些方法的缺点也是十分明显的，其一是深度学习的开发难度比较复杂，其二消耗的成本较大。

基于上述问题，本实施例提供一种基于3D视觉的机器人抓取方法，该方法能够基于三维空间和任意物体形状，快速地抓取到物体；另外；在抓取和装配零件时可以匹配多个不同的物体并且能计算不同物体相对应的抓取位姿。这里需要强调的是，本实施例中的机器人的末端安装的是抓手，而不是吸盘，所以需要先找到抓取点，如果不基于抓取点对物体进行抓取，可能会“撞”到物体，从而损坏物体。该方法包括以下步骤：

S1、构建零件的点云模型数据库。

对零件进行扫描，构建零件的点云模型，在所述点云模型中标注所述零件的抓取点后，保存所述点云模型。

在一些实施例中，可对零件的点云模型进行二次处理，以在点云匹配过程中提升点云处理点云的速度，其中，二次处理包括降采样处理和去三角化处理。

S2、对于包括n个零件的组装产品，获取组装产品的点云。

S3、根据点云切割算法对组装产品的点云进行分割，获得n个子点云。

S4、根据子点云从预设的数据库中，匹配获取各个零件的点云模型。

S5、根据预设的零件装配顺序获取对应的零件的点云模型，以及获取零件的抓取点。

S6、获取零件的抓取点与手眼标定模型的抓取点之间的转换关系。

S7、根据转换关系获取机器人抓手的抓取位姿，根据抓取位姿控制机器人抓取零件。

在一些可选的实施方式中，步骤S6通过以下步骤A1-A2来实现：

A1、在手眼标定后，以所述零件的抓取点为原点建立新的三维坐标系；

A2、将所述新的三维坐标系进行平移操作和/或旋转操作，使所述新的三维坐标系的原点与手眼标定模型的抓取点重合，获得零件的抓取点与手眼标定模型的抓取点之间的转换关系。

在一些可选的实施方式中，步骤S6通过以下步骤B1-B3来实现：

B1、在手眼标定之前，以手眼标定模型的抓取点为原点建立第一三维坐标系；

B2、基于零件的抓取点为原点建立第二三维坐标系；

B3、将所述第二三维坐标系进行平移操作和/或旋转操作，使得所述第二三维坐标系与所述第一三维坐标系重合，生成齐次变换矩阵作为转换关系。

在一些可选的实施方式中，机器人和3D相机相机之间的手眼标定模型通过以下步骤C1-C4来完成：

C1、3D相机采集标定场景的点云数据；

C2、从所述点云数据中获取标定物的点云；

C3、将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D相机的坐标系中的位姿；

C4、根据获得的位姿实现手眼标定。

其中，所述标定物固定在机器人的机械臂的末端，所述3D相机安装在所述机器人的上方。在一些可选的实施例中，采用三通管件作为标定物，三通管件在生活中很常见(比如三通水管)，易于获得，且不存在不连续边和顶点，非常适合作为标定物，三通水管的实物图如图3所示。参见图4，利用游标卡尺测量该三通水管的尺寸，利用solidworks软件绘制出模型图。

以下结合具体实施例对上述进行详细解释说明。

本实施例提出一种针对于任意物体的装配和自动化物体装配的方法，该方法可应用于机器人装配系统。该方法包括两部分，第一部分为匹配部分，通过改变装配物体的初始位姿来确定，在接下来的匹配时相对应的抓取姿态，其改变初始位姿以手眼标定时模型的位置进行参考。第二部分为自动任意物体的抓取部分，该部分将创建一个后台数据库，用来存放经过二次处理的模型数据。在装配机器人系统中如需要更改不同的抓取零件，只是需要在控制平台选择相应的零件模型，系统在匹配时将会根据模型数据来计算出相应的位置和姿态。

在本实施例中，参见图2，该机器人装配系统包括有PC机1、装配工件(即零件，图2中包括第一装配工件4、第二装配工件5)、YUMI机器人3、3D相机2。先将机器人固定在工作台上，在机器人工作的范围的上方固定3D相机，将机器人通过RJ45的通讯端口与PC机相连，3D相机通过USB3.0接口与PC机进行数据传输和控制。

创建数据库，即包含零件的点云模型的数据库，基于该数据库可以获得各个零件对象与拍摄点云对象之间的关系。其中，点云模型包括零件的属性信息，包括点云数、尺寸大小以及零件的名称等。

基于上述创建的数据库，进行模型抓取点归原的操作，该操作有两种方法来实现：

方法一：读取零件的三维模型(即点云模型)，以零件的抓取点为原点建立新的三维坐标系，将新建立的三维坐标系进行三维平移和旋转，使该新坐标系的原点和手眼标定模型的抓取点重合。保存处理后的归原点模型文件。

方法二：在手眼标定之前，先以手眼标定模型的抓取点为原点建立第一坐标系，以零件的抓取点建立第二坐标系，再通过三维平移和旋转进行移动，使这二个坐标系重合生成新的模型，再进行手眼标定生成标定文件。在反算位姿之前对进行匹配的模型进行和手眼标定进行相同坐标转换。保存处理后的归原点模型文件。参见图5，第一步、将零件P1(如三通管件)上的抓取点O1平移到第一世界坐标系C1上的原点。第二步、确定零件P2的抓取点O2，以抓取点O2为原点建立第二世界坐标系C2。第三步、通过平移和旋转的操作，将第二世界坐标系C2与第一世界坐标系重合，同时生成相对比的齐次变换矩阵。第四步、通过齐次变换矩阵将零件P2转换到第一世界坐标系C1上，实现抓取点归原。

其中，三维坐标系的转换可通过以下方式来实现。

1)三维坐标的平移：

在三维空间中点p₂平移到p₁，如公式(1)，其中X_p1，Y_p1，Z_p1为p₁点的坐标，t是p₂相对于p₁的偏移的距离，这个是有大小和方向的。

2)三维坐标的旋转：

三维坐标的旋转主要是通过XYZ三个方向上的旋转进行组合，确定物体的旋转方式。

根据手眼标定文件确定的零件和机器人抓手的关系就固定了，生成的是一种刚性装换，当了解其零件的位置和其姿态从而确定抓手的位姿。其中将坐标系O₂移动到坐标系O₁，其计算公式如下：

O₁＝R*O₂+t (3)

其中在公式3中的R可以用矩阵的方式，表示为H，H为O₁到O₂的齐次变换矩阵。公式中t是二点之间平移的失量。

通过上述的公式将其中的刚性的转换成齐次变换矩阵的方式展现，在坐标系C2中O₂原点转换成O₁的计算过程。而其中的

例如，某个零件需要在Y轴上旋转和在Z轴上旋转，其齐次变换矩阵可以如公式(6)表示的那样。其中公式(2)的齐次转换矩阵是物体在空间中绕XYZ轴旋转的齐次变换矩阵。而公式(3)中的R表示物体从O2到O1移动时发生的旋转，通过上述公式(3)，公式(4)和公式(5)和已知的点的信息可以知道H齐次转换矩阵。通过齐次转换矩阵将三维模型进行变换，从而确定新的三维模型。

获得零件的抓取点与手眼标定模型的抓取点之间的转换关系后，确定了零件和抓手之间刚性的变化，同时也确定了世界坐标系和相机之间的关系。

确定一个零件的姿态变化可以通过连续的旋转或是平移进行展现，例如中一个物体在点P1进行对此旋转到P2点可以通过公式7来实现：

R_gba＝R_x(RotX)·R_y(RotY)·R_z(RotZ) (7)

RotX表示在绕X轴旋转的角度，RotY表示绕Y轴旋转的角度，RotZ表示绕Z轴旋转的角度，R代表的是旋转矩阵。

在获得转换关系后，通过反算位姿的方式，算出物体的位姿，并且将位姿信息传递到机器人，并且机器人根据其中的装配程序进行装配。

综上所述，本实施例方法相对于现有技术，具有如下有益效果：本实施例提出的是一种简单而高效的抓取方法，解决了机器人装配快速的完成对装配零件的替换，同时能进行多个物体的同时装配和复杂工件的装配，提高自动化程度。

本实施例还提供了一种基于3D视觉的机器人抓取系统，包括：

点云获取模块，用于对于包括n个零件的组装产品，获取所述组装产品的点云；

点云切割模块，用于根据点云切割算法对所述组装产品的点云进行分割，获得n个子点云；

点云匹配模块，用于根据子点云从预设的数据库中，匹配获取各个所述零件的点云模型；

抓取点获取模块，用于根据预设的零件装配顺序获取对应的零件的点云模型，以及获取零件的抓取点；

抓取点转换模块，用于获取零件的抓取点与手眼标定模型的抓取点之间的转换关系；

位姿反算模块，用于根据所述转换关系获取机器人抓手的抓取位姿，根据抓取位姿控制机器人抓取所述零件。

本实施例的一种基于3D视觉的机器人抓取系统，可执行本发明方法实施例所提供的一种基于3D视觉的机器人抓取方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种基于3D视觉的机器人抓取装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。

本实施例的一种基于3D视觉的机器人抓取装置，可执行本发明方法实施例所提供的一种基于3D视觉的机器人抓取方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种基于3D视觉的机器人抓取方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。