具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，而非以任何方式限制本发明的保护范围。

在说明书的全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列相目中的一个或多个的任何和全部组合。在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而非严格按比例绘制。

还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、步骤、整体、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、步骤、整体、操作、元件、部件和/或它们的组合。

如在说明书中使用的用语“基本上”、“大约”以及类似的用于用作表示近似的用语，而不用作表示程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。

除非另有限定，否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。

实施例一

如图1所示，本发明公开了一种工件抓取顺序的确定方法，包括如下步骤：

S100、识别并获取料框点云以及多个工件点云；

S200、获取所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息；

S300、基于所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息，计算出各个工件到料框预设位置点的距离，基于各个工件到料框预设位置点的距离确定工件抓取顺序。

本实施例中，首先确定料框预设位置点的位置信息和各个工件的位置信息，然后根据料框预设位置点的位置信息和各个工件的位置信息确定各个工件与料框预设位置点的距离，最后根据各个工件与料框的距离进行工件抓取顺序的排序，从而确定了一个合理的工件的抓取次序，在存在多个可抓取工件时，优先抓靠近料框中心位置的工件，由于该工件与料框中其他工件以及料框发生干涉的可能性较小，故可有效降低每次抓取时的风险，提升稳定性。同时，当依据本发明所示方法进行工件抓取完毕后，最后进行位于料框角落处的工件抓取，由于其他工件已被抓取，减少了角落处工件被其他工件遮挡的可能性，也有效提高抓取的稳定性。

在一个优选的实施例中，所述步骤S100中，经由深度相机对待分拣工件以及料框同时拍照，获取多个点云；然后基于模板匹配技术进行点云的识别，本实施例中使用SeizetPicking软件3D模板匹配功能进行点云的识别。优选的，为了保证点云匹配的准确性，在获取了原始点云后，本实施例中还对所述原始点云进行裁剪，以便更准确的进行点云的识别。如图2所示，在一个具体实施例中，首先采用深度相机对料框及料框中的工件进行拍照，然后从杂乱摆放的工件中识别出料框和多个工件，分别为料框、工件1、工件2、工件3、工件4、工件5。

需要说明的是，本发明实施例中所述的工件抓取顺序的确定方法针对的是识别出多个工件的场景，当识别的工件只有一个时，则不需再进行排序，只需将识别出的工件抓取即可。此外，由于拍摄环境、拍摄角度或其他因素的影响，使用深度相机拍获取原始点云时，可能出现无法识别到其中工件的情形，此时，则通过调整相机拍摄角度或者打光角度重新获取工件点云，再进行抓取顺序的确定。

在一个优选的实施例中，所述步骤S200具体包括：

获取所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标；

根据所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标，确定所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息。

本实施例中，相机在拍摄时，可直接获取相机坐标系下的料框点云的预设位置点和多个所述工件点云的X坐标和Y坐标，而采用深度相机拍摄时，可根据相机的深度值来确定Z坐标，进而得到料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标。其中，所述预设位置点为料框高度方向上的中心线上的任意一点，本发明实施例优选为料框的中心点，当然，在其它的实施例中，所述预设位置点还可选取料框高度方向上的中心线上其它点，本发明对此不做限定。

在一个优选的实施例中，预设位置点为料框中心点。

在一个优选的实施例中，所述根据所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标，确定所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息具体包括：

将所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标转化为在料框坐标系下的坐标；其中，所述料框坐标系是以所述料框点云的预设位置点为坐标原点的坐标系；

根据所述料框点云的预设位置点以及多个所述工件点云在料框坐标系下的坐标，确定所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息。

本实施例中，所谓相机坐标系是指以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系，由于在相机坐标系下，不方便后续进行距离的计算，因此，为方便获取真实的位置信息，需将相机坐标系的坐标转化为料框坐标系中的坐标，进而方便进行真实距离的计算。当获取了世界坐标系下的坐标后，即可确定所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息。如图2所示，工件1、工件2、工件3、工件4、工件5在相机坐标系下的坐标分别为(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4)、(x5,y5,z5)，料框点云的中心在所述相机坐标系下的坐标为(x6,y6,z6)，然后通过坐标系转换得到各个工件点云和料框点云的预设位置点在料框坐标系下的坐标。

需要说明的是，为方便进行计算，本发明实施例中所述的各个所述工件点云的位置信息及各种坐标信息均是工件点云的形心位置的信息，此外，本实施例中，同样采用SeizetPicking软件3D模板匹配功能计算所识别出的各个工件点云的形心位置。

在一个优选的实施例中，所述将所述料框点云的中心以及多个所述工件点云在相机坐标系下的坐标转化为在料框坐标系下的坐标具体为：

将所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标转化为在世界坐标系下的坐标；

根据所述料框点云的预设位置点在世界坐标系下的坐标以及所述料框点云的预设位置点在料框坐标系中的坐标，计算出世界坐标系与料框坐标系之间的转换关系；

根据所述世界坐标系与料框坐标系之间的转换关系，计算出各个所述工件点云在料框坐标系的坐标。

本实施例中，在进行相机坐标系和料框坐标系的转换时，需要进行两次坐标转换。由于经过第一次坐标转换后，获取的世界坐标系下的坐标，会给距离的计算带来麻烦，因此，为了进一步方便进行距离的计算，本发明实施例还进行第二次坐标转换，第二次坐标转换的目的是使各个坐标数据更加简化，进而在计算的时候更加方便，其中，所述料框坐标系为用户自定义设置，本实施例中所述料框坐标系是以所述料框点云的预设位置点为坐标原点的坐标系，进而可以方便进行平移关系的确定，也进一步方便后续距离的计算。世界坐标系与料框坐标系的转换只有一个平移的过程，所述料框点云的预设位置点在料框坐标系下的坐标预先被设定好，因此，可根据所述料框点云的预设位置点在世界坐标系下的坐标和料框坐标系下的坐标来确定平移关系，进而计算出各个所述工件点云的坐标。在具体实施时，只需将各个工件点云在世界坐标系下的坐标减去所述料框点云的预设位置点在世界坐标系下的坐标，即可得到各个工件点云在料框坐标系下的坐标，即(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)、(X4,Y4,Z4)、(X5,Y5,Z5)。当然，在其他的实施例中，所述料框坐标系还可选用其它的原点，本发明对此不做限定。

进一步的实施例中，所述将所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标转化为在世界坐标系下的坐标具体为：

获取相机的外参矩阵，根据所述相机的外参矩阵，将所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标转化为在世界坐标系下的坐标。

具体来说，相机的外参矩阵包括旋转矩阵R和平移矩阵T，世界坐标系是系统的绝对坐标系，所有点的坐标都是以世界坐标系的原点来确定各自的位置。相机在世界坐标系下的位置不同，相机坐标系的原点不同，因此，在进行相机坐标系和世界坐标系的转换时，需根据相机的外参矩阵来确定，其中，所述外参矩阵在相机标定时即确定，因此，可通过获取相机标定时的外参数，来确定相机坐标系与世界坐标系之间的转换关系，进而根据坐标系与世界坐标系之间的转换关系，来获取所述料框点云的预设位置点以及多个所述工件点云在世界坐标系下的坐标，从而方便进行距离的计算。

进一步的实施例中，所述步骤S300具体包括：

基于所述料框点云的预设位置点的位置信息以及各个工件点云的位置信息，判断各个工件是否在预设的椭圆区域内；其中，所述预设的椭圆区域为以料框的预设位置点为中心的椭圆；

计算各个在所述椭圆区域内的工件到料框预设位置点的距离；

根据各个在所述椭圆区域内的工件到料框预设位置点的距离大小关系，确定工件抓取顺序。

本实施例中，为了避免抓取靠近料框边角处的工件，在进行距离计算之前，首先将在边角处的工件筛除，以保证抓取的稳定性。具体实施时，通过预设一椭圆区域，在椭圆区域内的工件则进行排序抓取，在椭圆区域外的工件则自动筛除，当椭圆区域内没有任何工件时，则本次不抓取任何工件，从而保证抓取的稳定性。

优选的实施例中，所述预设的椭圆区域为以料框的预设位置点为中心的椭圆，所述椭圆的长轴长度为料框长度的一半，所述椭圆的短轴长度为料框宽度的一半，换而言之，将椭圆的长度系数设定fa，宽度系数设定为fb，设料框的长和宽分别为L、W，则椭圆的长轴a＝L/2，短轴b＝W/2，然后根据料框点云的预设位置点的位置信息以及各个工件点云的位置信息，计算出各个工件点云与预设位置点的相对坐标，通过相对坐标来判断各个工件是否在椭圆区域内，当然，为方便计算，可直接将各个工件点云在相机坐标系下的坐标转换为料框坐标系下的坐标后再进行计算，具体的，工件在相机坐标系下的坐标为X1、Y1，转换到料框坐标系下的位姿为X2、Y2，对X2、Y2取绝对值有X3＝|X2|，Y3＝|Y2|，因此，

当时，表示工件在椭圆区域内，需要说明的是，本发明实施例所述的椭圆区域内应包括椭圆的边线；

当时，表示工件在椭圆区域外，即工件在料框边角处，此时则直接将工件筛除。

进一步的实施例中，所述计算各个在所述椭圆区域内的工件到料框预设位置点的距离的方法具体为：

基于所述料框点云的预设位置点以及各个所述工件点云的X坐标和Y坐标，计算出各个工件到料框中心的距离。

本实施例中，将工件点云的Z坐标忽略，通过各个所述工件点云的X坐标和Y坐标计算出各个工件到料框预设位置点的距离，其中距离计算的方法具体为：x1表示工件点云的横坐标，x2表示预设位置点的横坐标，y1表示工件点云的纵坐标，y2表示预设位置点的横坐标，s表示距离。之后再通过计算出的各个距离的大小关系来确定抓取顺序，从而实现对靠近料框中心位置的工件的优先抓取。

进一步的实施例中，

所述根据各个在所述椭圆区域内的工件到料框预设位置点的距离大小关系，确定工件抓取顺序具体为：

将各个在所述椭圆区域内的工件到料框预设位置点的距离，以从小到大的顺序，将距离最小的工件作为最优先级抓取工件。

具体来说，本发明实施例根据距离的大小来确定抓取顺序，距离越小的，则表示该工件越靠近料框中心，因此，距离的排序即为工件的抓取顺序，工件越靠近料框角落抓取次序越靠后，越靠近料框中心抓取次序越靠前。在一个具体实施例中，如图3所示，计算出的工件1、工件2、工件3、工件4和工件5与料框中心的距离分别为L1、L2、L3、L4和L5，按数值大小从低到高排序，得到L1<L3<L4<L2<L5，则确定工件的抓取顺序为工件1、工件3、工件4、工件2、工件5。应当说明的是，本发明实施例每次只输出一个工件，即只抓取距离最小的工件，再重新进行拍照，进行下一轮的距离排序和待抓取工件的输出。当有两个工件的距离相同时，任选其一抓取即可。

为了更好的理解本发明，以下结合图1至图3举一具体实施例对本发明的技术方案进行详细说明：

本发明所示的一种工件抓取顺序的确定方法包括如下步骤：

步骤一：通过深度相机对料框和料框中的工件进行拍照；

步骤二：识别并获取料框点云以及多个工件点云，当没有识别到料框点云或者工件点云时，调整深度相机的拍摄角度后，重新执行步骤一，当识别出的工件点云只有一个时，抓取识别出的工件，否则，执行步骤三；

如图2所示，识别出的工件有5个，分别为工件1、工件2、工件3、工件4、工件5。

步骤三：获取所述料框点云的中心的位置信息以及多个所述工件点云的位置信息。

本实施例中，首先通过深度相机获取5个工件点云和料框点云的中心在相机坐标系下的坐标，然后根据深度相机的外参矩阵，将5个工件点云和料框点云的中心在相机坐标系下的坐标转换为在世界坐标系下的坐标，然后进行世界坐标系和料框坐标系的转换，将5个工件点云和料框点云的中心在世界坐标系下的坐标转换为在用户坐标系下的坐标，其中，料框坐标系的坐标原点为料框点云的中心。

步骤四：基于所述料框点云的中心的位置信息以及多个所述工件点云的位置信息，计算出各个工件到料框中心的距离，基于各个工件到料框中心的距离确定工件抓取顺序；

本实施例中，基于所述料框点云的中心以及各个所述工件点云在用户坐标系的X坐标和Y坐标，计算出各个工件到料框中心的距离，然后将各个工件到料框中心的距离，以从小到大的顺序进行排序，将距离最小的工件作为最优先级抓取工件。

步骤五：根据确定的工件抓取顺序进行工件的抓取。

本实施例中，将最优先级抓取工件抓取后，重新进行拍照后，执行步骤一。

实施例二

如图4所示，本发明还公开了一种工件抓取顺序的确定装置10，包括：

点云识别模块11，用于识别并获取料框点云以及多个工件点云；

位置获取模块12，用于获取料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息；

抓取顺序确定模块13，用于基于所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息，计算出各个工件到料框预设位置点的距离，基于各个工件到料框预设位置点的距离确定工件抓取顺序。

本实施例中，首先确定料框预设位置点的位置信息和各个工件的位置信息，然后根据料框预设位置点的位置信息和各个工件的位置信息确定各个工件与料框预设位置点的距离，最后根据各个工件与料框的距离进行工件抓取顺序的排序，从而确定了一个合理的工件的抓取次序，在存在多个可抓取工件时，优先抓靠近料框中心位置的工件，由于该工件与料框中其他工件以及料框发生干涉的可能性较小，故可有效降低每次抓取时的风险，提升稳定性。同时，当依据本发明所示方法进行工件抓取完毕后，最后进行位于料框角落处的工件抓取，由于其他工件已被抓取，减少了角落处工件被其他工件遮挡的可能性，也有效提高抓取的稳定性。

优选的，所述位置获取模块12具体包括：

坐标获取单元，用于获取所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标；

位置获取单元，用于根据所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标，确定所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息。

进一步的，所述位置获取单元具体包括：

坐标转换子单元，用于将所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标转化为在料框坐标系下的坐标；其中，所述料框坐标系是以所述料框点云的预设位置点为坐标原点的坐标系；

位置确定子单元，用于根据所述料框点云的预设位置点以及多个所述工件点云在料框坐标系下的坐标，确定所述料框点云的预设位置点的位置信息以及多个所述工件点云的位置信息。

进一步的，所述坐标转换子单元具体用于：

将所述料框点云的预设位置点以及多个所述工件点云在相机坐标系下的坐标转化为在世界坐标系下的坐标；

根据所述料框点云的预设位置点在世界坐标系下的坐标以及所述料框点云的预设位置点在料框坐标系中的坐标，计算出世界坐标系与料框坐标系之间的转换关系；

根据所述世界坐标系与料框坐标系之间的转换关系，计算出各个所述工件点云在料框坐标系的坐标。

进一步的，所述抓取顺序确定模块13具体包括：

位置判断单元，用于基于所述料框点云的预设位置点的位置信息以及各个工件点云的位置信息，判断各个工件是否在预设的椭圆区域内；其中，所述预设的椭圆区域为以料框的预设位置点为中心的椭圆；

距离计算单元，用于计算各个在所述椭圆区域内的工件到料框预设位置点的距离；

顺序确定单元，用于根据各个在所述椭圆区域内的工件到料框预设位置点的距离大小关系，确定工件抓取顺序。

进一步的，所述椭圆的长轴长度为料框长度的一半，所述椭圆的短轴长度为料框宽度的一半。

进一步的，所述顺序确定单元具体用于：

将各个在所述椭圆区域内的工件到料框预设位置点的距离，以从小到大的顺序，将距离最小的工件作为最优先级抓取工件。

实施例三

图5所示是本发明实施例提供的一种计算机设备的结构示意图，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图5所示。需要指出的是，图5仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如方法实施例中的工件抓取顺序的确定装置的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行工件抓取顺序的确定装置11，以实现方法实施例中的工件抓取顺序的确定方法。

实施例四

本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储工件抓取顺序的确定装置的程序代码，被处理器执行时实现方法实施例中的工件抓取顺序的确定方法。

需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。