具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

机器人灵巧抓取在电商物流、生产制造、家庭服务等领域有着巨大的应用潜力，但是这些场景中的物体普遍是杂乱或者堆叠的，并且物体的几何结构比较复杂。因此，如何提高机器人在堆叠场景中对复杂物体灵巧抓取的稳定性和效率是一个非常值得研究的问题。

目前，机器人灵巧抓取在制造业领域和物流领域已经开展了小规模的应用，虽然目前针对不同的场景和物体提出了相应的灵巧抓取算法，但是在实际应用中仍然存在着很多亟待解决的问题，如抓取稳定性低、抓取效率差、可抓取物体的范围较小、样本采集困难等。

例如，目前多利用机器学习模型如CNN对多视图RGB-D图像进行分割，并将其与目标物体的三维模型进行配准，最终得到目标物体的6D位姿，然后对目标物体进行抓取。虽然上述方法一定程度上解决了机器人的灵巧抓取问题，但是训练该模型的数据较难获得，即一方面，需要人为的设置大量场景，非常繁琐；另一方面，不同的二指夹爪有着不同的三维结构，更换二指夹爪需要重新进行训练。

对此，本发明提供一种基于双臂机器人的抓取方法。图1是本发明提供的基于双臂机器人的抓取方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤110、将目标场景深度图输入至实例分割模型，得到实例分割模型输出的抓取目标掩码和真空吸附目标掩码；目标场景中至少包括一个待抓取物体；

其中，实例分割模型是基于样本场景深度图、样本场景深度图的抓取样本掩码、样本场景深度图的真空吸附样本掩码、抓取样本掩码的评分以及真空吸附样本掩码的评分训练得到的；样本场景中至少包括一个待抓取样本物体。

具体地，目标场景中至少包含一个待抓取物体，目标场景深度图中包含目标场景的点云信息以及目标场景中待抓取物体的点云信息。若目标场景中只包含一个待抓取物体，即目标场景中不存在其它物体，则双臂机器人在抓取该物体时不会与场景中的其它物体发生碰撞，因此在此种情况下，将目标场景深度图输入至实例分割模型中，得到的抓取目标掩码和真空吸附目标掩码均对应该物体，即该物体此时可以看作是最佳抓取目标。

当目标场景中包含多个待抓取物体时，由于目标场景中的多个待抓取物体可能存在杂乱堆叠摆放的情况，若双臂机器人随机抓取或真空吸附一个物体，则可能与其它物体发生碰撞，因此，需要从多个待抓取物体中确定最佳的抓取物体和最佳的真空吸附物体，即最佳的抓取物体对应的点云信息为抓取目标掩码，最佳的真空吸附物体对应的点云信息为真空吸附目标掩码。其中，抓取目标掩码和真空吸附目标掩码可以对应的是同一物体，也可以对应的是不同物体。

此外，在将目标场景深度图输入至实例分割模型之前，可以预先基于训练样本(样本场景深度图、样本场景深度图的抓取样本掩码、样本场景深度图的真空吸附样本掩码、抓取样本掩码的评分以及真空吸附样本掩码的评分)训练得到实例分割模型，其训练过程如下：

首先，通过仿真引擎生成样本场景的仿真图像(即样本场景深度图)和标注信息，然后，利用标注信息在仿真图像中挑选出最适合进行抓取和最适合进行真空吸附的物体作为训练实例分割模型的样本。最后，利用深度学习技术通过大量的样本对初始模型进行训练，得到实例分割模型，实现在杂乱堆叠场景中灵巧地利用二指夹爪和真空吸盘对物体进行抓取的鲁棒性和泛化能力。

其中，在挑选出最适合进行抓取和最适合进行真空吸附的物体后，确定最适合进行抓取物体对应的抓取样本掩码和抓取样本掩码的评分，以及最适合进行真空吸附的物体对应的真空吸附样本掩码和真空吸附样本掩码的评分。上述样本的获取过程如下：

(a)抓取样本位姿

首先，从指定区域的样本场景深度图中的各待抓取样本物体上采集N个采样点。然后，对于每一个采样点p，按照式(1)计算矩阵的特征向量。

其中，表示p点处单位长度的表面法向量，这些法向量通过通用的标准算法计算而来，B_r(p)表示以p点为中心截取参考帧的半径。使用F(p)＝[v₃(p)v₂(p)v₁(p)]表示p点的正交坐标系，其中v₁(p)对应矩阵M(p)的最大特征值，v₃(p)对应矩阵M(p)的最小特征值。向量v₃(p)是对点p处法向量的平滑估计，向量v₂(p)表示p点处大主曲率的轴，向量v₁(p)表示p点处小主曲率的轴。为了使v₃(p)指向物体表面的外侧，对F(p)进行180度的旋转。对于每一个参考帧p∈C∩B_r(p)，使用基于网格的方法搜索使得夹爪不与场景中的点云发生碰撞且夹爪的闭合区域中至少存在一个点云的位姿，具体为：

首先，在一个二维的网格G＝Y×Φ中进行搜索，其中Y和Φ分别表示坐标系F(p)中y轴和x轴的离散程度(本实施例中Y＝10，Φ＝8)。对于每一个(y,Φ)∈G，对机械臂按照坐标系F(p)进行平移和旋转。然后，推动机械臂沿x轴的负方向运动，直到机械臂的基座或者其中一个机械臂接触到物体表面。使用T_(x,y,Φ)∈R^4×4表示沿x，y平面的进行平移和沿z轴进行旋转的齐次变换矩阵，其中x,y,Φ分别表示沿x、y、z轴变换的数值。同时，对于每一个(y,Φ)∈G，使用F(h_y,Φ)表示在网格y,Φ中直到机械臂接触到物体表面时的抓取位姿，如公式(2)所示：

其中，x^*＝min x∈R使得B(h_x,y,Φ(p))∩C＝Φ。如果闭合区域中点云的个数满足条件1，将抓取位姿添加到候选抓取位姿的集合中。

最后，按照式(3)计算每个抓取位姿的评分S_g，挑选评分最高的抓取位姿作为最佳抓取位姿。其中d_g是目标中心到抓取方向的直线距离，θ_g是抓取方向与重力之间的夹角。

S_g＝1-(d_g+θ_g) (3)

(b)真空吸附样本位姿

首先计算样本场景深度图中各待抓取样本物体各点的曲率，然后将曲率大于指定阈值的点记为不可吸附点，其余的点记为候选吸附点。

然后使用公式(4)计算每一个候选吸附点评分S_s。其中，S_a表示吸附点对应的吸附方向与重力方向之间的夹角，S_d表示吸附点到物体中心的距离，S_b表示吸附点到不可吸附点的最小距离。

(c)最佳抓取样本物体和最佳真空吸附样本物体

按照式(5)计算各待抓取样本物体的抓取评分S_mg，以及按照式(6)计算各待抓取样本物体的真空吸附评分S_ms：

S_mg＝d_l+r_v (5)

S_ms＝d_r+a_m (6)

其中，d_l是物体中心到左参考点的距离，d_r是物体中心到右参考点的距离，a_m是物体的可视面积，r_v是物体的可视比例(可视面积/总面积)。

然后，对S_mg和S_ms进行排序，分别得到列表L_s和L_g，从列表中挑选分值最大的物体作为训练的样本，即从列表L_s中挑选S_mg最大的样本物体对应的掩码作为抓取样本掩码，并将最大S_mg作为抓取样本掩码的评分；从列表L_g中挑选S_ms最大的样本物体对应的掩码作为真空吸附样本掩码，并将最大S_ms作为真空吸附样本掩码的评分；

在获取样本场景深度图、样本场景深度图的抓取样本掩码、样本场景深度图的真空吸附样本掩码、抓取样本掩码的评分以及真空吸附样本掩码的评分后，样本场景深度图可以看作是最佳抓取目标掩码和最佳吸附目标掩码的集合，用于充当初始掩码分支的真值。抓取样本掩码的评分和真空吸附样本掩码的评分用于充当策略置信度分支的真值。抓取样本掩码中心偏移和真空吸附样本掩码中心偏移用以充当中心偏移分支的真值。

如图2所示，实例分割模型获取抓取目标和真空吸附目标的过程如下：

通过主干网络提取特征，主干网络以结构化点云作为输入，然后输出一个64维的特征图。与之衔接的是三个并行的卷积分支，分别预测三个输出：初始分割掩码、策略置信度、中心偏移。

初始分割掩码将场景分为前景(候选抓取目标的集合)和背景两部分。使用初始分割掩码与中心偏移图进行与操作，可以获得前景的中心偏移图。中心偏移图是三通道图像，每个通道分别代表着物体上的点到物体中心点向量的x、y、z值。前景中，每个像素的中心偏移都会指向一个中心点，通过聚类算法对物体的中心点进行聚类，通过聚类后的点的索引找到对应的图像上对应的像素，从而得到候选分割掩码。

通过策略置信度分支可以得到场景中每个像素的抓取策略置信度。在得到分割掩码后使用抓取策略置信度按照公式(7)分别计算每个候选分割掩码的二指抓取评分和真空吸附评分

其中，N_k是第k个Mask中像素的数量，和分别表示第i个像素的抓取样本掩码的评分和真空吸附样本掩码的评分。分别选择抓取样本掩码的评分和真空吸附样本掩码的评分最大的Mask作为抓取目标和真空吸附目标。

步骤120、基于抓取目标掩码，确定抓取目标位姿，以及基于真空吸附目标掩码，确定真空吸附目标位姿。

具体地，在确定抓取目标掩码之后，即从目标场景中的多个待抓取物体中确定的最佳抓取物体，从最佳抓取物体上采样多个点作为候选抓取位姿，判断各候选抓取位姿的评分，并将评分最大的候选抓取位姿作为抓取目标位姿。

同样地，在确定真空吸附目标掩码之后，即从目标场景中的多个待真空吸附物体中确定的最佳真空吸附物体，从最佳真空吸附物体上采样多个点作为候选真空吸附位姿，判断各候选真空吸附位姿的评分，并将评分最大的候选真空吸附位姿作为真空吸附目标位姿。

步骤130、将抓取目标位姿和真空吸附目标位姿发送至双臂机器人的执行机构，以使执行机构抓取目标场景深度图中的物体；执行机构包括抓取机械臂和真空吸附机械臂。

具体地，在确定抓取目标位姿和真空吸附目标位姿后，将其发送至双臂机器人的执行机构，从而抓取机械臂可以基于抓取目标位姿抓取对应的物体，真空吸附机械臂可以基于真空吸附目标位姿吸附抓取对应的物体。

相较于传统方法中需要人为设置大量场景获取训练数据，本发明实施例采用仿真模拟，能够快速生成大量样本场景，简便快捷。相较于传统方法中需要根据不同的夹爪分别训练机器学习模型，本发明实施例训练实例分割模型时不需要采集夹爪的结构，只需要在确定抓取目标位姿时，根据不同型号夹爪调整相应的参数即可，即训练完成的分割模型可以适用于不同型号的夹爪，模型的泛化能力较强。

本发明实施例提供的基于双臂机器人的抓取方法，基于实例分割模型可以快速且准确获取抓取目标掩码和真空吸附目标掩码，同时由于训练实例分割模型时不需要采集抓取机械臂夹爪的结构进行训练，从而使得实例分割模型能够适用于不同型号的抓取机械臂夹爪，模型的泛化能力较强。在确定抓取目标掩码和真空吸附目标掩码后，可以准确获取抓取目标位姿和真空吸附目标位姿，从而使得双臂机器人的执行机构能够准确抓取目标场景深度图中的物体，鲁棒性较强。

基于上述实施例，基于抓取目标掩码，确定抓取目标位姿，以及基于真空吸附目标掩码，确定真空吸附目标位姿，包括：

从抓取目标掩码对应的第一物体上获取多个候选抓取位姿，并基于第一物体的抓取方位信息，确定各候选抓取位姿对应的抓取位姿评分，并将最大抓取位姿评分对应的候选抓取位姿作为抓取目标位姿；

从真空吸附目标掩码对应的第二物体上获取多个候选真空吸附位姿，并基于第二物体的吸附方位信息，确定各候选真空吸附位姿对应的真空吸附位姿评分，并将最大真空吸附位姿评分对应的候选真空吸附位姿作为真空吸附目标位姿。

具体地，第一物体指目标场景中最佳的抓取物体，从第一物体上采集N个采样点，由于N个采样点中可能存在使得夹爪与物体发生碰撞的点，因此在N个采样点的基础上需要筛选出候选抓取位姿，例如可以以夹爪不与目标场景中的其它物体发生碰撞且夹爪点云的闭合区域中至少存在一个点云(即夹爪点云的闭合区域中存在待抓取物体)来筛选出候选抓取位姿。在获取多个候选抓取位姿后，基于第一物体的抓取方位信息(如第一物体中心到抓取方向的直线距离等)，确定各候选抓取位姿对应的抓取位姿评分，抓取位姿评分越高，表明越适合以该位姿进行抓取，因此本发明实施例将最大抓取位姿评分对应的候选抓取位姿作为抓取目标位姿，从而可以以最佳位姿抓取物体。

第二物体指目标场景中最佳的真空吸附物体，第二物体上各点的曲率不同，若曲率过大，表明对应的点不适合进行真空吸附，因此在第二物体上需要筛选出候选真空吸附位姿，例如可以将曲率小于等于预设值的点对应的位姿作为候选真空吸附位姿。在获取多个候选真空吸附位姿后，基于第二物体的吸附方位信息(如第二物体吸附方向与重力方向之间的夹角等)，确定各候选真空吸附位姿对应的真空吸附位姿评分，真空吸附位姿评分越高，表明越适合以该位姿进行真空吸附，因此本发明实施例将最大真空吸附位姿评分对应的候选真空吸附位姿作为真空吸附目标位姿，从而可以以最佳位姿真空吸附物体。

基于上述任一实施例，第一物体的抓取方位信息包括第一物体中心到抓取方向的直线距离，以及第一物体抓取方向与第一物体重力方向之间的夹角；

从抓取目标掩码对应的第一物体上获取多个候选抓取位姿，并基于第一物体的抓取方位信息，确定各候选抓取位姿对应的抓取位姿评分，包括：

基于网格方法从抓取目标掩码对应的第一物体上获取多个初始抓取位姿，并基于各初始抓取位姿，确定各初始抓取位姿对应的夹爪点云；

若夹爪点云不与目标场景深度图中的点云发生碰撞且夹爪点云的闭合区域中存在至少一个点云，则将夹爪点云对应的初始抓取位姿作为候选抓取位姿；

将第一物体中心到抓取方向的直线距离，以及第一物体抓取方向与第一物体重力方向之间的夹角，输入至抓取位姿评分模型，确定各候选抓取位姿对应的抓取位姿评分；抓取位姿评分模型为：

S_g＝1-(d_g+θ_g)；

其中，S_g表示各候选抓取位姿对应的抓取位姿评分，d_g表示第一物体中心到抓取方向的直线距离，θ_g表示第一物体抓取方向与第一物体重力方向之间的夹角。

具体地，本发明实施例可以采用上述获取抓取样本位姿的方法获取第一物体的多个初始抓取位姿，即按照式(1)和式(2)确定第一物体的多个初始抓取位姿。为了避免初始抓取位姿使得夹爪与其它物体碰撞或初始抓取位姿无法抓取物体，本发明实施例对各初始抓取位姿进行了筛选，具体为基于各初始抓取位姿，确定各初始抓取位姿对应的夹爪点云，若夹爪点云不与目标场景深度图中的点云发生碰撞且夹爪点云的闭合区域中存在至少一个点云，则将夹爪点云对应的初始抓取位姿作为候选抓取位姿。

在获取候选抓取位姿后，将第一物体中心到抓取方向的直线距离，以及第一物体抓取方向与第一物体重力方向之间的夹角，输入至抓取位姿评分模型，确定各候选抓取位姿对应的抓取位姿评分，抓取位姿评分越高，表明越适合以该位姿进行抓取，因此本发明实施例将最大抓取位姿评分对应的候选抓取位姿作为抓取目标位姿，从而可以以最佳位姿抓取物体。

基于上述任一实施例，第二物体的吸附方位信息包括第二物体吸附方向与第二物体重力方向之间的夹角，第二物体的吸附点与第二物体中心之间的距离以及第二物体的吸附点与第二物体的不可吸附点的最小距离；第二物体的不可吸附点指第二物体上曲率大于预设值的点；

从真空吸附目标掩码对应的第二物体上获取多个候选真空吸附位姿，并基于第二物体的吸附方位信息，确定各候选真空吸附位姿对应的真空吸附位姿评分，包括：

确定真空吸附目标掩码对应的第二物体上各点的曲率，将曲率小于等于预设值的点对应的位姿作为候选真空吸附位姿；

将第二物体吸附方向与第二物体重力方向之间的夹角，第二物体的吸附点与第二物体中心之间的距离以及第二物体的吸附点与第二物体的不可吸附点的最小距离，输入至真空吸附位姿评分模型，确定各候选真空吸附位姿对应的真空吸附位姿评分；真空吸附位姿评分模型为：

其中，S_s表示各候选真空吸附位姿对应的真空吸附位姿评分，S_a表示第二物体吸附方向与第二物体重力方向之间的夹角，S_d表示第二物体的吸附点与第二物体中心之间的距离，S_b表示第二物体的吸附点与第二物体的不可吸附点的最小距离。

具体地，第二物体上各点的曲率不同，若曲率过大，表明对应的点不适合进行真空吸附，因此在第二物体上需要筛选出候选真空吸附位姿，本发明实施例将曲率小于等于预设值的点作为第二物体的吸附点，该点对应的位姿作为候选真空吸附位姿；将曲率大于预设值的点作为第二物体的不可吸附点。

在获取多个候选真空吸附位姿后，将第二物体吸附方向与第二物体重力方向之间的夹角，第二物体的吸附点与第二物体中心之间的距离以及第二物体的吸附点与第二物体的不可吸附点的最小距离，输入至真空吸附位姿评分模型，确定各候选真空吸附位姿对应的真空吸附位姿评分，真空吸附位姿评分越高，表明越适合以该位姿进行真空吸附，因此本发明实施例将最大真空吸附位姿评分对应的候选真空吸附位姿作为真空吸附目标位姿，从而可以以最佳位姿真空吸附物体。

基于上述任一实施例，抓取样本掩码和抓取样本掩码的评分是基于如下步骤确定的：

从各样本物体上获取多个候选样本抓取位姿，并基于各样本物体的抓取方位信息，确定各候选样本抓取位姿对应的抓取样本位姿评分，并将最大抓取样本位姿评分对应的候选样本抓取位姿作为各样本物体的抓取样本目标位姿；

基于各样本物体的抓取样本目标位姿，确定各样本物体的抓取评分，并以最大抓取评分作为抓取样本掩码的评分，以及基于最大抓取评分对应的抓取样本目标位姿，确定抓取样本掩码。

具体地，按照式(1)和式(2)可以从各样本物体上获取多个候选样本抓取位姿，并基于式(3)确定各候选样本抓取位姿对应的抓取样本位姿评分，同时将最大抓取样本位姿评分对应的候选样本抓取位姿作为各样本物体的抓取样本目标位姿，从而可以筛选出各样本物体上对应的最佳抓取位姿。

然而，样本场景中可能存在多个样本物体，且各样本物体杂乱堆叠摆放，为了避免夹爪在抓取过程中与其它物体发生碰撞，需要从多个样本物体中确认最佳抓取物体。因此本发明实施例根据式(5)，可以确定各样本物体的抓取评分S_mg，并以最大抓取评分作为抓取样本掩码的评分，以及基于最大抓取评分对应的抓取样本目标位姿，确定抓取样本掩码。

基于上述任一实施例，真空吸附样本掩码和真空吸附样本掩码的评分是基于如下步骤确定的：

从各样本物体上获取多个候选样本真空吸附位姿，并基于各样本物体的吸附方位信息，确定各候选样本真空吸附位姿对应的真空吸附样本位姿评分，并将最大真空吸附样本位姿评分对应的候选样本真空吸附位姿作为各样本物体的真空吸附样本目标位姿；

基于各样本物体的真空吸附样本目标位姿，确定各样本物体的真空吸附评分，并以最大真空吸附评分作为真空吸附样本掩码的评分，以及基于最大真空吸附评分对应的真空吸附样本目标位姿，确定真空吸附样本掩码。

具体地，基于各样本物体上各点的曲率，可以确定各样本物体对应的候选样本真空吸附位姿，并基于式(4)确定各候选样本真空吸附位姿对应的真空吸附样本位姿评分，同时将最大真空吸附样本位姿评分对应的候选样本真空吸附位姿作为各样本物体的真空吸附样本目标位姿，从而可以筛选出各样本物体上对应的最佳真空吸附位姿。

然而，样本场景中可能存在多个样本物体，且各样本物体杂乱堆叠摆放，为了避免真空吸盘在真空吸附过程中与其它物体发生碰撞，需要从多个样本物体中确认最佳真空吸附物体。因此本发明实施例根据式(6)，可以确定各样本物体的真空吸附评分S_ms，并以最大真空吸附评分作为真空吸附样本掩码的评分，以及基于最大真空吸附评分对应的真空吸附样本目标位姿，确定真空吸附样本掩码。

下面对本发明提供的基于双臂机器人的抓取装置进行描述，下文描述的基于双臂机器人的抓取装置与上文描述的基于双臂机器人的抓取方法可相互对应参照。

基于上述任一实施例，本发明提供一种基于双臂机器人的抓取装置，如图3所示，该装置包括：

目标掩码确定单元310，用于将目标场景深度图输入至实例分割模型，得到所述实例分割模型输出的抓取目标掩码和真空吸附目标掩码；所述目标场景中至少包括一个待抓取物体；

目标位姿确定单元320，用于基于所述抓取目标掩码，确定抓取目标位姿，以及基于所述真空吸附目标掩码，确定真空吸附目标位姿；

物体抓取单元330，用于将所述抓取目标位姿和所述真空吸附目标位姿发送至双臂机器人的执行机构，以使所述执行机构抓取所述目标场景深度图中的物体；所述执行机构包括抓取机械臂和真空吸附机械臂；

其中，所述实例分割模型是基于样本场景深度图、所述样本场景深度图的抓取样本掩码、所述样本场景深度图的真空吸附样本掩码、所述抓取样本掩码的评分以及所述真空吸附样本掩码的评分训练得到的；所述样本场景中至少包括一个待抓取样本物体。

基于上述任一实施例，所述目标位姿确定单元320，包括：

抓取目标位姿确定单元，用于从所述抓取目标掩码对应的第一物体上获取多个候选抓取位姿，并基于所述第一物体的抓取方位信息，确定各候选抓取位姿对应的抓取位姿评分，并将最大抓取位姿评分对应的候选抓取位姿作为所述抓取目标位姿；

吸附目标位姿确定单元，用于从所述真空吸附目标掩码对应的第二物体上获取多个候选真空吸附位姿，并基于所述第二物体的吸附方位信息，确定各候选真空吸附位姿对应的真空吸附位姿评分，并将最大真空吸附位姿评分对应的候选真空吸附位姿作为所述真空吸附目标位姿。

基于上述任一实施例，所述第一物体的抓取方位信息包括所述第一物体中心到抓取方向的直线距离，以及所述第一物体抓取方向与所述第一物体重力方向之间的夹角；

所述抓取目标位姿确定单元，包括：

夹爪点云确定单元，用于基于网格方法从所述抓取目标掩码对应的第一物体上获取多个初始抓取位姿，并基于各初始抓取位姿，确定各初始抓取位姿对应的夹爪点云；

候选抓取位姿确定单元，用于若所述夹爪点云不与目标场景深度图中的点云发生碰撞且所述夹爪点云的闭合区域中存在至少一个点云，则将所述夹爪点云对应的初始抓取位姿作为所述候选抓取位姿；

抓取位姿评分确定单元，用于将所述第一物体中心到抓取方向的直线距离，以及所述第一物体抓取方向与所述第一物体重力方向之间的夹角，输入至抓取位姿评分模型，确定各候选抓取位姿对应的抓取位姿评分；所述抓取位姿评分模型为：

S_g＝1-(d_g+θ_g)；

其中，S_g表示各候选抓取位姿对应的抓取位姿评分，d_g表示所述第一物体中心到抓取方向的直线距离，θ_g表示所述第一物体抓取方向与所述第一物体重力方向之间的夹角。

基于上述任一实施例，所述第二物体的吸附方位信息包括所述第二物体吸附方向与所述第二物体重力方向之间的夹角，所述第二物体的吸附点与所述第二物体中心之间的距离以及所述第二物体的吸附点与所述第二物体的不可吸附点的最小距离；所述第二物体的不可吸附点指所述第二物体上曲率大于预设值的点；

所述吸附目标位姿确定单元，包括：

候选真空吸附位姿确定单元，用于确定所述真空吸附目标掩码对应的第二物体上各点的曲率，将曲率小于等于预设值的点对应的位姿作为候选真空吸附位姿；

真空吸附位姿评分确定单元，用于将所述第二物体吸附方向与所述第二物体重力方向之间的夹角，所述第二物体的吸附点与所述第二物体中心之间的距离以及所述第二物体的吸附点与所述第二物体的不可吸附点的最小距离，输入至真空吸附位姿评分模型，确定各候选真空吸附位姿对应的真空吸附位姿评分；所述真空吸附位姿评分模型为：

其中，S_S表示各候选真空吸附位姿对应的真空吸附位姿评分，S_a表示所述第二物体吸附方向与所述第二物体重力方向之间的夹角，S_d表示所述第二物体的吸附点与所述第二物体中心之间的距离，S_b表示所述第二物体的吸附点与所述第二物体的不可吸附点的最小距离。

基于上述任一实施例，还包括：

抓取样本目标位姿确定单元，用于从各样本物体上获取多个候选样本抓取位姿，并基于各样本物体的抓取方位信息，确定各候选样本抓取位姿对应的抓取样本位姿评分，并将最大抓取样本位姿评分对应的候选样本抓取位姿作为各样本物体的抓取样本目标位姿；

第一确定单元，用于基于各样本物体的抓取样本目标位姿，确定各样本物体的抓取评分，并以最大抓取评分作为所述抓取样本掩码的评分，以及基于所述最大抓取评分对应的抓取样本目标位姿，确定所述抓取样本掩码。

基于上述任一实施例，还包括：

真空吸附样本目标位姿确定单元，用于从各样本物体上获取多个候选样本真空吸附位姿，并基于各样本物体的吸附方位信息，确定各候选样本真空吸附位姿对应的真空吸附样本位姿评分，并将最大真空吸附样本位姿评分对应的候选样本真空吸附位姿作为各样本物体的真空吸附样本目标位姿；

第二确定单元，用于基于各样本物体的真空吸附样本目标位姿，确定各样本物体的真空吸附评分，并以最大真空吸附评分作为所述真空吸附样本掩码的评分，以及基于所述最大真空吸附评分对应的真空吸附样本目标位姿，确定所述真空吸附样本掩码。

基于上述任一实施例，本发明提供一种双臂机器人，包括：如上任一实施例所述的基于双臂机器人的抓取装置。

具体地，双臂机器人还可以包括传感器模块和执行模块。

其中，传感器模块可以使用PhoXi 3D扫描仪感知3维点云结构，扫描仪分辨率可以为1024×772，安装位置可以为抓取区域的正上方1.3m处。基于双臂机器人的抓取装置用于接收传感器模块采集的图像，计算场景中的抓取目标位姿和真空吸附目标位姿，同时将抓取目标位姿和真空吸附目标位姿处理成为双臂机器人操作执行模块所需指令，并发送给执行模块。执行模块用于按照指令抓取物体，其中执行模块由机器人本体和二指夹爪以及真空吸盘组成。其中二指夹爪固连在机器人本体的一个机械臂的末端上，真空吸盘固定在机器人本体的另一个机械臂的末端上。

图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、存储器(memory)420、通信接口(Communications Interface)430和通信总线440，其中，处理器410，存储器420，通信接口430通过通信总线440完成相互间的通信。处理器410可以调用存储器420中的逻辑指令，以执行基于双臂机器人的抓取方法，该方法包括：将目标场景深度图输入至实例分割模型，得到所述实例分割模型输出的抓取目标掩码和真空吸附目标掩码；所述目标场景中至少包括一个待抓取物体；基于所述抓取目标掩码，确定抓取目标位姿，以及基于所述真空吸附目标掩码，确定真空吸附目标位姿；将所述抓取目标位姿和所述真空吸附目标位姿发送至双臂机器人的执行机构，以使所述执行机构抓取所述目标场景深度图中的物体；所述执行机构包括抓取机械臂和真空吸附机械臂；其中，所述实例分割模型是基于样本场景深度图、所述样本场景深度图的抓取样本掩码、所述样本场景深度图的真空吸附样本掩码、所述抓取样本掩码的评分以及所述真空吸附样本掩码的评分训练得到的；所述样本场景中至少包括一个待抓取样本物体。

此外，上述的存储器420中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于双臂机器人的抓取方法，该方法包括：将目标场景深度图输入至实例分割模型，得到所述实例分割模型输出的抓取目标掩码和真空吸附目标掩码；所述目标场景中至少包括一个待抓取物体；基于所述抓取目标掩码，确定抓取目标位姿，以及基于所述真空吸附目标掩码，确定真空吸附目标位姿；将所述抓取目标位姿和所述真空吸附目标位姿发送至双臂机器人的执行机构，以使所述执行机构抓取所述目标场景深度图中的物体；所述执行机构包括抓取机械臂和真空吸附机械臂；其中，所述实例分割模型是基于样本场景深度图、所述样本场景深度图的抓取样本掩码、所述样本场景深度图的真空吸附样本掩码、所述抓取样本掩码的评分以及所述真空吸附样本掩码的评分训练得到的；所述样本场景中至少包括一个待抓取样本物体。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于双臂机器人的抓取方法，该方法包括：将目标场景深度图输入至实例分割模型，得到所述实例分割模型输出的抓取目标掩码和真空吸附目标掩码；所述目标场景中至少包括一个待抓取物体；基于所述抓取目标掩码，确定抓取目标位姿，以及基于所述真空吸附目标掩码，确定真空吸附目标位姿；将所述抓取目标位姿和所述真空吸附目标位姿发送至双臂机器人的执行机构，以使所述执行机构抓取所述目标场景深度图中的物体；所述执行机构包括抓取机械臂和真空吸附机械臂；其中，所述实例分割模型是基于样本场景深度图、所述样本场景深度图的抓取样本掩码、所述样本场景深度图的真空吸附样本掩码、所述抓取样本掩码的评分以及所述真空吸附样本掩码的评分训练得到的；所述样本场景中至少包括一个待抓取样本物体。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。