具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

如图1所示，本实施例提供了一种基于深度学习的医疗废弃物识别抓取回收方法，其包括：

步骤S101：获取医疗废弃物的RGB-D图像，从中选取深度图像并进行预处理。

在具体实施中，医疗废弃物的RGB-D图像可通过双目深度相机采集得到，具体为采用Kinect双目相机获取医疗废弃物的高分辨率的RGB图像和深度图像，RGB图像包含了医疗废弃物表面颜色信息和纹理信息，深度图像包含了医疗废弃物的空间形状信息，深度图像中的每个像素值表示了双目相机到医疗废弃物的距离，RGB图像和深度图像之间的像素点是一一对应的，组成了RGB-D图像。

在一些实施例中，对深度图像的预处理包括剪切和去除无效值。

例如：在采集到的RGB-D图像中选取深度图像，深度图像首先被裁剪成正方形，然后缩放到300×300像素，以适应深度学习模型的输入，通过OpenCV去除深度无效值。

在其他实施例中，对深度图像的预处理还包括将：每个深度值减去图像所有深度值的平均值，使其值以0为中心来获得深度不变形。

步骤S102：基于预处理后的深度图像及深度学习模型，生成抓取图；其中抓取图与深度图对应位置的预测值分别为抓取角度、抓取宽度和置信度。

在具体实施中，所述抓取图是由三个图像构成的一组图像，这一组图像对应三个深度图。深度学习模型为全卷积网络。

采用全卷积网络因其从图像像素到像素类别的变换的特性，其可以直接对二维图像进行处理，避免了复杂的特征提取过程，且其输出与输入尺寸相同。

可以理解的是，在其他实施例中，深度学习模型也可为其他网络模型，本领域技术人员可根据实际情况来具体选择，此处不再累述。

步骤S103：选置信度最高的位置处的抓取角度和抓取宽度为最优抓取参数，并转换为世界坐标系下的抓取位姿。

在一些实施例中，选置信度最高的位置处的抓取角度和抓取宽度为最优抓取参数之前，还包括：

对预测的置信度进行滤波，去除离群点和局部最大值。

所述步骤S103的具体过程为：

步骤S1031：将预处理后的深度图像在全卷积网络中训练，生成抓取图，表示如下：

G＝(Φ,W,Q)∈R^3×H×W

式中，Φ，W,Q∈R^H×W在每个像素S处分别包含和q的值，H和W分别表示深度图像I(该图像取自具有已知内在参数的相机)的高度和宽度，I＝R^H×W；G为在笛卡尔点P执行的一组抓取的参数，对应于每个像素S,将抓取图G表示为一组三个图像Q,Φ和W；Q是描述在每个点(u，v)执行的抓取的置信度的图像，该值是[0，1]范围内的一个标量，其中接近1的值表示更高的抓取置信度，即抓取成功的机会更高；Φ是描述在每个点要执行的抓取角度的图像，其角度在范围内；W是描述在每个点要执行的抓取宽度的图像,为了实现深度不变性，值在[0,150]像素的范围内，使用深度相机参数和测量的深度将其转换为物理测量，在网络训练的时候，将此Q、Φ、W的输出都归一化为1，再通过预测结果反推出真实值；

步骤S1032：激活函数采用线性修正激活函数ReLU，其具体形式为：f＝max(0；x)，其能够使卷积神经网络的训练速度加快，并且能够较好的传递误差梯度；

步骤S1033：应用L2损失函数对为网络的损失函数，定义满足如下公式标准：

式中，I_T,G_T分别指一组训练的输入和相应的输出；M_θ表示权重为θ的神经网络，有如下关系式：M_θ(I)＝(Q_θ,Φ_θ,W_θ)＝M(I),M(I)＝G为从深度图像到图像坐标中的抓取图的函数；

步骤S1034：网络输出三张图像，大小与深度图一致，对应位置的值分别为步骤S1031中的抓取角度Φ、抓取宽度W、置信度Q，此即为网络生成的预测抓取；

步骤S1035：使用高斯滤波器对生成的预测抓取的置信度进行滤波，去除离群点和局部最大值，减少对正确抓取的干扰，提高鲁棒性。

其中，所述的选取置信度最高的位置处的参数为最优抓取参数，并通过转换矩阵恢复出世界坐标系下的抓取位姿，其具体为：

从生成的抓取图G中，计算出图像空间中的最佳可视抓取，并通过如下等式计算出世界坐标g^*中的等价最佳抓取，转换等式如下：

g＝(p，φ，ω，q)

式中，t_CI是从深度图平面坐标系到相机坐标系的转换矩阵，t_RC是从相机坐标系到机器人(世界)坐标系的转换矩阵；g定义垂直于x-y平面执行的抓取，p＝(x，y，z)表示在笛卡尔坐标中夹具的中心位置，φ是夹具沿z轴的偏转角度，ω是夹具张开的宽度，q是抓取的置信度；s＝(u，v)是抓取中心点的像素坐标，是相机参考坐标系沿z轴的旋转角度，是夹具的张开宽度。

通过以上的方式方法，结合转换关系，直接为深度图像中的每个像素实时的计算出一个抓取位姿，得到了机器人坐标系中的最优抓取位姿。

步骤S104：将所述抓取位姿下发至机械臂来执行抓取操作，以将医疗废弃物送入医疗垃圾桶中回收。

本实施例通过获取目标区域内医疗废弃物的RGB-D图像，对医疗废弃物的堆放状态进行识别，从采集到的RGB-D图像中选取深度图像，将深度图像进行前期处理，然后送入深度学习模型中，生成抓取图，对经过深度学习模型训练预测得到的置信度进行滤波处理，选择置信度最高的位置处的参数为最优抓取参数，并转换为世界坐标系下的抓取位姿，机器臂获取到世界坐标系下的抓取位姿执行抓取操作，并将医疗废弃物送入医疗垃圾桶中回收，有效的解决了医疗废弃物的识别抓取回收问题，避免了医疗废弃物长时间留存在实验室造成实验室的污染。

实施例二

如图2所示，本实施例提供了一种基于深度学习的医疗废弃物识别抓取回收系统，其包括：

深度图像预处理模块，其用于获取医疗废弃物的RGB-D图像，从中选取深度图像并进行预处理；

抓取图生成模块，其用于基于预处理后的深度图像及深度学习模型，生成抓取图；其中抓取图与深度图对应位置的预测值分别为抓取角度、抓取宽度和置信度；

抓取位姿转换模块，其用于选置信度最高的位置处的抓取角度和抓取宽度为最优抓取参数，并转换为世界坐标系下的抓取位姿；

抓取位姿下发模块，其用于将所述抓取位姿下发至机械臂来执行抓取操作，以将医疗废弃物送入医疗垃圾桶中回收。

在另一实施例中，所述基于深度学习的医疗废弃物识别抓取回收系统，还包括：

置信度滤波模块，其用于对预测的置信度进行滤波，去除离群点和局部最大值。

此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。

实施例三

如图3所示，本实施例提供了一种基于深度学习的医疗废弃物识别抓取回收系统，其包括图像采集装置2、控制装置3和抓取装置；

所述图像采集装置2，用于采集目标区域内医疗废弃物1的RGB-D图像信息并传送至控制装置3；

所述控制装置3，用于：

从医疗废弃物1的RGB-D图像中选取深度图像并进行预处理；

基于预处理后的深度图像及深度学习模型，生成抓取图；其中抓取图与深度图对应位置的预测值分别为抓取角度、抓取宽度和置信度；

选置信度最高的位置处的抓取角度和抓取宽度为最优抓取参数，并转换为世界坐标系下的抓取位姿，将所述抓取位姿下发至抓取装置；

所述抓取装置用于根据抓取位姿执行抓取操作，以将医疗废弃物1送入医疗垃圾桶9中回收。

在其他实施例中，选置信度最高的位置处的抓取角度和抓取宽度为最优抓取参数之前，还包括：

对预测的置信度进行滤波，去除离群点和局部最大值。

在具体实施中，所述图像采集装置2包括设置在机器臂4手腕处的Kinect双目相机，例如：高度80mm，以15度角偏向夹具7，距离医疗废弃物1大于200mm，用于采集目标区域内医疗废弃物的RGB-D图像信息，并传输给控制装置3。

所述抓取装置包括机器臂4和夹具7，所述机器臂4的底端固定安装在实验桌上，所述夹具7安装在机器臂4的末端，所述夹具7的气缸通过供气管路8与供气装置连接；根据控制装置3给出的世界坐标信息控制机器臂4移动至相应的位置，同时供气装置给夹具7的气缸供气，实现夹具的张合，对医疗废弃物1进行抓取，并将医疗废弃物1送入医疗垃圾桶9回收。

本实施例以深度学习模型采用全卷积网络为例：

采用全卷积网络因其从图像像素到像素类别的变换的特性，其可以直接对二维图像进行处理，避免了复杂的特征提取过程，且其输出与输入尺寸相同。

可以理解的是，在其他实施例中，深度学习模型也可为其他网络模型，本领域技术人员可根据实际情况来具体选择，此处不再累述。

所述控制装置3包括控制器、电源模块和无线通信模块：所述控制器与双目相机连接，用于获取双目相机采集的医疗废弃物1的图像信息，接收到采集的图像，识别医疗废弃物1的堆放状态，对采集到的深度图像进行预处理，再将处理后的深度图像输入到全卷积网络中训练，生成一些候选抓取预测，对预测的置信度进行后处理，然后选择置信度最高的位置处的参数为最优抓取参数，并通过转换矩阵恢复出世界坐标系下的抓取位姿；所述控制器还与机器臂4连接，用于将控制器转换的世界坐标信息反馈给机器臂4，机器臂4根据世界坐标信息移动至相应的位置；所述控制器还与供气装置连接，用于控制供气装置给夹具7的气缸提供气源，使气缸产生动作，实现夹具的开合，进行抓取操作；所述控制器还与无线通信模块连接，用于将转换的世界坐标信息无线通信方式传给机器臂，机器臂执行抓取操作；所述电源模块用于给控制装置、抓取装置、图像采集装置和供气装置提供所需的电源。

具体地，所述供气装置包括真空微型气泵，所述真空微型气泵5通过供气管路8与夹具7的气缸连接，用于通过供气管路给夹具7的气缸供气；所述真空微型气泵5与控制器连接用于控制真空微型气泵的打开和关断，从而控制夹具7的气缸气路的通断。

本实施例提出的医疗废弃物识别抓取回收系统的工作过程为：

首先通过双目相机对目标区域内医疗废弃物的RGB-D图像信息进行采集，并传输给控制器，控制器根据接收到的图像信息，识别医疗废弃物的堆放状态，对采集到的深度图像进行预处理，再将处理后的深度图像输入到全卷积网络中训练，生成一些候选抓取预测，对预测的置信度进行后处理，然后选择置信度最高的位置处的参数为最优抓取参数，并通过转换矩阵恢复出世界坐标系下的抓取位姿，通过无线通信的方式将世界坐标系下的抓取位姿反馈给机器臂，机器臂移动至相应位置，控制气泵给气缸供气，控制抓夹具的张合，实现医疗废弃物的抓取，并将医疗废弃物送入医疗垃圾桶回收。

本实施例的基于深度学习的医疗废弃物识别抓取回收系统包括图像采集装置、控制装置和抓取装置，设备简单，可以降低生产研究成本；同时避免了人直接接触医疗废弃物，避免了一些潜在的刺伤、擦伤和感染等风险。

实施例四

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于深度学习的医疗废弃物识别抓取回收方法中的步骤。

实施例五

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于深度学习的医疗废弃物识别抓取回收方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。