具体实施方式

下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。

本发明的一种混合垃圾分选装置，包括2D相机、3D相机、金属探测器、近红外传感器、机器人1、机器人2、工控机、编码器和皮带机；具体结构1、图2所示，2D相机、近红外传感器、3D相机、机器人1和机器人2分别沿工作方向依次间隔设置在皮带机的上方，金属探测器设置在皮带机的下方；工控机分别与所述2D相机、3D相机、金属探测器、近红外传感器、机器人1以及机器人2电性连接，且编码器同轴安装在皮带机的滚轴上，并与工控机电性连接；2D相机、3D相机、金属探测器和机器人1形成第一套机器人系统，对金属垃圾进行抓取；2D相机、3D相机、近红外传感器和机器人2形成第二套机器人系统，对非金属垃圾进行分类抓取。

本发明在2D相机的输出端以及3D相机的输出端正下方一侧还分别设有LED光源，且每一个LED光源均设置在皮带机的上方；如图1所示，在皮带机上还设有PLC，且PLC分别与皮带机以及变频器电性连接，并对皮带机的速度进行控制；在PLC上端还设有触摸屏，并通过触摸屏来提供人工调节入口以及显示实时速度。

本发明适用于识别混合垃圾中的可回收垃圾，如金属垃圾和非金属垃圾(木材、塑料、纸张、橡胶、玻璃、矿石等)，进而对废弃物进行资源再利用。

本发明的一种混合垃圾分选装置的分选识别方法，包括以下步骤：

(1)2D相机和3D相机分别获取目标垃圾图像信息和坐标信息，再依次根据目标垃圾位置排序组成数据链表，记作List0。

在上述步骤中，2D相机拍摄目标垃圾图片以及识别目标垃圾的平面中心坐标；3D相机识别目标垃圾的轮廓以及目标垃圾的几何中心坐标；2D相机采集的目标垃圾照片中检测处有垃圾时，3D相机同步采集3D点云数据，识别目标垃圾轮廓信息。

在上述步骤中，将2D相机采集的目标垃圾照片进行预处理后利用深度学习模型，即pytorch框架下的YOLOv4神经网络模型，来判断是否有垃圾并获取目标垃圾图像的坐标信息，其具体步骤为：

(1.1)将2D相机采集的目标垃圾照片输入CSPDarknet53特征提取神经网络中获得相应的卷积特征图，并通过CSP(Cross Stage Paritial)模块在减少计算量的同时还保证了准确率；

(1.2)通过Neck中的SPP(Spatial Pyramid Pooling)模块增加主干特征的接收范围；

(1.3)FPN(Feature Pyramid Networks)+PAN(Path Aggregation Network)的结合操作通过上采样传达强语义特征以及下采样传达强定位特征，再根据其不同的主干层对不同的检测层进行相应的参数融合，获得更加准确的目标框信息；

(1.4)通过非极大值抑制(nms)算法过滤获取最后的目标框；

(1.5)当2D相机采集的图片目标框中测出有垃圾时，取出3D相机同步采集的3D点云数据，将其转换成Mat类型以x，y作为像素坐标，z作为灰度值，再通过OpenCV对Mat类型进行处理，提取出具有一定高度的点的轮廓信息。

(2)编码器脉冲信号线接入工控机数据采集卡，并将脉冲信号转化成皮带机的转动距离。

在上述步骤中，脉冲信号转化成皮带机转动距离的计算公式为：

其中，μ为编码器参数，即每转的脉冲数值；Δp为插入List0时t0的脉冲数值和发送给机器人时t1的脉冲数值的脉冲差值；G为皮带机的滚轴周长；L为目标垃圾在t0和t1两个时刻间运动的距离。

(3)金属探测器判断目标垃圾是否为金属垃圾，再通过机器人1对金属垃圾进行抓取。

在上述步骤中，实现机器人1对金属垃圾抓取的具体流程为：

(3.1)当目标垃圾中的金属垃圾经过金属探测器时，金属探测器利用电磁感应原理，在金属垃圾内部感生涡电流，涡电流再产生电磁场，反过来影响原本的磁场，进而引发金属探测器发出信号。

(3.2)金属探测器通过MODBUS协议发送数据报文到工控机内，解析得到目标垃圾是金属的概率值；再通过设定的阈值，区分是否为金属，进而修正List0中的类别信息。

(3.3)工控机通过Socket通讯，发送指定协议报文到机器人1，机器人1根据金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度，绕开不需要抓取的非金属垃圾，直接抓取金属垃圾。

在上述步骤中，金属垃圾坐标位置的获取步骤为：

(3.3.1)标定完成后，将识别出的金属垃圾坐标信息以及金属探测器的坐标信息全部转换成机器人坐标系下的机器人坐标；

(3.3.2)假设x轴作为传送带传输方向，将金属探测器的x坐标和识别出金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息；

(3.3.3)假设y轴作为传送带传输方向，将金属探测器的y坐标和识别出金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息。

(3.4)循环重复上述步骤，直至将金属垃圾分选抓取完毕。

(4)当金属垃圾抓取结束后，根据步骤(1)获取的2D、3D图像信息，当剩余均为非金属垃圾时，运用近红外传感器识别其组成成分、材质，再通过机器人2进行分类抓取。

在上述步骤中，实现机器人2对非金属垃圾抓取的具体流程为：

(4.1)当剩余的非金属垃圾经过近红外传感器时，近红外传感器利用其近红外能量来选择性吸收非金属垃圾的特定波长，进而检测非金属垃圾的组成成分和材质。

(4.2)近红外传感器传出模拟信号到工控机数据采集卡中，转换成不同波段的数据，再通过预设的配置匹配成相应的类型，进而修正List0中的类别信息。

(4.3)工控机通过Socket通讯，发送指定协议报文到机器人2，机器人2根据非金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度后抓取待分选的非金属垃圾，将不同的非金属垃圾抓取放置到相应的料框中。

在上述步骤中，非金属垃圾坐标位置的获取步骤为：

(4.3.1)标定完成后，将识别出的非金属垃圾坐标信息以及近红外传感器的坐标信息全部转换成机器人坐标系下的机器人坐标；

(4.3.2)假设x轴作为传送带传输方向，将近红外传感器的x坐标和识别出非金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息；

(4.3.3)假设y轴作为传送带传输方向，将近红外传感器的y坐标和识别出非金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息。

(4.4)循环重复上述步骤，直至将非金属垃圾分选抓取完毕。

本发明的有益效果：

(1)本发明提高了垃圾分选的作业效率，减少了机械和人工分选带来的误差，实现了混合物料的精细化分选作业；

(2)本发明能够分选的混合垃圾种类丰富，涵盖金属、矿石、塑料等多种物料，经济效率高；

(3)本发明在运用2D相机和3D相机相结合的基础上，采用2套机器人并联进行分选，且搭载金属探测器和近红外传感器参与对混合垃圾进行分选，进一步实现了垃圾的精准分类；

(4)本发明应用场景较为丰富，不仅适用于垃圾分选产线，对于矿石分选、建筑垃圾分选产线也同样适用，适用范围广；

(5)本发明原理简单，可同时融合多种传感器，使得分选的物料品类更加丰富，从而提高了其使用范围。

上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。