阅读说明：本技术 一种基于视觉技术和深度学习的存余垃圾识别方法和装置 (Remaining garbage identification method and device based on visual technology and deep learning ) 是由 袁志业 张文涛 宫文龙 于 2020-06-16 设计创作，主要内容包括：本发明公开了一种基于视觉技术和深度学习的存余垃圾识别方法和装置,包括匀料器、视觉单元、执行单元、输送线和总控机,输送线为电机驱动的传送带装置,第一传送带的上方支架上连接有匀料器,物料从匀料器的上端进入,从匀料器的下端均匀的落入第一传送带上,第一传送带旁的地面上固定连接有总控机,物料顺着第一传送带运动到第二传送带上,第二传送带将物料运转到第三传送带上,本发明将替代人工劳动力,排除对人体危害,并且相比单纯依靠基于深度学习和机器视觉完成物体识别检测来讲,本研究先通过得到物体密度和坐标,再将少部分图像中物体进行算法识别,可以大幅度缩短识别耗时,提高识别精准度达到99.5％。(The invention discloses a method and a device for identifying remaining garbage based on a visual technology and deep learning, which comprises a material homogenizer, a visual unit, an execution unit, a conveying line and a master controller, wherein the conveying line is a conveying belt device driven by a motor, the material homogenizer is connected on a bracket above a first conveying belt, materials enter from the upper end of the material homogenizer and uniformly fall onto the first conveying belt from the lower end of the material homogenizer, a master controller is fixedly connected on the ground beside the first conveying belt, the materials move onto a second conveying belt along the first conveying belt, and the second conveying belt conveys the materials onto a third conveying belt. The time consumption of recognition can be greatly shortened, and the recognition accuracy is improved to 99.5%.)

一种基于视觉技术和深度学习的存余垃圾识别方法和装置

技术领域

本发明涉及一种存余垃圾分拣领域，具体是一种基于视觉技术和深度学习的存余垃圾识别方法和装置。

背景技术

近几年，在生活垃圾和建筑垃圾分拣工业流水线技术上，国内主要通过传统机械分选配合人工辅助完成分拣工作，同时，基于光电、电磁、风力等技术也在此行业研发和应用；发达国家在生活垃圾、建筑垃圾、一般工业垃圾分拣流水线上，开发出基于深度学习的机器人视觉分拣技术，国外最具代表的，如芬兰的ZenRobotics机器人在建筑垃圾分拣应用，美国的BHS公司的MAX_AI机械臂利用识别垃圾材质以分拣垃圾等。但投资较高，且对于我国存余垃圾特征不适用。

而我国存余垃圾多为混合堆填数年的垃圾，主要为生活垃圾的非正规垃圾堆体内含有建筑、一般工业、其他垃圾，环境复杂，通过传统的机械分拣，如滚筒筛、风力、光电、振动筛、弹跳筛分等单体功能设备组合，很难完成高要求纯净度的分拣效果，人工辅助能力有限，且劳动力日渐紧缺。

引进国外的机器人分拣，投资高昂，且数据库需要重新按照我国垃圾特征建立，难度高，算法也须根据我国垃圾特征不断优化。每个国家的机器人分拣技术因投资高，应用领域均为垃圾回收价值高的领域，如建筑垃圾、工业垃圾，或塑料、金属含量大的生活垃圾，在存余垃圾分拣领域目前尚无应用案例，所以，在存余垃圾智能化分拣领域创新应用，配合传统垃圾智能化机械分选流水线，替代人工辅助分拣，可最大限度解决筛分含杂率高的问题。

发明内容

本发明的目的在于提供一种基于视觉技术和深度学习的存余垃圾识别方法和装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于视觉技术和深度学习的存余垃圾识别方法，其识别方式为重质物输送流水线上的物料(40㎜＜粒径＜200㎜)基本为“砖头、石块、瓦砾、混凝土块”等无机类物料，但一般夹杂1％-10％的杂质，一般有“塑料类、橡胶类、棉织物、木类”，“砖头、石块、瓦砾、混凝土块”等无机类物料的干密度较大，均＞m0，棉织物类物料若含有大量泥水物，其密度增大，可能也会＞m0，a1物体在视觉区，称重得到其质量b1，双目相机得到其体积v1，通过计算机计算出其密度d1＝b1/v1，单目相机得到其物体图像和坐标；确定阈值m0大小，判断d1，若d1＜＝m0，则直接判定为杂质，若d1＞m0，则判定为待定物体，待定物体所在图像经过感兴趣区域提取，进入视觉单元，视觉单元由深度学习训练模型和机器视觉融合完成对目标物体图像的识别，深度学习训练模型由存余垃圾样本数据库的图像样本经预处理后训练完成，待定物体图像经过预处理后被视觉进行识别，若被正确识别，则输出检测结果至末端执行器，结果包括物体类别、坐标；若未被识别的照片则存入指定文件夹，用于后期补充训练，以不断提升数据库。

一种基于视觉技术和深度学习的存余垃圾识别方法，其工作流程为经前端机械分选得到的无机重物类(主要为砖石瓦砾)首先进入匀料器，将物料打散，摊铺至第一传送带上，然后经第二传统带将打散物料送入视觉单元，当单个物料进入第三传送带时，首先被进料端的红外线感应器感应到，此时第一传送带、第二传送带和匀料器停止工作，待检测完成后，物被第三传送带出料端的红外线感应器感应到时，第一传送带、第二传送带和匀料器重新开始动作，各物料在视觉单元内先后完成双目相机、单目相机、输送称重模块对物体的检测，后进入执行单元，目标物被执行器抓取或剔除，视觉单元内所有信号控制通讯和传输均反馈至总控机，总控机发送实时信号控制执行器完成抓取或剔除动作。

一种基于视觉技术和深度学习的存余垃圾识别装置，包括匀料器、视觉单元、执行单元、输送线和总控机，输送线为电机驱动的传送带装置，第一传送带的上方支架上连接有匀料器，物料从匀料器的上端进入，从匀料器的下端均匀的落入第一传送带上，第一传送带旁的地面上固定连接有总控机，物料顺着第一传送带运动到第二传送带上，第二传送带将物料运转到第三传送带上，第三传送带所在区域为视觉单元，最后物料经过视觉单元分析后从第三传送带上运转到第四传送带上，第四传送带所在区域为执行单元，第四传送带的两侧放置有收集箱。

作为本发明进一步的方案：视觉单元包括：双目相机、单目相机、光源和输送称重模块，输送称量模块与第三传送带连接，第三传送带的进料端和出料端的上方支架上均连接有光源，在两个光源之间，靠近第三传送带的进料端连接有双目相机，靠近第三传送带出料端连接有单目相机。

作为本发明再进一步的方案：输送称重模块包括：底座、压力传感器和第三传送带，在支撑第二传送带和第四传送带的支架上连接有压力感应器，压力感应器的上端连接有底座，底座上转动连接有第三传送带。

作为本发明再进一步的方案：第三传送带的进料端和出料端旁的支架上连接有红外线感应器。

作为本发明再进一步的方案：执行单元包括执行器和收集盒，执行器通过支架连接在第四传送带的上端，收集盒放置在第四传送带两端且处于执行器能够到达的地方。

作为本发明再进一步的方案：为便于轻重物料均可从第一传送带顺利运送到第三传送带上，设有第二传送带，第二传送带的进料端略低于第一传送带的出料端，第二传送带的出料端略高于第三传送带的进料端，第二传送带倾斜连接在支撑传送到的支架上。

与现有技术相比，本发明的有益效果是：(1)替代人工劳动力，排除对人体危害；(2)相比单纯依靠基于深度学习和机器视觉完成物体识别检测来讲，本研究先通过得到物体密度和坐标，再将少部分图像中物体进行算法识别，可以大幅度缩短识别耗时，提高识别精准度达到99.5％。

附图说明

图1为一种基于视觉技术和深度学习的存余垃圾识别方法的程序框图。

图2为一种基于视觉技术和深度学习的存余垃圾识别装置的结构示意图。

图3为一种基于视觉技术和深度学习的存余垃圾识别装置的俯视图。

图4为图2中A结构的放大图。

如图所示：100、匀料器；200、视觉单元；201、双目相机；202、单目相机；203、光源；204、输送称重模块；300、执行单元；301、执行器；302、收集盒；400、输送线；401、第一传送带；402、第二传送带；403、第三传送带；404、第四传送带；405、底座；406、压力感应器；407、红外线感应器；500、总控机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～4，本发明实施例中，一种基于视觉技术和深度学习的存余垃圾识别方法，其识别方式为重质物输送流水线上的物料(40㎜＜粒径＜200㎜)基本为“砖头、石块、瓦砾、混凝土块”等无机类物料，但一般夹杂1％-10％的杂质，一般有“塑料类、橡胶类、棉织物、木类”，“砖头、石块、瓦砾、混凝土块”等无机类物料的干密度较大，均＞m0，棉织物类物料若含有大量泥水物，其密度增大，可能也会＞m0，a1物体在视觉区，称重得到其质量b1，双目相机得到其体积v1，其密度d1＝b1/v1，单目相机得到其物体图像和坐标；确定阈值m0大小，判断d1，若d1＜＝m0，则直接判定为杂质，若d1＞m0，则判定为待定物体，待定物体所在图像经过感兴趣区域提取，进入视觉单元，视觉单元由深度学习训练模型和机器视觉融合完成对目标物体图像的识别，深度学习训练模型由存余垃圾样本数据库的图像样本经预处理后训练完成，待定物体图像经过预处理后被视觉进行识别，若被正确识别，则输出检测结果至末端执行器，结果包括物体类别、坐标；若未被识别的照片则存入指定文件夹，用于后期补充训练，以不断提升数据库。

一种基于视觉技术和深度学习的存余垃圾识别方法，其工作流程为经前端机械分选得到的无机重物类主要为砖石瓦砾首先进入匀料器100，将物料打散，摊铺至第一传送带401上，然后经第二传统带402将打散物料送入视觉单元200，当单个物料进入第三传送带403时，首先被进料端的红外线感应器407感应到，此时第一传送带401、第二传送带402和匀料器100停止工作，待检测完成后，物被第三传送带403出料端的红外线感应器407感应到时，第一传送带401、第二传送带402和匀料器100重新开始动作，各物料在视觉单元200内先后完成双目相机201、单目相机202、输送称重模块204对物体的检测，后进入执行单元300，目标物被执行器301抓取或剔除，视觉单元200内所有信号控制通讯和传输均反馈至总控机500，总控机500发送实时信号控制执行器301完成抓取或剔除动作。

一种基于视觉技术和深度学习的存余垃圾识别装置，包括匀料器100、视觉单元200、执行单元300、输送线400和总控机500，输送线400为电机驱动的传送带装置，第一传送带401的上方支架上连接有匀料器100，物料从匀料器100的上端进入，从匀料器100的下端均匀的落入第一传送带401上，第一传送带401旁的地面上固定连接有总控机500，物料顺着第一传送带401运动到第二传送带402上，第二传送带402将物料运转到第三传送带403上，第三传送带403所在区域为视觉单元200，最后物料经过视觉单元200分析后从第三传送带403上运转到第四传送带404上，第四传送带404所在区域为执行单元300，第四传送带404的两侧放置有收集箱302。

所述视觉单元200包括：双目相机201、单目相机202、光源203和输送称重模块204，输送称量模块204与第三传送带403连接，第三传送带403的进料端和出料端的上方支架上均连接有光源203，在两个光源203之间，靠近第三传送带403的进料端连接有双目相机201，靠近第三传送带403出料端连接有单目相机202。

所述输送称重模块204包括：底座405、压力传感器406和第三传送带403，在支撑第二传送带402和第四传送带404的支架上连接有压力感应器406，压力感应器406的上端连接有底座405，底座405上转动连接有第三传送带403。

所述第三传送带403的进料端和出料端旁的支架上连接有红外线感应器407。

所述执行单元300包括执行器301和收集盒302，执行器301通过支架连接在第四传送带404的上端，收集盒302放置在第四传送带404两端且处于执行器301能够到达的地方。

所述为便于轻重物料均可从第一传送带401顺利运送到第三传送带403上，设有第二传送带402，第二传送带402的进料端略低于第一传送带401的出料端，第二传送带402的出料端略高于第三传送带403的进料端，第二传送带402倾斜连接在支撑传送到的支架上。

识别算法方面，经过室内同等计算机条件下试验模拟，本发明的逻辑判断法识别目标物，速度在250毫秒-450毫秒；而单纯通过大量数据集训练样本模型，调用模型去识别目标物速度在680毫秒-1150毫秒。硬件装置方面，室内试验搭建了模拟环境，利用匀料器上料，可均匀打散均匀摊铺在输送带上。视觉区利用单目、双目相机分别可实现，对物体坐标定位，兴趣区域提取，对目标物体三维重建得到体积。物体在称重模块输送过程中得到实时质量数据。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。