阅读说明：本技术 视觉与触觉相结合的智能垃圾分类方法 (Intelligent garbage classification method combining vision and touch ) 是由 田卫新 张力 温征 刘本梦 于 2019-11-29 设计创作，主要内容包括：本发明公开了视觉与触觉相结合的智能垃圾分类方法,利用分拣头抓取垃圾分类面板上的垃圾,分拣头的抓爪内侧设有触觉传感器,将分拣头移动到垃圾的上方,采集垃圾的图像,分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据,分拣头的控制器采用神经网络模型作为分类器,根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类,随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。本发明采用视觉与触觉相结合的方式,相对现有的单纯利用图像对垃圾进行识别分类的方法,大大降低误拣率,分类精度高,尤其易于识别出湿垃圾,分类效率高,省时省力。(The invention discloses an intelligent garbage classification method combining vision and touch, which comprises the steps of grabbing garbage on a garbage classification panel by utilizing a sorting head, arranging a touch sensor on the inner side of a grabbing claw of the sorting head, moving the sorting head to the upper side of the garbage, collecting images of the garbage, obtaining touch data of the garbage by the touch sensor when the sorting head grabs the garbage, using a neural network model as a classifier by a controller of the sorting head, identifying and classifying the grabbed garbage according to the images and the touch data of the garbage, and then placing the grabbed garbage into a corresponding garbage classification area by the sorting head according to the classification of the garbage. Compared with the existing method for identifying and classifying the garbage by simply utilizing the image, the method has the advantages of greatly reducing the false picking rate, being high in classification precision, being particularly easy to identify the wet garbage, being high in classification efficiency, saving time and labor.)

视觉与触觉相结合的智能垃圾分类方法

技术领域

本发明属于垃圾分类领域，具体涉及视觉与触觉相结合的智能垃圾分类方法。

背景技术

随着经济的快速发展和生活水平的提高，生活垃圾的产量也急剧增加。生活垃圾的种类繁多，有些垃圾可回收再利用，有些垃圾则对环境有很大的影响，若是随意丢弃，可能会造成很大的污染。我国已经开展垃圾分类回收工作多年，主要是以分类垃圾桶为主。但是垃圾分类的效果并不理想，民众垃圾分类的意识也很薄弱。

最近两年，我国开始在部分城市建立起了严格的垃圾分类制度。以上海为例，要求居民将垃圾分为可回收物、有害垃圾、湿垃圾、干垃圾四类。由于要求垃圾分类比较复杂，不能完全依靠居民进行理想化的垃圾分类，急需一种对用户投放的分类垃圾进行检验并进行二次分类的装置。

发明内容

本发明的技术问题是现有的单纯采用垃圾图像对垃圾进行自动识别、分类的方法，错误率较高，按照目前的垃圾分类标准，采用单一视觉传感器难以分辨垃圾材质，致使分类错误。

本发明的目的是解决上述问题，提供一种视觉与触觉相结合的智能垃圾分类方法，利用摄像头采集垃圾的图像，利用触觉传感器采集垃圾的触觉数据，将垃圾的图像和触觉数据作为神经网络模型的输入，神经网络模型对垃圾进行识别、分类，将垃圾放入对应的分类区，并记录市民单次投放的垃圾的数量以及完成分类处理的时间，评价市民投放垃圾前对垃圾的分类情况。

本发明的技术方案是视觉与触觉相结合的智能垃圾分类方法，利用分拣头抓取垃圾分类面板上的垃圾，分拣头的抓爪内侧设有触觉传感器，将分拣头移动到垃圾的上方，采集垃圾的图像，分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据，分拣头的控制器采用神经网络模型作为分类器，根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类，随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。

进一步的，所述智能垃圾分类方法采用分拣头对聚拢、平铺的垃圾逐行依次进行拣选，拣选间距依据分拣头的抓爪的抓取范围进行设定，对拣选的垃圾进行分类，并放入对应的分类区，智能垃圾分类方法包括以下步骤，

步骤1：沿Y轴方向移动拣选间距；

步骤2：沿X轴方向移动拣选间距；

步骤3：采集垃圾分拣头下的垃圾的图像数据；

步骤4：分拣头抓取垃圾，获得触觉数据；

步骤5：分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类；

步骤6：根据步骤5的垃圾的分类，将抓取的垃圾放入对应的分类区，并返回当前拣选点；

步骤7：判断是否完成X轴方向的拣选；

步骤7.1：若未完成X轴方向的拣选，则执行步骤2：

步骤7.2：若完成X轴方向的拣选，则执行步骤8；

步骤8：判断是否完成Y轴方向的拣选；

步骤8.1：若未完成Y轴方向的拣选，则执行步骤1；

步骤8.2：若完成Y轴方向的拣选，则结束。

进一步的，采用分拣头对聚拢、平铺的垃圾逐列依次进行拣选，拣选间距依据分拣头的抓爪的抓取范围进行设定，对拣选的垃圾进行分类，并放入对应的分类区，智能垃圾分类方法包括以下步骤，

步骤1：沿X轴方向移动拣选间距；

步骤2：沿Y轴方向移动拣选间距；

步骤3：采集垃圾分拣头下的垃圾的图像数据；

步骤4：分拣头抓取垃圾，获得触觉数据；

步骤5：分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类；

步骤6：根据步骤5的垃圾的分类，将抓取的垃圾放入对应的分类区，并返回当前拣选点；

步骤7：判断是否完成Y轴方向的拣选；

步骤7.1：若未完成Y轴方向的拣选，则执行步骤2：

步骤7.2：若完成Y轴方向的拣选，则执行步骤8；

步骤8：判断是否完成X轴方向的拣选；

步骤8.1：若未完成X轴方向的拣选，则执行步骤1；

步骤8.2：若完成X轴方向的拣选，则结束。

进一步的，智能垃圾分类方法对市民一次投放的垃圾进行拣选，将垃圾逐一放入对应的分类区，拣选前采集市民的头部图像以确认市民的身份，对市民一次投放的垃圾完成拣选、分类后，对市民投放的垃圾进行垃圾质量评价，具体步骤如下，

步骤1：沿Y轴方向移动拣选间距；

步骤2：沿X轴方向移动拣选间距；

步骤3：采集垃圾分拣头下的垃圾的图像数据；

步骤4：分拣头抓取垃圾，获得触觉数据；

步骤5：分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类；

步骤6：根据步骤5的垃圾的分类，将抓取的垃圾放入对应的分类区，并返回当前拣选点；

步骤7：判断是否完成X轴方向的拣选；

步骤7.1：若未完成X轴方向的拣选，则执行步骤2：

步骤7.2：若完成X轴方向的拣选，则执行步骤8；

步骤8：判断是否完成Y轴方向的拣选；

步骤8.1：若未完成Y轴方向的拣选，则执行步骤1；

步骤8.2：若完成Y轴方向的拣选，则执行步骤9；

步骤9：将垃圾分类过程中分拣头拣选的次数记为市民单次投放的垃圾数量，记录市民单次投放垃圾后的垃圾分类处理时间，将垃圾分类处理时间除以垃圾数量得到单件垃圾的平均处理时间，根据市民投放垃圾的单位垃圾的平均处理时间评价市民投放垃圾的质量。

进一步的，所述分类器，采集垃圾的图像数据数据、触觉数据对分类器进行训练，分类器的训练方法包括以下步骤，

步骤1：收集可回收物垃圾、有害垃圾的的图像和触觉数据，分成训练集和测试集；

步骤2：利用步骤1的训练集，对分类器进行训练；

步骤3：利用步骤1的测试集作为分类器的输入，对训练后的分类器进行测试，若测试合格则进行步骤4，否则执行步骤1进一步训练；

步骤4：收集湿垃圾、干垃圾的图像和触觉数据，分为训练集和测试集；

步骤5：利用步骤4的训练集，对分类器进行再次训练；

步骤6：利用步骤4的测试集作为分类器的输入，对训练后的分类器进行测试，若测试合格则结束训练，否则执行步骤4进一步训练。

优选地，所述神经网络模型采用CNN神经网络模型。

优选地，所述智能垃圾分类方法中垃圾的分类包括可回收物、有害垃圾、湿垃圾、干垃圾。

与现有技术相比，本发明的有益效果：

1）本发明采用视觉与触觉相结合的方式，采用神经网络模型对垃圾进行识别、分类，对垃圾进行分类放置，便于对垃圾的进一步处置，便于可回收物的回收利用，便于有害垃圾的特别处理，降低对环境的污染；

2）采用视觉与触觉相结合的方式，利用神经网络模型根据垃圾的图像和触觉数据对垃圾进行识别、分类，相对现有的单纯利用图像对垃圾进行识别分类的方法，大大降低误拣率，分类精度高，尤其易于识别出湿垃圾，分类效率高，省时省力；

3）本发明的方法对市民投放的垃圾进行垃圾质量评价，通过计算本发明的装置处理市民投放垃圾的平均单件处理时间，用以评价垃圾投放前的垃圾分类的好坏，便于了解市民投放垃圾前对垃圾分类情况，便于管理部门对垃圾分类良好的市民进行奖励，或者判断是否有必要对市民进一步加强垃圾分类的宣传教育。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为实施例的智能垃圾分类方法的流程示意图。

图2为智能垃圾分类装置的结构示意图。

图3为垃圾投入口控制机构的结构示意图。

图4为分拣机构的结构示意图。

图5为传送机构的结构示意图。

图6为实施例的神经网络模型的结构示意图。

附图标记说明：垃圾分类箱体1、控制柜2、分拣机构3、第一X轴滑轨301、第一X轴滑台302、第一Y轴滑轨303、第一Y轴滑台304、Z轴滑轨305、Z轴滑台306、机械手307、视觉传感器308、传送机构4、第二X轴滑轨401、第二X轴滑台402、X轴挡片403、第二Y轴滑轨404、第二Y轴滑台405、Y轴挡片406、垃圾分类面板5、垃圾投入口6、第一垃圾盖601、第二垃圾盖602、液压杆603、摄像头7。

具体实施方式

视觉与触觉相结合的智能垃圾分类方法利用分拣头抓取垃圾分类面板上的垃圾，分拣头的抓爪内侧设有触觉传感器，将分拣头移动到垃圾的上方，采集垃圾的图像，分拣头抓取垃圾时触觉传感器取得垃圾的触觉数据，分拣头的控制器采用神经网络模型作为分类器，根据垃圾的图像和触觉数据对抓取的垃圾进行识别、分类，随后分拣头依据垃圾的分类将抓取的垃圾放入对应的垃圾分类区。

智能垃圾分类方法对市民一次投放的垃圾平铺、聚拢后进行拣选，拣选间距依据分拣头的抓爪的抓取范围进行设定，将垃圾逐一拣选后放入对应的分类区，开始拣选前采集市民的头部图像以确认市民的身份，对市民一次投放的垃圾完成拣选、分类后，对市民投放的垃圾进行垃圾质量评价，如图1所示，具体步骤如下，

步骤1：沿Y轴方向移动拣选间距；

步骤2：沿X轴方向移动拣选间距；

步骤3：采集垃圾分拣头下的垃圾的图像数据；

步骤4：分拣头抓取垃圾，获得触觉数据；

步骤5：分类器根据垃圾的图像和触觉数据对抓取的垃圾进行分类；

步骤6：根据步骤5的垃圾的分类，将抓取的垃圾放入对应的分类区，并返回当前拣选点；

步骤7：判断是否完成X轴方向的拣选；

步骤7.1：若未完成X轴方向的拣选，则执行步骤2：

步骤7.2：若完成X轴方向的拣选，则执行步骤8；

步骤8：判断是否完成Y轴方向的拣选；

步骤8.1：若未完成Y轴方向的拣选，则执行步骤1；

步骤8.2：若完成Y轴方向的拣选，则执行步骤9；

步骤9：将垃圾分类过程中分拣头拣选的次数记为市民单次投放的垃圾数量，记录市民单次投放垃圾后的垃圾分类处理时间，将垃圾分类处理时间除以垃圾数量得到单件垃圾的平均处理时间，根据市民投放垃圾的单位垃圾的平均处理时间评价市民投放垃圾的质量。

如图2-5所示，上述的视觉与触觉相结合的智能垃圾分类方法的智能垃圾分类装置，包括垃圾分类箱体1、控制柜2，垃圾分类箱体1顶部设有垃圾投入口6，垃圾分类箱体1内设有分拣机构3、传送机构4，垃圾分类箱体1内垃圾投入口6下方设有垃圾分类面板5，垃圾分类箱体1正面靠近底面的部位设有多个垃圾回收口，垃圾分类面板5下方设有可回收垃圾斗、有害垃圾斗、湿垃圾斗和干垃圾斗，可回收垃圾斗、有害垃圾斗、湿垃圾斗、干垃圾斗与垃圾回收口对应的部位设有活动门，活动门用于环卫人员取出智能垃圾分类装置中已分类的垃圾。控制柜2的高度大于垃圾分类箱体1的高度，控制柜2靠近垃圾投入口6的侧壁的顶部设有摄像头7。控制柜2中设有控制器，分拣机构3的控制端与控制器电连接。

如图3所示，垃圾投入口6设有垃圾入口控制机构，垃圾入口控制机构包括第一垃圾盖601、第二垃圾盖602、液压杆603，第一垃圾盖601的一侧与垃圾分类箱体1的顶部铰接连接，电子液压杆603的基座与垃圾分类箱体1的顶部固定连接，电子液压杆603的伸缩杆的杆头与第二垃圾盖602固定连接，第二垃圾盖602随着电子液压杆603的杆头的伸缩，控制垃圾投入口6的打开、关合。电子液压杆603的液压油管中设有电磁阀，通过电磁阀控制电子液压杆603的伸缩。电磁阀的控制端与控制器电连接。

垃圾分类过程中，垃圾分类面板5上的垃圾分拣完成前，将垃圾投入口6关闭，垃圾分类面板5上的垃圾分拣完成后，将垃圾投入口6打开。

如图4所示，分拣机构3包括第一X轴滑轨301、第一Y轴滑轨303、Z轴滑轨305，第一X轴滑轨301的两端与垃圾分类箱体1的侧壁固定连接，第一X轴滑台302与第一X轴滑轨301滑动配合，第一Y轴滑轨303的端部与第一X轴滑台302固定连接；第一Y轴滑台304与第一Y轴滑轨303滑动配合，Z轴滑轨305的端部与第一Y轴滑台304固定连接，垃圾分拣头与Z轴滑轨305滑动配合，垃圾分拣头包括Z轴滑台306和与其连接的机械手307，机械手307的抓爪内侧设有触觉传感器，设置机械手307上的数字舵机控制机械手307的抓爪的抓取、释放。第一X轴滑轨301上设有丝杆，第一X轴滑台302设有与丝杆配合的通孔，通孔的孔壁设有滚道，滚道中填充滚珠，丝杆与伺服电机的转轴固定连接，伺服电机旋转时，第一X轴滑台302向滑轨一端或另一端做直线运动；第一Y轴滑轨303、第一Y轴滑台304分别与第一X轴滑轨301、第一X轴滑台302结构相同；第一Z轴滑轨305、第一Z轴滑台306分别与第一X轴滑轨301、第一X轴滑台302结构相同。一种实施例中，第一X轴滑轨301、第一X轴滑台302采用直线模组。分拣机构3的伺服电机的控制端与控制器电连接。机械手307上的数字舵机的控制端与控制器电连接。

分拣机构3的Y轴滑台304的一端设有视觉传感器308，视觉传感器308的输出端与控制器电连接，视觉传感器308用以采集垃圾分类面板5上的垃圾的图像。实施例中，视觉传感器308采用摄像头。

控制器控制分拣机构3对垃圾分类面板5上的垃圾进行分拣时，分别通过控制伺服电机移动X轴滑台、Y轴滑台、Z轴滑台，使机械手307靠近垃圾分类面板5上的垃圾，通过机械手307上的数字舵机控制机械手307的抓爪抓取垃圾，抓取垃圾后再次通过伺服电机移动X轴滑台、Y轴滑台、Z轴滑台，将机械手307移动至垃圾对应的垃圾斗的上方，再通过数字舵机控制机械手307的抓爪释放垃圾至对应的垃圾斗。

如图5所示，传送机构4用于将垃圾分类面板5上的垃圾聚拢，传送机构4包括分别与垃圾分类面板5固定连接的第二X轴滑轨401、第二Y轴滑轨404，第二X轴滑台402与第二X轴滑轨401滑动配合，X轴挡片403与第二X轴滑台402固定连接，第二Y轴滑台405与第二Y轴滑轨404滑动配合，Y轴挡片406与第二Y轴滑台405固定连接。第二X轴滑轨401、第二X轴滑台402分别与第一X轴滑轨301、第一X轴滑台302结构相同；第二Y轴滑轨404、第二Y轴滑台405分别与第一X轴滑轨301、第一X轴滑台302结构相同。传送机构4的伺服电机的控制端与控制器电连接。先通过控制伺服电机移动X轴滑台及与其固定连接的X轴挡片，将垃圾分类面板5上的垃圾沿第二Y轴滑轨404聚拢，然后通过控制伺服电机移动Y轴滑台及与其固定连接的Y轴挡片，将沿第二Y轴滑轨404聚拢的垃圾集中。

步骤2中，所述神经网络模型采用CNN神经网络模型。如图6所示，CNN神经网络模型包括卷积层、全连接层和分类器，采用4个卷积层，每个卷积层后链接一个池化层，激活函数采用ReLU函数，最后连接的是softmax层。输入图像的大小为160*160像素。实施例中，将卷积层的卷积核大小均为4*4，学习率设为0.01。