阅读说明：本技术 垃圾智能分类与管理系统及垃圾分类识别方法及自检方法 (Intelligent garbage classification and management system, garbage classification identification method and self-inspection method ) 是由 杨俊卿 任鹏 孔晓晓 李建代 程建邦 刘雪莲 徐春鹏 张雷 袁春龙 田亚森 刘宝 于 2019-11-18 设计创作，主要内容包括：本发明公开了一种垃圾智能分类与管理系统及垃圾分类识别方法及自检方法,属于信息技术控制领域,该系统利用人工智能技术对投放垃圾进行视觉识别,根据识别信息控制电机驱动模块,精确和智能化的完成对垃圾的自动分类投放,减轻居民垃圾分类负担,促进居民转变现有垃圾投放的行为方式；同时搭载智能语音技术,通过语音交互功能向居民科普垃圾分类知识,提升我国居民的环境保护与节约资源的意识；通过超声波容量检测技术,实时测量垃圾桶内容量状态,将容量数据发送至远程监控和管理中心,帮助环卫人员远端实时监控各垃圾投放点桶内垃圾容量满溢程度,实现信息化管理；通过设置系统故障自检功能,提升垃圾智能分类与管理系统的维护效率。(The invention discloses an intelligent garbage classification and management system, a garbage classification identification method and a self-checking method, which belong to the field of information technology control, wherein the system visually identifies thrown garbage by using an artificial intelligence technology, controls a motor driving module according to identification information, accurately and intelligently finishes automatic classification and throwing of the garbage, reduces garbage classification burden of residents and promotes the residents to change the existing garbage throwing behavior mode; meanwhile, an intelligent voice technology is carried, and knowledge of domestic general garbage classification is provided for residents through a voice interaction function, so that environmental protection and resource saving consciousness of the residents in China is improved; the content state of the garbage can is measured in real time through an ultrasonic capacity detection technology, capacity data are sent to a remote monitoring and management center, sanitation workers are helped to monitor the overflow degree of the garbage capacity in the garbage can of each garbage throwing point in real time at a remote end, and information management is achieved; by setting the system fault self-checking function, the maintenance efficiency of the intelligent garbage classification and management system is improved.)

垃圾智能分类与管理系统及垃圾分类识别方法及自检方法

技术领域

本发明属于信息技术控制领域，具体涉及一种垃圾智能分类与管理系统及垃圾分类识别方法及自检方法。

背景技术

自2008来以来，我国的垃圾产量迅猛增长，预计到2020年，我国的垃圾产量将达到3.23亿吨，相当于全球人口的总重量。并且，虽然我国人均产垃圾量低于发达国家，但是我国的垃圾回收比率却远低于发达国家，仅为15.6％，远低于德国的62％，新加坡的59％。因此，为了更好的推动我国环境保护，实现垃圾分类投放是其中必不可少的环节。

而在如今，依托于人工智能技术的快速发展，各种垃圾分类设备也越来越多地步入人们的日常生活之中，但现有的垃圾分类设备在实际使用中，存在以下困难和问题：

(1)未能实现垃圾的自动分类投放，并且投放效率不高。当前垃圾分类设备依旧依赖于人工主观分类，通过设备机身自带有垃圾分类宣传海报指南等信息，以及分类投放操作流程的讲解，帮助投放者自我判断垃圾类型从而完成分类投放，虽然讲解详细，但依旧会给投放者带来困惑，降低投放效率。

(2)缺乏细致具体的垃圾分类知识科普。受垃圾投放点区域面积限制影响，对于垃圾分类知识只能作大体讲解，但就某一种具体类型缺乏细致讲解，无法解决居民日常投放垃圾时区分垃圾种类的困惑。

(3)未能实现对桶内垃圾容量实时监控的信息化管理，不利于垃圾清运工作的科学安排和统筹调度。在同一时间不同地点，垃圾投放点桶内垃圾存量满溢程度不同，需要环卫人员定点全区域清理，极大浪费政府垃圾清理资源。并且由于不能及时清理垃圾，造成投放的垃圾溢出，严重影响市容。

(4)缺少故障自检功能，设备维护性差。对设备的维护主要依赖于维修人员定时定点巡视检查，既需要大量时间去对整体进行一一故障排查，又需要检查每个设备的全部模块，缺乏智能化定制化的故障排查流程，极大浪费维护人员的检修成本，导致维护效率低下。

基于以上的问题，亟需一种新的垃圾智能分类与管理系统。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种垃圾智能分类与管理系统及垃圾分类识别方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种垃圾智能分类与管理系统，包括主板控制器、图像识别模块、语音交互模块、驱动与检测模块、远程通讯模块以及远程监控和管理中心；

主板控制器主要由嵌入式微控制器、自检按钮、障类型指示灯与基本电路组成；

嵌入式微控制器，通过三个串行通信接口，分别与图像识别模块、语音交互模块和远程通讯模块连接；

嵌入式微控制器与图像识别模块连接，被配置为用于实现接收图像识别模块的识别结果信息数据；

嵌入式微控制器与语音交互模块连接，被配置为用于实现接收语音交互模块的语音识别信息数据，并控制产生相应的语音播报数据；

嵌入式微控制器与远程通讯模块连接，被配置为用于实现信息数据的远程无线传输功能；

同时，嵌入式微控制器通过通用I/O口与驱动与检测模块连接，根据图像识别信息向驱动与检测模块发送对应的控制信号，控制驱动与检测模块内的电机驱动模块转动，同时控制驱动与检测模块内的超声波检测模块的工作，实现垃圾桶内垃圾容量的检测；

另外，嵌入式微控制器通过I/O口与自检按钮和故障类型指示灯连接，通过自检按钮手动启动系统自检功能；

自检按钮，被配置为用于在远程自检和语音交互自检的功能失效情形下，诊断各模块是否正常工作；

故障类型指示灯，被配置为用于显示系统自检模块中的手动自检功能的故障结果信息；

基本电路，被配置为用于为整体系统提供电能和时钟信号；

图像识别模块主要由工业相机、微型计算机、光敏传感器和光源控制模块组成；

工业相机，通过USB接口与微型计算机连接，被配置为用于采集投入垃圾的图像数据，将视频数据传送给微型计算机；

微型计算机搭载基于人工智能的卷积分类神经网络图像识别算法，接受工业相机传送的视频数据，通过对视频数据进行分类识别，得到图像所属类别的识别信息数据，通过串口将图像识别信息数据发送至嵌入式微控制器；另外，微型计算机通过端口接收光敏传感器的数据，并根据数据控制光源控制模块实现光源的开启或关闭；

光敏传感器，被配置用于检测周围环境光线的明暗程度；

光源控制模块，被配置为用于在光亮不足时，开启光源，使工业相机获取清晰的图像；

语音交互模块主要由语音识别和合成模块、麦克风与扬声器组成；

语音识别和合成模块，通过端口与嵌入式微控制器连接，搭载语音识别单元与语音合成单元，被配置为用于接收麦克风采集的音频数据，通过语音识别单元进行语音识别，得到语音识别信息，并发送至嵌入式微控制器；接收嵌入式微控制器发送的语音播报数据，通过语音合成单元合成音频数据，并将音频数据发送至扬声器，完成语音交互；

麦克风，通过端口，与语音识别与合成模块连接，被配置为用于采集音频数据，并将音频数据发送至语音识别与合成模块；

扬声器，通过端口，与语音识别与合成模块连接，被配置为用于接收语音识别与合成模块发送的音频数据，输出语音；

驱动与检测模块主要由电机驱动模块与超声波检测模块组成；

电机驱动模块，通过端口与嵌入式微控制器连接，被配置为用于接收嵌入式微控制器发出的脉冲宽度调制波，控制电机驱动模块转动；

超声波检测模块，通过端口与嵌入式微控制器连接，被配置为用于记录超声波发出与返回持续的时间，计算桶内容量距离数据，将测量结果发送至嵌入式微控制器；

远程通讯模块由无线4G通讯模块构成，通过端口与嵌入式微控制器连接，被配置为用于和远程监控和管理中心进行远程的数据双向传输，以实现远程自检和信息管理功能；

远程监控和管理中心，包括网络交换机与监控和管理软件；监控和管理软件，被配置为用于实现远程自检或相关信息管理功能；

系统启动后，通过光敏传感器，检测工作环境内光线的明暗程度，如果亮度达不到要求，打开光源进行光源补正；接着开启工业相机，采集视频，将视频数据通过USB接口传入微型计算机，微型计算机根据图像处理结果首先判断是否有待检垃圾，若没有，则重复上述循环；若有，经由图像识别算法得到垃圾分类信息数据，通过串口将垃圾分类信息数据传入嵌入式微控制器；嵌入式微控制器根据垃圾分类信息数据，生成语音播报分类信息，并将语音播报分类信息数据传入语音识别与合成模块，产生对应的音频信号，并将音频信号送入扬声器，扬声器接收语音识别与合成模块发送的音频信号，输出分类信息的语音；同时，嵌入式微控制器根据垃圾分类信息数据，产生对应的脉冲宽度调制信号，并传入电机驱动模块，控制电机驱动模块转动，完成垃圾的自动分类投放；完成垃圾投放后，紧接着，嵌入式微控制器通过超声波检测模块，对此时桶内容量进行测量，得到容量数据；然后，控制电机驱动模块使得垃圾投放装置回初始位，接着嵌入式微控制器通过远程通讯模块将空间数据发送到远程监控和管理中心，从而实现了垃圾的自动分类投放和管理。

优选地，嵌入式微控制器选择stm32f103；微型计算机选择树莓派4b；无线4G通讯模块选择LTE无线通信模块LE922A6；工业相机选择具有USB3.0数据接口的500万像素工业相机；电机驱动模块选用L298N电机驱动模块；超声波检测模块采用HC-SR04；语音识别和合成模块选择XFMT-101语音模块。

此外，本发明还提到一种垃圾分类识别方法，该方法采用如上所述的一种垃圾智能分类与管理系统，按照如下步骤进行：

步骤1：通过工业相机截取未投放垃圾时，垃圾桶内投放区域的图像，并作为模板图像进行储存；

步骤2：系统运行时使用模板匹配算法，实时对垃圾投放区域图像与模板图像进行对比，如果对比结果相同，则循环执行步骤2，等待垃圾投入；如果对比结果不同，则证明此时有垃圾投入，执行步骤3；

步骤3：初始化图像迁移学习算法，对采集图像使用迁移学习算法进行特征提取，储存图像特征信息，以供后面神经网络进行分类识别；

步骤4：将图像特征信息输入到已训练完毕的分类神经网络，得到分类结果，为识别投放垃圾的种类，设置累加算法，统计一定时间内最大概率的分类结果，并作为此垃圾分类识别结果；

步骤5：输出分类识别结果信息，并延迟等待电机驱动模块对垃圾的自动分类投放，投放完毕后，初始化整体网络，再次重复步骤1-步骤5。

此外，本发明还提到一种自检方法，该方法采用如上所述的一种垃圾智能分类与管理系统，按照如下步骤进行：

进行系统自检时，首先通过远程监控和管理中心向系统发送远程自检命令；

若远程通讯正常，按如下流程进行远程自检操作：主板控制器通过端口依次向图像识别模块、驱动与检测模块以及语音交互模块发送信息，并依次收集上述模块的回馈信息，若相应模块有信息反馈，则说明该模块工作正常；若未接收到回馈信息，则说明该模块存在故障，最后将自检结果无线传回远程监控和管理中心；

若远程通讯有故障，通知工作人员到现场，首先进行现场语音交互自检；

若语音交互模块工作正常，按如下流程进行操作：通过特定的语音开启自检功能，主板控制器通过端口依次向图像识别模块和驱动与检测模块发送信息，并依次收集上述模块的回馈信息，若有信息反馈，则说明该模块工作正常；若未接收到回馈信息，则说明该模块存在故障，最后以语音播报的形式反馈自检结果；

若语音交互模块工作不正常，则进行现场手动自检，按如下流程进行操作：手动触发自检按钮后，主板控制器通过端口依次向图像识别模块和驱动与检测模块发送信息，并依次收集上述模块的回馈信息，若有信息反馈，则说明该模块工作正常；若未接收到回馈信息，则说明该模块存在故障，最后以故障类型指示灯的形式反馈自检结果。

本发明所带来的有益技术效果：

本发明通过人工智能技术对投放垃圾进行视觉识别，根据识别信息控制电机驱动模块，精确和智能化的完成对垃圾的自动分类投放，减轻居民垃圾分类负担，促进居民转变现有垃圾投放的行为方式；同时通过语音交互功能，向居民科普垃圾分类相关知识，解答居民关于垃圾分类相关知识的困惑问题，提升我国居民的环境保护与节约资源的意识；通过超声波容量检测技术，实时测量垃圾桶内容量状态，将容量数据发送至远程监控和管理中心，帮助环卫人员远端实时监控各垃圾投放点桶内垃圾容量满溢程度，实现信息化管理；通过设置系统故障自检功能，智能化并动态展示系统的工作状态和故障类型，提升垃圾智能分类系统的维护效率。

附图说明

图1为垃圾智能分类与管理系统结构示意图。

图2为一种投入垃圾的自动分类操作流程图。

图3为一种语音交互功能操作流程图。

图4为一种自检功能操作流程图。

图5为一种关于远程自检功能、语音交互自检功能与手动自检功能的操作流程图。

图6为一种垃圾分类识别方法流程图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

实施例1：

如图1所示，一种垃圾智能分类与管理系统，包括主板控制器、图像识别模块、语音交互模块、驱动与检测模块、远程通讯模块以及远程监控和管理中心；

本系统以主板控制器为核心，主板控制器主要由嵌入式微控制器、自检按钮、障类型指示灯与基本电路组成；

嵌入式微控制器，通过三个串行通信接口，分别与图像识别模块、语音交互模块和远程通讯模块连接；

嵌入式微控制器与图像识别模块连接，被配置为用于实现接收图像识别模块的识别结果信息数据；

嵌入式微控制器与语音交互模块连接，被配置为用于实现接收语音交互模块的语音识别信息数据，并控制产生相应的语音播报数据；

嵌入式微控制器与远程通讯模块连接，被配置为用于实现信息数据的远程无线传输功能；

同时，嵌入式微控制器通过通用I/O口与驱动与检测模块连接，根据图像识别信息向驱动与检测模块发送对应的控制信号，控制驱动与检测模块内的电机驱动模块转动，同时控制驱动与检测模块内的超声波检测模块的工作，实现垃圾桶内垃圾容量的检测；

另外，嵌入式微控制器通过I/O口与自检按钮和故障类型指示灯连接，通过自检按钮手动启动系统自检功能；

自检按钮，被配置为用于在远程自检和语音交互自检的功能失效情形下，诊断各模块是否正常工作；

故障类型指示灯，被配置为用于显示系统自检模块中的手动自检功能的故障结果信息；

基本电路，被配置为用于为整体系统提供电能和时钟信号；

图像识别模块主要由工业相机、微型计算机、光敏传感器和光源控制模块组成；

工业相机，通过USB接口与微型计算机连接，被配置为用于采集投入垃圾的图像数据，将视频数据传送给微型计算机；

微型计算机搭载基于人工智能的卷积分类神经网络图像识别算法，接受工业相机传送的视频数据，通过对视频数据进行分类识别，得到图像所属类别的识别信息数据，通过串口将图像识别信息数据发送至嵌入式微控制器；另外，微型计算机通过端口接收光敏传感器的数据，并根据数据控制光源控制模块实现光源的开启或关闭；

光敏传感器，被配置用于检测周围环境光线的明暗程度；

光源控制模块，被配置为用于在光亮不足时，开启光源，使工业相机获取清晰的图像；

语音交互模块主要由语音识别和合成模块、麦克风与扬声器组成；

语音识别和合成模块，通过端口与嵌入式微控制器连接，搭载语音识别单元与语音合成单元，被配置为用于接收麦克风采集的音频数据，通过语音识别单元进行语音识别，得到语音识别信息，并发送至嵌入式微控制器；接收嵌入式微控制器发送的语音播报数据，通过语音合成单元合成音频数据，并将音频数据发送至扬声器，完成语音交互；

麦克风，通过端口，与语音识别与合成模块连接，被配置为用于采集音频数据，并将音频数据发送至语音识别与合成模块；

扬声器，通过端口，与语音识别与合成模块连接，被配置为用于接收语音识别与合成模块发送的音频数据，输出语音；

驱动与检测模块主要由电机驱动模块与超声波检测模块组成；

电机驱动模块，通过端口与嵌入式微控制器连接，被配置为用于接收嵌入式微控制器发出的脉冲宽度调制波，控制电机驱动模块转动；

超声波检测模块，通过端口与嵌入式微控制器连接，被配置为用于记录超声波发出与返回持续的时间，计算桶内容量距离数据，将测量结果发送至嵌入式微控制器；

远程通讯模块由无线4G通讯模块构成，通过端口与嵌入式微控制器连接，被配置为用于和远程监控和管理中心进行远程的数据双向传输，以实现远程自检和信息管理功能；

远程监控和管理中心，包括网络交换机与监控和管理软件；监控和管理软件，被配置为用于实现远程自检或相关信息管理功能。

嵌入式微控制器选择stm32f103；微型计算机选择树莓派4b；无线4G通讯模块选择LTE无线通信模块LE922A6；工业相机选择具有USB3.0数据接口的500万像素工业相机；电机驱动模块选用L298N电机驱动模块；超声波检测模块采用HC-SR04；语音识别和合成模块选择XFMT-101语音模块。

以风景区场景内的垃圾分类为例说明本发明的实施方式，每次只能投放一种垃圾。

实施例2：实现对投入垃圾的自动分类投放并语音播报识别结果，同时远程监控垃圾桶容量。图2为一种投入垃圾的自动分类的操作流程图。

本系统的垃圾分类工作流程如图2所示，系统启动后，通过光敏传感器，检测工作环境内光线的明暗程度，如果亮度达不到要求，打开光源进行光源补正；接着开启工业相机，采集视频，将视频数据通过USB接口传入微型计算机，微型计算机根据图像处理结果首先判断是否有待检垃圾，若没有，则重复上述循环；若有，经由图像识别算法得到垃圾分类信息数据，通过串口将垃圾分类信息数据传入嵌入式微控制器；嵌入式微控制器根据垃圾分类信息数据，生成语音播报分类信息，并将语音播报分类信息数据传入语音识别与合成模块，产生对应的音频信号，并将音频信号送入扬声器，扬声器接收语音识别与合成模块发送的音频信号，输出分类信息的语音；同时，嵌入式微控制器根据垃圾分类信息数据，产生对应的脉冲宽度调制信号，并传入电机驱动模块，控制电机驱动模块转动，完成垃圾的自动分类投放；完成垃圾投放后，紧接着，嵌入式微控制器通过超声波检测模块，对此时桶内容量进行测量，得到容量数据；然后，控制电机驱动模块使得垃圾投放装置回初始位，接着嵌入式微控制器通过远程通讯模块将空间数据发送到远程监控和管理中心，从而实现了垃圾的自动分类投放和管理。

实施例3：使用语音交互功能向居民科普垃圾分类的知识

本系统的语音交互工作流程如图3所示，语音唤醒后，通过麦克风，对输入声音进行音频信号采集，并将音频信号传入语音识别和合成模块中的语音识别单元，进行语音识别，识别信息最终被传入嵌入式微控制器；嵌入式微控制器根据语音识别信息，产生对应的语音播报信息，并通过端口将其发送至语音识别和合成模块中的语音合成单元；最终通过扬声器输出语音，完成语音交互。如一种具体操作：

比如被询问“苹果皮是什么垃圾？”，经由麦克风进行音频采集，并送入语音交互模块中的语音识别单元，识别结果被送入嵌入式微控制器，嵌入式微控制器产生相应的应答语音信息，应答语音信息被送到语音合成单元，进而通过扬声器输出“苹果皮是湿垃圾”；实现垃圾分类的知识的科普。

实施例4：实现系统自检功能

图4为提供了一种自检功能操作流程图。

图5为提供了一种关于远程自检功能，语音交互自检功能与手动自检功能的操作流程图。

自检功能根据系统的情况按如图4和图5所示流程进行。进行系统自检时，如图4所示，首先通过远程监控和管理中心向系统发送远程自检命令，若远程通讯正常，按如图5(a)所示的流程进行远程自检操作：主控制板依次通过端口向图像处理模块、驱动与检测模块与语音交互模块发送信息，并以次收集上述模块的回馈信息，若相应模块有信息反馈，则说明该单元模块工作正常；若未接收到回馈信息，则说明该单元模块存在故障，最后将自检结果无线传回远程监控和管理中心；若远程通讯有故障，通知工作人员到现场，首先进行现场语音交互自检，若语音交互模块工作正常，按图5(b)所示的流程进行操作，通过特定的语音开启自检功能，主控制板依次通过端口向图像处理模块、驱动与检测模块发送信息，并以次收集上述模块的回馈信息，若有信息反馈，则说明该单元模块工作正常；若未接收到回馈信息，则说明该单元模块存在故障，最后以语音播报的形式反馈自检结果；若语音交互模块工作不正常，则进行现场手动自检，如图5(c)操作，手动触发自检按钮后，主控制板通过端口向图像处理模块，驱动与检测模块发送信息，并以次收集回馈信息，若有信息反馈，则说明该单元模块工作正常；若未接收到回馈信息，则说明该单元模块存在故障，最后以故障类型指示灯的形式反馈自检结果。

实施例5

在上述实施例的基础上，本发明还提到一种垃圾分类识别方法，其流程如图6所示，按照如下步骤进行：

步骤1：通过工业相机截取未投放垃圾时，垃圾桶内投放区域的图像，并作为模板图像进行储存；

步骤2：系统运行时使用模板匹配算法，实时对垃圾投放区域图像与模板图像进行对比，如果对比结果相同，则循环执行步骤2，等待垃圾投入；如果对比结果不同，则证明此时有垃圾投入，执行步骤3；

步骤3：初始化图像迁移学习算法，对采集图像使用迁移学习算法进行特征提取，储存图像特征信息，以供后面神经网络进行分类识别；

步骤4：将图像特征信息输入到已训练完毕的分类神经网络，得到分类结果，为识别投放垃圾的种类，设置累加算法，统计一定时间内最大概率的分类结果，并作为此垃圾分类识别结果；

步骤5：输出分类识别结果信息，并延迟等待电机驱动模块对垃圾的自动分类投放，投放完毕后，初始化整体网络，再次重复步骤1-步骤5。

垃圾智能分类与管理系统及垃圾分类识别方法，利用人工智能技术对投放垃圾进行视觉识别，根据识别信息控制电机驱动模块，精确和智能化的完成对垃圾的自动分类投放，减轻居民垃圾分类负担，促进居民转变现有垃圾投放的行为方式；同时搭载智能语音技术，通过语音交互功能向居民科普垃圾分类知识，提升我国居民的环境保护与节约资源的意识；通过超声波容量检测技术，实时测量垃圾桶内容量状态，将容量数据发送远程监控和管理中心，帮助环卫人员远端实时监控各垃圾投放点桶内垃圾容量满溢程度，实现信息化管理；通过设置系统故障自检功能，智能化并动态展示系统的工作状态和故障类型，提升垃圾智能分类与管理系统的维护效率。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。