具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于深度学习的垃圾分类投放智能监管系统及方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

实施例一

请参见图1，图1是本发明实施例提供的一种基于深度学习的垃圾分类投放智能监管系统的结构框图。如图所示，本实施例的基于深度学习的垃圾分类投放智能监管系统，包括：用户登录模块1、控制模块2、图像采集模块3、第一检测模块4、远程数据处理模块5和用户积分系统6，其中，

用户登录模块1，用于接收用户登录信息，并将用户登录信息与用户积分系统6中的用户信息进行匹配；

第一检测模块4，用于检测垃圾箱的投放口的状态，

当检测到垃圾箱的投放口打开时，向控制模块2发送第一控制信号，以使控制模块2根据第一控制信号控制图像采集模块3采集垃圾投放前垃圾箱内的第一图像信息；

当检测到垃圾箱的投放口关闭时，向控制模块2发送第二控制信号，以使控制模块2根据第二控制信号控制图像采集模块3采集垃圾投放后垃圾箱内的第二图像信息；

控制模块2，还用于将第一图像信息和第二图像信息传输至远程数据处理模块5，远程数据处理模块5用于判断垃圾分类是否正确，得到判断结果，并将判断结果发送至用户积分系统6；

用户积分系统6，用于根据判断结果对用户的积分信息进行更新。

在本实施例中，用户信息包括用户注册信息、与用户注册信息关联的QR识别码和积分信息。

可选地，用户登录模块1采用QR识别码登录，用户投放垃圾前，首先扫描QR识别码，生成用户登录信息，用户登录信息与用户积分系统6中的用户注册信息进行匹配，匹配成功后，锁定用户。

可选地，控制模块2采用Smart200PLC和电磁开关组成。

可选地，图像采集模块3包括摄像机301和环形补光灯302，在本实施例中，摄像机301和环形补光灯302安装在垃圾箱的箱体上方，方便采集垃圾箱内的图像信息。

可选地，第一检测模块4可采用开关电路模块，当垃圾箱的投放口打开时，开关关断，电路中的电信号发生改变，传感器发出第一控制信号。当检测到垃圾箱的投放口关闭时，开关闭合，电路中的电信号发生改变，传感器发出第二控制信号。

在其他实施例中，第一检测模块4也可以采用光传感器或是红外线传感器，可以实现检测垃圾箱的投放口的状态即可，具体结构在此不做限制。

进一步地，请参见图4，图4是本发明实施例提供的远程数据处理模块的结构框图，如图所示，在本实施例中，远程数据处理模块5包括图像预处理单元501、垃圾分类模型502和判断单元503。

其中，图像预处理单元501，用于根据第一图像信息和第二图像信息，得到第三图像信息，并根据第三图像信息，判断是否投放垃圾。当判断投放垃圾时，垃圾分类模型502对第三图像信息进行分类处理，得到垃圾分类结果，判断单元503根据垃圾分类结果和预设的垃圾箱信息，判断垃圾分类是否正确，得到判断结果。

具体地，在本实施例中，图像预处理单元501将第一图像信息和第二图像信息进行相减，以检测出两幅图像的图像差异信息，并对相减后的图像差异信息进行滤波和图像增强处理，得到第三图像信息。当第一图像信息和第二图像信息之间存在差异，则判断有投放垃圾，当第一图像信息和第二图像信息之间没有差异，则判断没有投放垃圾。

进一步地，第三图像信息输入至垃圾分类模型502中得到垃圾分类结果，在本实施例中，垃圾分类结果包括可回收垃圾、有害垃圾、厨余垃圾或其他垃圾。具体地，请参见图5，图5是本发明实施例提供的垃圾分类模型的结构框图。如图所示，垃圾分类模型502通过对神经网络模型训练得到，垃圾分类模型502包括依次连接的图像特征提取单元5021、图像特征注意单元5022和概率计算单元5023。

在本实施了中，图像特征提取单元5021用于对应垃圾的具体特征进行学习，并同时提取特征至图像特征注意单元5022，图像特征注意单元5022用于对提取的特征进行特征拼接并对其进行注意力学习，确保模型更加关注对应垃圾的特征，同时排除图像背景噪声干扰，概率计算单元5023对学习到的垃圾注意力特征进行概率学统计计算，最终得到垃圾分类结果及准确分类的概率值。

需要说明的是，在模型训练过程中，使用随机梯度下降法作为网络优化器，交叉熵函数作为网络损失函数，通过不断迭代，直至模型收敛，最终得到一组权重最优的固化神经网络模型。具体训练方法与现有的模型训练方法类似，在此不再赘述。

进一步地，请参见图6，图6是本发明实施例提供的垃圾分类模型的结构示意图。如图所示，本实施例的垃圾分类模型由3个卷积层，3个池化层、1个特征拼接层、4个密集跳跃连接层、3个注意力机制层、6个BN层、1个softmax层组成，其中2个密集跳跃连接层之间包括1个注意力机制层，每个卷积层后接1个池化层、1个归一化层。

3个独立卷积层的卷积核大小分别为3x3、5x5、7x7，根据卷积核大小的不同，对不同大小的垃圾进行针对性的体征提取。特征拼接层将3个独立卷积层的输出以通道叠加的方式进行特征融合。池化层主要负责对提取的大量特征参数进行筛选，保留明显的特征参数，减小运算参数，提高运算速度。归一化层对特征参数进行归一化处理，使得特征参数具有相似的特征分布，有利于模型快速收敛，提高模型泛化能力。

密集跳跃连接层由4个卷积层组成，卷积层后接1个ReLU激活函数、1个归一化层。每一层卷积层经过ReLU激活函数后的输出都通过直连通道与后续跳跃连接层的卷积层相连，以特征连接层将两个卷积层的输出进行特征融合。通过密集跳跃连接层将深层特征与浅层特征进行高效融合，使得特征既具有深层特征的高级信息，又含有浅层特征的图像全局性，能够避免模型因为网络深度过深导致的梯度爆炸与梯度弥散。

注意力机制层使用注意力算法提取特征的空间注意力、通道注意力，并将空间注意力、通道注意力叠加到特征图中，为特征图增加了空间注意力、通道注意力。通过增加的空间、通道注意力可以引导模型的学习方向，注重学习垃圾图像的特有特征。

进一步地，判断单元503内预存有垃圾箱信息，其中，垃圾箱信息为该垃圾箱的类型，垃圾箱的类型包括可回收垃圾箱、有害垃圾箱、厨余垃圾箱和其他垃圾箱。若垃圾分类结果与垃圾箱的类型一致，那么，投放正确，若垃圾分类结果与垃圾箱的类型步一致，那么，投放错误。

进一步地，若投放正确，给予用户200积分奖励，用户积分系统6更新用户的积分信息，若投放错误，扣除用户的200积分，用户积分系统6更新用户的积分信息。

需要说明的是，远程数据处理模块5和用户积分系统6均设置在云端服务器中。

本实施例的基于深度学习的垃圾分类投放智能监管系统，能够解决传统人工值守下的垃圾分类方式，规避人工监管分类的诸多不足，设置的远程数据处理模块基于深度学习可以智能识别垃圾类别，实现了自动化垃圾分类监管。通过设置的用户积分系统，采用积分奖罚形式可以提高居民垃圾分类的自觉性。

实施例二

进一步地，请结合参见图2和图3，图2是本发明实施例提供的另一种基于深度学习的垃圾分类投放智能监管系统的结构框图，图3是本发明实施例提供的另一种基于深度学习的垃圾分类投放智能监管系统的结构示意图。如图所示，与实施例一相比，本实施例的基于深度学习的垃圾分类投放智能监管系统，还包括第二检测模块7和显示模块8，其中，

第二检测模块7用于检测垃圾箱的垃圾装填质量信息和垃圾装填高度信息，并将垃圾装填质量信息和垃圾装填高度信息发送至控制模块2；响应于垃圾装填质量信息或垃圾装填高度信息达到预设的阈值，控制模块2发出报警信息。显示模块8用于显示用户信息、报警信息和垃圾分类结果。

在本实施例中，第二检测模块7包括超声波测距传感器701和质量传感器702，其中，声波测距传感器701用于检测垃圾箱的垃圾装填高度信息，质量传感器702用于检测垃圾箱的垃圾装填质量信息。可选地，超声波测距传感器701为AJ-SR04M超声波测距传感器，质量传感器702为HZC-H1高精度平面重量传感器。

在本实施中，超声波测距传感器701安装在垃圾箱箱体的上方，质量传感器702安装在垃圾箱箱体的底部。当超声波测距传感器701的检测值达到10cm(±0.2cm)，或者是质量传感器702的检测值达到300kg(±0.5％)时，控制模块2报警信息，并在显示模块8上显示。

值得说明的是，显示模块8上还可以显示QR识别码，方便用户扫描登录。

需要说明的是，对于实施例一和实施例二的垃圾分类投放智能监管系统，还包括电源模块(图中未示出)，可选地，电源模块主要包括，空气开关、熔断器、交流接触器和开关电源组成，用于为垃圾分类投放智能监管系统提供直流供电。

进一步地，对本实施例的基于深度学习的垃圾分类投放智能监管系统的工作过程进行说明如下：

第一步：智能垃圾分类投放监管系统初始化；

具体地，电源模块启动并开始供电，随后控制模块进行自检操作，硬件设备初始化完成，第二检测模块进入常驻工作状态，用于实时测量垃圾箱的垃圾装填质量信息和垃圾装填高度信息，云端服务器启动并进行开机自检，用户积分系统预加载完成。

当超声波测距传感器的检测值达到10cm(±0.2cm)或重量传感器的检测值达到300kg(±0.5％)时，控制模块发出报警信息。

第二步：用户登录；

具体地，用户投放垃圾前，扫描显示模块上的QR识别码，云端服务器接收用户登录信息系统后在用户积分系统中确认并锁定用户，锁定完成后置于等待状态，准备接收图像数据。

第三步：垃圾投放；

具体地，打开垃圾箱的投放口，当检测到垃圾箱的投放口打开时，第一检测模块向控制模块发送第一控制信号，控制模块触发图像检测模块，摄像机和环形补光灯开始工作，摄像机拍摄垃圾箱内照片，采集第一图像信息；

垃圾投放完成后，关闭垃圾箱的投放口，当检测到垃圾箱的投放口关闭时，向控制模块发送第二控制信号，控制模块再次触发图像检测模块，摄像机和环形补光灯开始工作，摄像机对投放后的箱垃圾内进行拍摄，采集第二图像信息。

然后控制模块将第一图像信息和第二图像信息传输至云端服务器。

第四步：数据处理；

具体地，云端服务器接收到第一图像信息和第二图像信息后，远程数据处理模块根据第一图像信息和第二图像信息，得到第三图像信息，以确认是否投放垃圾，若判断投放垃圾，则对第三图像信息进行垃圾分类处理，准确识别出投放垃圾的种类，然后判断是否投放正确，并将判断结果传输至用户积分系统。

第五步：用户积分系统更新数据。

用户积分系统获得最终判断结果，若投放正确，用户积分系统将给予用户200积分的奖励，若投放错误将扣除200积分直到归0。更新数据后用户积分系统将更新后的用户信息返回显示模块显示。用户确认后系统退出，返回初始化状态。

实施例三

本实施例提供了一种基于深度学习的垃圾分类投放智能监管方法，请参见图7，图7是本发明实施例提供的基于深度学习的垃圾分类投放智能监管方法的流程图，如图所示，本实施例的方法包括：

将用户登录信息与用户积分系统中的用户信息进行匹配，匹配成功后锁定用户；

根据接收的第一控制信号控制图像采集模块采集垃圾投放前垃圾箱内的第一图像信息，其中，第一控制信号为第一检测模块检测到垃圾箱的投放口打开时发送的信号，

根据接收的第二控制信号控制图像采集模块采集垃圾投放后垃圾箱内的第二图像信息，其中，第二控制信号为第一检测模块检测到垃圾箱的投放口关闭时发送的信号。

将第一图像信息和第二图像信息传输至远程数据处理模块，以判断垃圾分类是否正确，得到判断结果；

响应于得到的判断结果对用户的积分信息进行更新。

在本发明的一个实施例中，该方法还包括：获取垃圾箱的垃圾装填质量信息和垃圾装填高度信息，响应于垃圾装填质量信息或垃圾装填高度信息达到预设的阈值，发出报警信息。

实施例四

对实施例一和实施例二中的垃圾分类投放智能监管系统的垃圾分类模型的有效性进行了验证，本实施例采用评价指标准确率(Acc)、精确率(P)、和召回率(R)对模型进行评价，其计算公式如下：

其中，准确度表示分类结果中分类正确样本数占总样本数的比例，召回率代表总样本中的正例中分类正确的样本比例，精确度代表预测为正类的样本中正例所占的比例。其中，Acc、P、R均由检测样本混淆矩阵中的TP：真阳性，TN：真阴性，FP：假阳性，FN：假阴性指标决定。

针对可回收垃圾、有害垃圾、厨余垃圾、其他垃圾四大类进行垃圾分类模型训练，使用300张四类垃圾图像进行测试，得到如下混淆矩阵，

计算得到垃圾分类模型总体准确率为96％，精确率为95％，召回率为96％。具体各个类别精确率、召回率如图8所示，图8是本发明实施例提供的垃圾分类模型的评价指标结果图。

另外，将本实施例的垃圾分类投放智能监管系统投放在住宅小区内，测得多类别垃圾图像1800张，通过人工复检检验，该垃圾分类模型的准确率约为90％。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。