发明内容

本发明所要解决的技术问题是提供一种在图像识别模块不能识别垃圾类别时，能够通过众包审核方式从外界获取垃圾识别结果，以保证垃圾分类投放的顺利进行，并且能够采用众包标注方式构建训练数据集，从而采用训练数据集对图像识别模块进行更新训练，保证图像识别模块识别准确性的基于众包智能的垃圾分类系统。

本发明解决上述技术问题所采用的技术方案为：一种基于众包智能的垃圾分类系统，包括箱体、控制模块、采集传输模块和云服务器，所述的云服务器上设置有图像识别模块，所述的箱体包括若干个标示有垃圾类别的子箱，每个所述的子箱处分别设置有用于识别是否有垃圾投放的传感器、用于接收投放垃圾的识别位置和在投放垃圾分类正确时用于将垃圾拨入子箱内的拨料装置，每个所述的传感器和每个所述的拨料装置分别与所述的控制模块连接，所述的采集传输模块由设置在每个所述的子箱上方的用于拍摄垃圾图像的摄像装置组成，每个所述的摄像装置分别与所述的控制模块连接，所述的控制模块和所述的云服务器通过无线网络进行通讯，所述的智能垃圾分类系统还包括人机交互界面、众包模块和数据管理模块，所述的人机交互界面能够用于投放者选择垃圾类别、刷卡进行身份验证以及显示垃圾投放相关信息，所述的人机交互界面与所述的控制模块连接，所述的图像识别模块和所述的众包模块均用于对投放垃圾进行分类识别，当投放者垃圾投放分类不准确或者投放垃圾中存在非同类垃圾混装时，所述的控制模块能通过所述的人机交互界面提醒投放者进行重新投放或者重新分类、所述的图像识别模块和所述的众包模块进行垃圾识别的优先级由高到低，所述的众包模块用于在所述的图像识别模块未能成功识别垃圾，投放者通过所述的人机交互界面申请远程协助时，以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查后给出识别结果；所述的数据管理模块与所述的图像识别模块连接，所述的众包模块包括众包审核子模块和众包标注子模块，所述的众包审核子模块与所述的图像识别模块连接，所述的众包标注子模块与所述的数据管理模块连接，所述的众包审核子模块用于以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查给出识别结果，所述的数据管理模块用于收集申请远程协助的投放垃圾图片并发布至所述的众包标注子模块中，所述的众包标注子模块用于将投放垃圾图片作为众包任务分发给具有标注资格的众包标注人员，众包标注人员接受众包任务后，从所述的众包标注子模块中预设的候选标签集合选择相应的标签对投放垃圾图片进行标注，得到附带有标签的图片，即图片标签，并发送给所述的数据管理模块，其中候选标签集合中的各标签分别代表各个垃圾类别，所述的数据管理模块基于投放垃圾图片以及图片标签来构建训练数据集提供给所述的云服务器，用于对所述的图像识别模块进行训练更新，所述的众包标注人员需要在所述的众包标注子模块中进行注册以取得标注资格，注册时需要写明其专业和兴趣，且所述的众包标注人员完成众包任务后生成的图片标签将作为其历史图片标签进行保存，每个众包标注人员的专业、兴趣和其历史图片标签构成其个人信息。

构建训练数据集的具体过程为：

S1、将已在所述的众包标注子模块中注册且具有历史图片标签的众包标注人员作为当前众包标注人员，统计当前众包标注人员的总数量，将其记为n，计算所有当前众包标注人员中每两个的相似度，将第r个当前众包标注人员与第t个当前众包标注人员之间的相似度记为w_rt，其中r,t∈{1,2…n}，且r≠t，采用公式(1)计算得到w_rt，

其中，N(r)为第r个当前众包标注人员的专业和兴趣的集合，N(t)为第t个当前众包标注人员的专业和兴趣集合，L(r)为第r个当前众包标注人员的历史图片标签中附带的标签的集合，L(t)为第t个当前众包标注人员的历史图片标签中附带的标签的集合，α和β分别为权重参数，取值范围均为[0,1]，符号∩为求两个集合的交集，符号||表示计算集合中元素的个数；

S2、对步骤S1得到的所有相似度进行排序，确定值最大的5个相似度，获取这5 个相似度相关的众包标注人员的历史图片标签对应的图片，采用这些图片构成待推荐图片集result，result中图片总数量记为S；

S3、将n个当前众包标注人员中第curr个当前众包标注人员的历史图片标签附带的标签构成的标签集记为L(curr)，curr∈{1,2…n}，将第curr个当前众包标注人员与待推荐图片集result中第a幅图片的相似度记为sim_curr,a，其中a∈{1,2…S}，采用公式(2) 计算得到sim_curr,a：

其中，L'(a)是待推荐图片集result中第a幅图片当前被标注的所有标签集合，符号 ||表示计算集合中元素的个数，x表示集合L'(a)与集合L(curr)的交集中的任意标签，∑为求和符号，num(x)是标签x在集合L'(a)中的出现次数，采用待推荐图片集result中相似度高于相似度阈值的图片构成最终推送图片数据集final,N为最终推送图片数据集final中图片的总数量，相似度阈值的取值范围为[0.3,0.5]，众包标注子模块将最终推送图片数据集final中的每一张图片分别推送给K个众包标注人员进行分类标注，K为整数，取值范围为[5,10]；

S4、K个众包标注人员分别对其收到的每一张图片进行标注，将此时得到的所有图片的标注结果称为众包数据集D，其中，x_i表示最终推送图片数据集 final的第i张图片，i∈{1,2…N}，Y_i表示x_i的标签集，由x_i被K个众包标注人员分别标注后得到的K个标签构成，y_ik表示第k个众包标注人员对x_i进行标注的标签，k∈{1,2…K}，该标签由第k个众包标注人员在众包标注子模块中预设的候选标签集合{y₁,y₂,…,y_c}中选定，c表示候选标签集合中标签的总类别，y_j表示候选标签集合中第j类标签，j∈{1,2…c}；

S5、统计Y_i中标签的类别数量，将其记为H_i，然后分别统计Y_i中各类标签出现的次数，将Y_i中每类类标签出现的次数分别除以K，得到Y_i中每类标签的出现频率，将Y_i中第h_i类标签的出现频率记为f_hi，h_i∈{1,2…H_i}，将第i张图片x_i的标注结果熵记为E_i， E_i采用公式(3)计算得到：

其中，log为取对数符号；

S6、确定最终推送图片数据集final的第i张图片x_i的标签集Y_i中出现次数最多的标签，将该标签作为最终推送图片数据集final的第i张图片x_i的过渡标签如果出现次数最多的标签存在两种或者两种以上，则随机选择一种标签作为过渡标签此时，最终推送图片数据集final中的每张图片分别对应一个过渡标签，采用最终推送图片数据集final中的图片及每张图片的过渡标签构建得到众包数据集

S7、采用3折交叉验证对众包数据集进行处理，即将众包数据集随机划分为3份，将三份分别称为第一份数据、第二份数据和第三份数据；采用第一份数据和第二份数据作为训练数据对使用Resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第三份数据中的每张图片进行预测，得到这些图片的预测标签；采用第二份数据和第三份数据作为训练数据对使用Resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第一份数据中的每张图片进行预测，得到这些图片的预测标签；采用第一份数据和第三份数据作为训练数据对使用Resnet34网络构建的分类器进行训练，然后采用训练后的分类器对第二份数据中的每张图片进行预测，得到这些图片的预测标签；由此得到最终推送图片数据集final中所有图片对应的预测标签，采用最终推送图片数据集 final中所有图片及所有图片对应的预测标签构成众包数据集 表示最终推送图片数据集final的第i张图片x_i的预测标签；

S8、将最终推送图片数据集final中每张图片的过渡标签和预测标签分别进行比对，如果某张图片的过度标签和预测标签一致，该图片的标注结果熵小于0.1，则选择该图片作为一幅训练图片，否则将该图片作为不满足条件的数据不选择，将此时得到的训练图片的总数量记为m，采用此时得到的m张训练图片构成训练数据集x'_z表示m张训练图片中第z张图片，y'_z为x'_z对应的过渡标签；

S9、采用训练数据集D'对使用Resnet34网络构建的分类器进行训练，得到训练后的分类器，然后采用该分类器对最终推送图片数据集final中未被选择的图片进行预测，得到这些图片的预测标签，未被选择的图片及其预测标签构成一组训练数据，然后将训练数据集D'与未被选择的图片及其预测标签构成的训练数据合并，得到最终的训练数据集。

与现有技术相比，本发明的优点在于通过设置人机交互界面、众包模块和数据管理模块，人机交互界面能够用于投放者选择垃圾类别、刷卡进行身份验证以及显示垃圾投放相关信息，人机交互界面与控制模块连接，图像识别模块和众包模块均用于对投放垃圾进行分类识别，当投放者垃圾投放分类不准确或者投放垃圾中存在非同类垃圾混装时，控制模块能通过人机交互界面提醒投放者进行重新投放或者重新分类、图像识别模块和众包模块进行垃圾识别的优先级由高到低，众包模块用于在图像识别模块未能成功识别垃圾，投放者通过人机交互界面申请远程协助时，以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查后给出识别结果；数据管理模块与图像识别模块连接，众包模块包括众包审核子模块和众包标注子模块，众包审核子模块与图像识别模块连接，众包标注子模块与数据管理模块连接，众包审核子模块用于以派发审核订单的形式进行任务分发给众包审核人员，进行垃圾投放分类的人工审查给出识别结果，数据管理模块用于收集申请远程协助的投放垃圾图片并发布至众包标注子模块中，众包标注子模块用于将投放垃圾图片作为众包任务分发给具有标注资格的众包标注人员，众包标注人员接受众包任务后，从众包标注子模块中预设的候选标签集合选择相应的标签对投放垃圾图片进行标注，得到附带有标签的图片，即图片标签，并发送给数据管理模块，其中候选标签集合中的各标签分别代表各个垃圾类别，数据管理模块基于投放垃圾图片以及图片标签来构建训练数据集提供给云服务器，用于对图像识别模块进行训练更新，众包标注人员需要在众包标注子模块中进行注册以取得标注资格，注册时需要写明其专业和兴趣，且众包标注人员完成众包任务后生成的图片标签将作为其历史图片标签进行保存，每个众包标注人员的专业、兴趣和其历史图片标签构成其个人信息，由此本发明在图像识别模块不能识别垃圾类别时，能够通过众包审核方式从外界获取垃圾识别结果，以保证垃圾分类投放的顺利进行，并且能够采用众包标注方式构建训练数据集，从而采用训练数据集对图像识别模块进行更新训练，保证图像识别模块识别准确性。