具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了本申请一种用于垃圾回收的全流程管理方法的流程图。

如图1所示，本申请公开了一种用于垃圾回收的全流程管理方法，包括以下步骤：

S102，构建非标数据的标准化、统一化、准确化以及复用化；

S104，采用Spark作为数据计算核心，结合Hadoop集群的分布式存储与计算来实现对数据的运算；

S106，按照数据类型对各业务数据进行分类存储；

S108，提供支持服务以支撑各种数据的应用以及拓展服务接口；

S110，对数据进行预测预判以及数据归因；

S112，提供外部需求数据的API接口。

图2示出了本发明一种用于垃圾回收的全流程管理系统的框图。

如图2所示，本发明公开了一种用于垃圾回收的全流程管理系统20，所述系统包括：

数据治理模块21，用于构建非标数据的标准化、统一化、准确化以及复用化；

数据计算模块22，用于采用Spark作为数据计算核心，结合Hadoop集群的分布式存储与计算来实现对数据的运算；

数据存储模块23，用于按照数据类型对各业务数据进行分类存储；

数据资产模块24，用于提供支持服务以支撑各种数据的应用以及拓展服务接口；

大数据预测模块25，用于对数据进行预测预判以及数据归因；

数据共享模块26，用于提供外部需求数据的AP I接口。

需要说明的是，首先，搭建所述数据治理模块21，以构建非标数据的标准化、统一化、准确化以及复用化，以降低业务人员学习成本，制定统一的标准，从源头上解决数据定义不同的问题，实现不同人员对业务数据理解的一致性，提升实施效率；再构建所述数据计算模块22，采用Spark作为数据计算的核心组件，结合Hadoop集群的分布式存储和计算能力，解决海量数据运算的场景，通过实时联动，实时反馈，使得整个系统更具有即时性前瞻性、高效率的特点。

进一步地，构建所述数据存储模块23，按照不同数据类型对各业务系统、外部数据等进行统一存储，其中，数据储存与前台系统以及可视化大屏连通，便于进行数据调用与显示；构建所述数据资产模块24，以支撑各种数据的应用，并且丰富服务接口拓展，支持决策支持，最终实现数据资产价值最大化；再构建所述大数据预测模块25，可在数据体系化的基础上，实现数据预测预判，数据归因，使业务具有前瞻性和风险可控性；最后构建所述共享模块26，可以提供外部需求数据的API接口，以进行统一管理减少开发量。

根据本发明实施例，所述数据治理模块21包括：

元数据管理单元211，所述元数据管理单元用于对基础库和主题库中的数据项属性进行管理，并且将对应的相关业务的属性含义进行关联；

数据标准单元212，用于制定统一的标准，将不同口径的数据标准化；

数据质量单元213，用于校验数据，并将校验结果发送给对应的接收端；

数据安全单元214，用于对数据的安全性进行多重校验和监控。

需要说明的是，所述元数据管理单元211用于对所述基础库和所述主题库中的数据项属性的管理，并且关联相关业务含义；所述数据标准单元212，用于制定统一的标准，将不同口径的数据标准化，避免数据定义不同的产生，实现不同人员对业务数据理解的一致性，提升实施效率；所述数据质量单元213用于自动化校验数据，同时将校验结果智能推送至相关部门，以快速定位问题，及时帮助使用者解决问题；所述数据安全单元214贯穿于数据的全生命周期，对数据的安全性进行多重校验和监控。

值得一提的是，在自动校验数据时，通过比对当前接收到的数据与数据库里对应的数据是否有出入，若存在错误，则将校验结果为“错误”发送给对应的接收部门，并同时输出报警提醒，以快速定位问题，及时帮助使用者解决问题。

根据本发明实施例，所述数据计算模块22包括:

实时处理单元221，用于对数据进行实时计算以及实时展示；

离线计算单元222，用于对批量数据、周期性批量数据进行计算和展示；

流式计算单元223，用于对实时产生的数据进行传输、计算和展示。

需要说明的是，所述实时处理单元221用于对数据进行实时计算以及实时展示，以进行实时联动；所述离线计算单元222用于对批量数据、周期性批量数据进行计算和展示，以进行预测测算逻辑；所述流式计算单元223用于对实时产生的数据进行传输、计算和展示，以进行实时反馈。

根据本发明实施例，所述数据存储模块23包括：

主题库单元231，用于实现拆解业务按照不同的主题域进行划分，进而将同一类业务的数据进行集成；

资源库单元232，用于实现资源的集成；

原始库单元233，用于实现基础数据的集成。

需要说明的是，所述主题库单元231用于实现拆解业务按照不同的主题域进行划分，进而将同一类业务的数据进行集成，其中，所述主题库包括功能主体库以及部门主题库；所述资源库单元232用于实现资源的集成；所述原始库单元233用于实现基础数据的集成。

根据本发明实施例，所述数据资产模块24包括：

数据目录单元241，用于提供查询与推荐，以满足数据使用者的需求；

数据标签单元242，用于对业务实体进行标签化，通过从不同维度进行刻画，其中，所述数据标签单元包括标签分类、标签更新、标签权限、标签逻辑修改以及标签下线；

数据地图单元243，用于以图形化形式将全流程数据进行可视化展示。

需要说明的是，所述数据目录单元241可对数据进行目录的新增、编辑、修改和删除以及查询，实现智能查询和推荐，快速满足数据使用者的需求；所述数据标签单元242，可对业务实体进行标签化，通过不同维度刻画实；所述数据地图单元243用于以图形化形式展示数据的全流程管理，可帮助开发人员可业务人员快速了解企业的数据情况、数据如何存储、数据关系等。

根据本发明实施例，所述大数据预测模块25包括：

数据监测单元251，用于对数据的波动进行监测，并实时识别异常情况进行报警，同时通过预设阈值的调控实现对数据波动的即时性反馈，其中，所述数据监测包括内部业务检测以及城市数据监测；

数据分析单元252，用于对变量因素进行波动与权重两个角度的分析，从而进行因素影响度分析；

数据归因单元253，用于对数据结果进行归因分析，获取数据标签影响度，其中，所述数据标签影响度包括现有变量标签影响度以及未知变量标签影响度；

数据预测单元254，用于进行目标预测与资源合理性分配预测以及城市数据预测。

需要说明的是，所述数据监测单元251通过对数据波动的监测能够实现即时性反馈业务，并实时报警异常情况，通过预设阈值的调控实现偏差管理，有效监控业务风险，其中，所述预设阈值为经验值，可经人为修改，所述内部业务数据监测是对周期性、阶段性的数据进行曲线监测，所述城市数据监测是通过区域性、周期性数据，对外部对接数据进行监测，例如城市收集、无害化处理等外部对接数据监测。

进一步地，所述数据归因单元253可以对数据结果进行归因分析，通过对变量因素进行波动和权重分析，从而能够进行因素影响度分析，其中，所述现有变量标签影响度为历史的变量因素的记忆性分析，所述未知变量标签影响度为提前录入未知变量因素标签，如自然因素、人为因素；所述数据预测单元254可进行目标预测与资源合理性分配预测，其中，对于所述目标预测：通过对目标的周期性管理，对阶段性达成，目标达成预警，目标影响因素，目标潜在影响因素进行分析，对结果目标，过程性目标进行合理管理，如收集目标、分拣效率目标、成品库销售目标、无害化达成率目标、商业化目标等；所述资源合理性分配预测：可对各个环节的繁忙度进行调度管理，如服务站繁忙度、清运繁忙度、卸货繁忙度、车间繁忙度等，此外，还可对城市数据进行预测：通过历史数据积累，对城市和社区级别的数据进行预测，支持处理能力和资源投入的预判。

根据本发明实施例，所述数据共享模块26包括：

需求管理单元261，用于记录整合用户的需求信息，并抽象化所述需求信息进行管理；

开放平台单元262，用于提供技术支持以对接支撑业务；

API监控单元263，用于对API接口进行监控，包括对响应时长、可用性以及调度量的监控。

需要说明的是，所述数据共享模块26用于对内部或外部的接口需求进行申请、审核，其中，所述需求管理单元261类似于一个需求池，记录内部或者第三方的需求情况，对于需求进行管理，也是对需求进行整合汇总，抽象化需求，在现有资源充足的条件下，提前预判相关接口需求，优先开发接口列表为其他业务系统提供接口调用服务，并可以根据业务发展变化，支撑业务的后续扩展能力；所述开放平台单元262用于对API接口进行统一开放管理，提供技术支持以对接支撑业务；所述API监控单元用于对接口进行实时监管，对接口进行24小时无休监控，包括响应时长、可用性、调度量等，进行全局监控，出现异常情况时自动报警。

根据本发明实施例，所述系统还包括数据表功能，用于通过表格形式来实现回收全链路的数据显示。

需要说明的是，如图3所示，通过整合用户需求，通过业务维度、需求方、功能或部门对数据制定主题域，所述业务维度针对从用户下单——>虎哥回收——>物流接收全过程数据域的建设；所述需求方针对回收业务全流程中所涉及的重点部门数据域的建设；所述功能针对回收业务的相应的功能抽象成功能主题域；所述部门针对回收业务的相应的功能抽象成部门主题域。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种用于垃圾回收的全流程管理方法程序，所述用于垃圾回收的全流程管理方法程序被处理器执行时，实现如上述所述的一种用于垃圾回收的全流程管理方法的步骤。

本发明公开的一种用于垃圾回收的全流程管理方法、系统和可读存储介质，能够将非标的数据采用统一标准、标签等进行存储，降低人员学习成本，提高数据的复用性，减少重复开发量；并且可以对政府需要对垃圾分类目标和情况进行实时监管，对站点、车辆、车间等进行全流程监管；通过大量并发数据的实时计算、各类业务数据的离线或流式计算，为企业和政府提供高质量的数据决策平台；同时实现不同业务需求的输入和API的开发、监控及维护，在出现异常情况可实现自动报警，帮助技术人员快速定位问题解决问题，从而节约开发成本；最后利用大数据预测功能可实现资源投入的合理化。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。