一种基于广告业务的数据处理方法、系统、装置及介质

文档序号:1937614 发布日期:2021-12-07 浏览:8次 >En<

阅读说明:本技术 一种基于广告业务的数据处理方法、系统、装置及介质 (Data processing method, system, device and medium based on advertisement service ) 是由 王梓任 刘伟科 韩卫召 于 2021-01-29 设计创作,主要内容包括:本发明实施例公开了一种基于广告业务的数据处理方法、系统、装置及介质。该方法包括:获取广告业务系统发送的待处理业务数据,并确定所述待处理业务数据对应的数据内容;基于所述数据内容,确定数据处理系统中与所述待处理业务数据对应的目标数据存储系统;将所述待处理业务数据存储到所述目标数据存储系统中,以使与所述目标数据存储系统对应的数据分析系统对所述目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在所述目标数据存储系统中。本发明实施例解决了数据存储系统和数据分析系统之间需要进行离线传输的问题,提高了数据分析的效率。(The embodiment of the invention discloses a data processing method, a system, a device and a medium based on advertisement service. The method comprises the following steps: acquiring to-be-processed service data sent by an advertisement service system, and determining data content corresponding to the to-be-processed service data; determining a target data storage system corresponding to the to-be-processed business data in a data processing system based on the data content; and storing the service data to be processed into the target data storage system, so that a data analysis system corresponding to the target data storage system performs data analysis processing on the service data to be processed stored in the target data storage system, and storing the processed analysis data in the target data storage system. The embodiment of the invention solves the problem that offline transmission is required between the data storage system and the data analysis system, and improves the efficiency of data analysis.)

一种基于广告业务的数据处理方法、系统、装置及介质

技术领域

本发明实施例涉及数据处理技术领域,尤其涉及一种基于广告业务的数据处理方法、系统、装置及介质。

背景技术

社交广告是利用社交媒体以及用户关系网络进行广告消息传播扩散的一种广告形式。现有广告业务系统的实现包括用户端社交玩法平台、商家端社交广告投放平台和运营端社交广告管理平台的搭建,三个平台相互配合完成社交广告从投放、展示、管理到结算整个流程。

业务系统在上线运行的过程中积累了大量用户传播和分享的行为数据,这些行为数据对于业务系统的产品设计、产品优化和产品投放等多个方面都具有很大的参考价值。

在实现本发明的过程中,发现现有技术中至少存在以下技术问题:

现有的业务系统并不具备对待处理业务数据分析处理的能力,而现有的数据存储系统和数据分析系统通常是相互独立的两套系统,系统之间的数据传输主要采用离线方式进行,即需要将数据存储系统中存储的业务数据导出为离线文件后,传输给数据分析系统进行处理,从而大大降低了数据分析的效率。

发明内容

本发明实施例提供了一种基于广告业务的数据处理方法、系统、装置及介质,以提高数据分析的效率。

第一方面,本发明实施例提供了一种基于广告业务的数据处理方法,该方法包括:

获取广告业务系统发送的待处理业务数据,并确定所述待处理业务数据对应的数据内容;

基于所述数据内容,确定数据处理系统中与所述待处理业务数据对应的目标数据存储系统;

将所述待处理业务数据存储到所述目标数据存储系统中,以使与所述目标数据存储系统对应的数据分析系统对所述目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在所述目标数据存储系统中;其中,所述数据处理系统包括与至少两种数据内容分别对应的数据存储系统和与各所述数据存储系统分别对应的数据分析系统。

第二方面,本发明实施例还提供了一种基于广告业务的数据处理系统,该系统包括:数据控制系统、至少两种数据存储系统和与各所述数据存储系统对应的数据分析系统;

其中,所述数据控制系统,用于获取广告业务系统发送的待处理业务数据,并确定所述待处理业务数据对应的数据内容;基于所述数据内容,确定数据处理系统中与所述待处理业务数据对应的目标数据存储系统,并将所述待处理业务数据存储到所述目标数据存储系统中;

所述数据分析系统,用于对与所述数据分析系统对应的数据存储系统中存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在所述数据存储系统中。

第三方面,本发明实施例还提供了一种基于广告业务的数据处理装置,该装置包括:

待处理业务数据获取模块,用于获取广告业务系统发送的待处理业务数据,并确定所述待处理业务数据对应的数据内容;

目标数据存储系统确定模块,用于基于所述数据内容,确定数据处理系统中与所述待处理业务数据对应的目标数据存储系统;

待处理业务数据处理模块,用于将所述待处理业务数据存储到所述目标数据存储系统中,以使与所述目标数据存储系统对应的数据分析系统对所述目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在所述目标数据存储系统中;其中,所述数据处理系统包括与至少两种数据内容分别对应的数据存储系统和与各所述数据存储系统分别对应的数据分析系统。

第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所述的基于广告业务的数据处理方法。

上述发明中的实施例具有如下优点或有益效果:

本发明实施例通过根据广告业务系统发送的待处理业务数据对应的数据内容,将待处理业务数据保存在不同的数据存储系统中,并通过与各数据存储系统分别对应的数据分析系统对存储的待处理业务数据进行数据分析处理,解决了数据存储系统和数据分析系统之间需要进行离线传输的问题,进一步可以解决数据存储系统导出的离线文件格式与数据分析系统所需的离线文件格式不一致的问题,使得数据分析系统直接对数据存储系统存储的待处理业务数据进行数据分析处理,从而提高了数据分析的效率。

附图说明

图1是本发明实施例一提供的一种基于广告业务的数据处理方法的流程图。

图2是本发明实施例二提供的一种基于广告业务的数据处理方法的流程图。

图3是本发明实施例二提供的一种用户关系结构数据的示意图。

图4是本发明实施例三提供的一种基于广告业务的数据处理系统的结构示意图。

图5是本发明实施例三提供的一种基于广告业务的数据处理系统的具体实例的结构示意图。

图6是本发明实施例四提供的一种基于广告业务的数据处理装置的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种基于广告业务的数据处理方法的流程图,本实施例可适用于对业务数据进行数据存储和数据分析的情况,尤其适用于对广告业务数据进行数据存储和数据分析的情况,该方法可以由基于广告业务的数据处理来执行,该装置可采用软件和/或硬件的方式实现,该装置可以配置于终端设备中。具体包括如下步骤:

S110、获取广告业务系统发送的待处理业务数据,并确定待处理业务数据对应的数据内容。

其中,示例性的,广告业务系统包括用户端社交玩法平台、商家端社交广告投放平台和运营端社交广告管理平台。具体的,商家端社交广告投放平台接收商家报名社交玩法活动的报名信息,并将报名信息发送给运营端社交广告管理平台,运营端社交广告管理平台对该报名信息进行审核,并将审核完成后的社交玩法活动在用户端社交玩法平台进行展示。此处仅对广告业务系统的运行模式进行示例性说明,并非对其限定。可以理解的是,任何可发送本技术方案中待处理业务数据的广告业务系统均在本技术方案的保护范围之内。

其中,示例性的,待处理业务数据是广告业务系统生成的业务数据,具体的,业务数据可以是用户端社交玩法平台、商家端社交广告投放平台和运营端社交广告管理平台中至少一项生成的业务数据。

在一个实施例中,可选的,待处理业务数据的数据内容包括用户关系数据、与用户关系数据对应的热点数据或关联数据;用户关系数据用于表征广告用户数据和/或广告用户数据之间的互动关系数据,热点数据用于表征广告业务系统基于广告用户操作生成的数据,关联数据用于表征广告业务系统生成的广告用户数据对应的属性数据。

其中,示例性的,广告用户数据可以是用户名、手机号或账户,互动关系数据可以是互相关注、好友关系或链接分享等关系数据。这样设置的好处在于,当某个广告用户数据的与其他广告用户数据之间互动频繁时,在后续数据分析处理得到的分析数据中突出该特征,从而有助于用户根据该特征调整广告投放策略。

其中,示例性的,热点数据可以是广告用户在进行查询操作、写入操作或更新操作时生成的数据。关联数据可以是广告用户数据的来源方数据、用户参与频率或用户价值评分等。其中,具体的,当数据处理系统接收至少两个广告业务系统发送的待处理业务数据时,来源方数据可以是各广告业务系统对应的系统标识数据。

S120、基于数据内容,确定数据处理系统中与待处理业务数据对应的目标数据存储系统。

在本实施例中,数据处理系统包括与至少两种数据内容分别对应的数据存储系统。在一个实施例中,可选的,当待处理业务数据的数据内容为用户关系数据时目标数据存储系统为基于图数据库构建的第一数据存储系统;当待处理业务数据的数据内容为热点数据时目标数据存储系统为基于缓存数据库构建的第二数据存储系统;当待处理业务数据的数据内容为关联数据时目标数据存储系统为基于关系型数据库构建的第三数据存储系统。

其中,图数据库是NoSQL数据库的一种类型。示例性的,图数据库包括但不限于Neo4j图数据库、JanusGraph图数据库、HugeGraph图数据库或Nebula Graph图数据库。Neo4j图数据库是一种具有原生图处理和图存储能力的图数据库,由于Neo4j图数据库的功能相比于其他图数据库更加完备,在一个实施例中,可选的,基于Neo4j图数据库构建第一数据存储系统。其中,具体的,第一数据存储系统中的图数据库可以将用户关系数据中的广告用户数据作为节点,并将不同的互动关系数据采用不同的图数据结构中的不同关系类型进行区分,生成用户关系结构数据。具体的,第一数据存储系统将基于接收到的用户关系数据生成的用户关系结构数据保存在第一数据存储系统中。

其中,具体的,由于热点数据是基于广告用户操作生成的数据,当当前用户比较活跃时,会产生大量热点数据,因此将热点数据保存在基于缓存数据库构建的第二数据存储系统可以有效降低后续数据分析的延时问题,降低了第一数据存储系统的存储压力。其中,示例性的,缓存数据库可以是redis数据库或redisGraph内存图数据库。具体的,redis数据库是一种开源的内存数据结构存储组件,redisGraph内存图数据库是在redis数据库之上使用OpenCypher为查询语句的内存图数据库,使用稀疏邻接矩阵作为底层存储结构。

其中,具体的,由于关联数据被查询或被数据分析的频次较低,因此将关联数据存储在基于关系型数据库构建的第三数据存储系统中。其中,示例性的,关系型数据库可以是MySQL数据库。

S130、将待处理业务数据存储到目标数据存储系统中,以使与目标数据存储系统对应的数据分析系统对目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在目标数据存储系统中。

在本实施例中,数据处理系统包括与至少一个数据存储系统分别对应的数据分析系统。在一个实施例中,可选的,第一数据存储系统对应的数据分析系统为基于图算法引擎构建的第一数据分析系统,第二数据存储数据系统对应的数据分析系统为基于预设算法构建的第二数据分析系统,第三数据存储系统对应的数据分析系统为基于RAPIDS平台构建的第三数据分析系统。

其中,示例性的,图算法引擎包括但不限于GDS图算法引擎、Spark GraphX分布式图处理框架或Pregel图算法引擎。由于Spark GraphX分布式图处理框架或Pregel图算法引擎均为分布式架构,相比于GDS图算法引擎的部署维护难度较高。在一个实施例中,可选的,基于GDS图算法引擎构建第一数据分析系统。具体的,GDS图算法引擎提供了大量面向Neo4j图数据库的图算法,基于GDS图算法引擎得到的分析数据可以直接保存在Neo4j图数据库中。

其中,具体的,分析数据包括第一数据分析系统对用户关系数据进行数据分析处理得到的数据,示例性的,该分析数据包括但不限于度中心性(Degree Centrality)、介数中心性(Betweenness Centrality)和紧密中心性(Closeness Centrality)等,可用于衡量在用户关系结构数据中单一广告用户数据对应的节点向周围节点的扩散能力。

其中,具体的,预设算法包括与当前活跃度和/或当前存活时间对应的算法。在一个实施例中,可选的,热点数据包括基于上一广告用户登录操作生成的上一时间数据和基于当前广告用户登录操作生成的当前时间数据,相应的,分析数据包括第二数据分析系统基于上一时间数据和当前时间数据确定的当前活跃度和/或当前存活时间。其中,具体的,当检测到广告用户登录操作时,采集与该广告用户登录操作对应的当前时间。其中,具体的,采用redisGraph内存图数据库自带的timestamp函数获取上一时间数据和当前时间数据。当前活跃度满足公式:

当前活跃度=(当前时间数据-上一时间数据)×衰减系数+上次活跃度×0.5

其中,当前活跃度的取值区间为(0,1),衰减系数可根据实际需求进行设置,此处对其具体的取值不作限定。

其中,具体的,当前存活时间为当前活跃度的倒数。示例性的,将计算得到的当前活跃度和/或当前存活时间作为对广告用户数据对应的属性数据保存在第二数据存储系统中。

其中,RAPIDS平台是一个基于GPU加速的数据处理平台,采用的cuGraph库提供了类NetworkX的图计算能力。由于RAPIDS平台在对第三数据存储系统中的待处理业务数据进行处理时,需要基于待处理业务数据生成离线文件,RAPIDS平台的计算和存储过程均基于离线文件进行,从而增加了数据处理时长和系统复杂度。在一个实施例中,可选的,第三数据分析系统通过远程调用框架,对第三数据存储系统中的待处理业务数据进行分析处理。其中,示例性的,远程调用框架可以是Arrow Flight RPC远程调用框架。由于RAPIDS平台使用了GPU,其加速计算效果远大于GDS图算法引擎,更适合大量数据的离线计算。

本实施例的技术方案,通过根据广告业务系统发送的待处理业务数据对应的数据内容,将待处理业务数据保存在不同的数据存储系统中,并通过与各数据存储系统分别对应的数据分析系统对存储的待处理业务数据进行数据分析处理,解决了数据存储系统和数据分析系统之间需要进行离线传输的问题,进一步可以解决数据存储系统导出的离线文件格式与数据分析系统所需的离线文件格式不一致的问题,使得数据分析系统直接对数据存储系统存储的待处理业务数据进行数据分析处理,从而提高了数据分析的效率。

实施例二

图2是本发明实施例二提供的一种基于广告业务的数据处理方法的流程图,本实施例的技术方案是上述实施例的基础上的进一步细化。可选的,所述获取广告业务系统发送的待处理业务数据,包括:当满足预设读取条件时,获取广告业务系统发送的待处理业务数据;其中,所述预设读取条件包括接收到广告业务系统发送的接口调用请求、检测到消息队列读取请求和预设定时时钟中至少一项。

本实施例的具体实施步骤包括:

S210、当满足预设读取条件时,获取广告业务系统发送的待处理业务数据。

在本实施例中,预设读取条件包括接收到广告业务系统发送的接口调用请求、检测到消息队列读取请求和预设定时时钟中至少一项。

其中,示例性的,接收调用请求可以是与数据处理系统提供的基于HTTP协议的Rest接口和基于RPC(Remote Procedure Call,远程过程调用)框架的接口对应的调用请求。在一个实施例中,可选的,当满足预设读取条件时,获取广告业务系统发送的待处理业务数据,包括:当接收到广告业务系统发送的接口调用请求时,获取与接口调用请求中的待处理业务数据。其中,具体的,对接口调用请求进行解析得到待处理业务数据。这样设置的好处在于,可以实时获取广告业务系统发送的待处理业务数据,适用于响应小数据量请求,数据存储效率高。

其中,示例性的,消息队列读取请求是与消息发布订阅系统对应的读取请求,该消息队列读取请求可以是数据处理系统基于预设时间间隔或预设触发条件生成的,示例性的,预设触发条件可以是检测到用户输入的数据读取请求。在一个实施例中,可选的,当满足预设读取条件时,获取广告业务系统发送的待处理业务数据,包括:当检测到消息队列读取请求时,将消息队列读取请求发送给消息发布订阅系统,并接收消息发布订阅系统基于消息队列读取请求发送的待处理业务数据;其中,待处理业务数据是广告业务系统基于消息队列写入请求提前写入到消息发布订阅系统中的。其中,示例性的,消息发布订阅系统可以是Kafka分布式消息发布订阅系统。

示例性的,广告业务系统可以通过向消息发布订阅系统发送消息队列写入请求,以将消息队列写入请求中的待处理业务数据写入到消息发布订阅系统中。在一个实施例中,可选的,一个消息发布订阅系统对应至少一个广告业务系统和至少一个数据处理系统。具体的,不同的广告业务系统向同一消息发布订阅系统的不同主题下发送待处理业务数据,提前订阅不同主题的数据处理系统通过向消息发布订阅系统发送与不同主题分别对应的消息队列读取请求,获取该主题下的广告业务系统发送的待处理业务数据。

在另一个实施例中,获取广告业务系统发送的待处理业务数据,包括:数据处理系统接收消息发布订阅系统基于该数据处理系统的订阅主题,异步发送的消息发布订阅系统中的待处理业务数据。

这样设置的好处在于,可以通过消息队列的方式,解决传输量剧增情况下数据处理系统不能及时对传输的待处理数据进行存储的问题,通过流量削峰,保证了数据处理系统保证相对稳定的速率接收广告业务系统发送的待处理业务数据,从而降低剧增的传输量对数据处理系统带来的处理压力。

其中,具体的,预设定时时钟用于表征数据处理系统获取数据存储系统中的待处理业务数据的获取时机。在一个实施例中,可选的,当满足预设读取条件时,获取广告业务系统发送的待处理业务数据,包括:当满足预设定时时钟时,判断数据存储系统中的业务数据对应的数据量是否满足预设数据量阈值;其中,业务数据是广告业务系统与数据存储系统建立通信连接后写入的;如果是,则将业务数据作为待处理业务数据。

其中,具体的,广告业务系统可以与数据存储系统建立通信连接,直接将业务数据写入到数据存储系统中。当满足预设定时时钟时,判断数据存储系统中的广告业务系统写入的业务数据的数据量是否满足预设数据量阈值,如果是,则将广告业务系统写入的业务数据作为待处理业务数据,并对该待处理业务数据执行后续的存储和数据分析处理操作。

在上述实施例的基础上,可选的,获取广告业务系统发送的待处理业务数据,包括:获取广告业务系统发送的离线文件,对离线文件进行解析得到待处理业务数据。其中,示例性的,离线文件的格式可以是CSV格式。

S220、确定待处理业务数据对应的数据内容。

S230、基于数据内容,确定数据处理系统中与待处理业务数据对应的目标数据存储系统。

S240、将待处理业务数据存储到目标数据存储系统中,以使与目标数据存储系统对应的数据分析系统对目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在目标数据存储系统中。

在上述实施例的基础上,可选的,将待处理业务数据存储到目标数据存储系统中,包括:如果待处理业务数据包含与至少两个广告业务系统分别对应的用户关系数据,则基于各用户关系数据分别对应的广告用户标识,将各用户关系数据存储到目标数据存储系统中。

其中,示例性的,待处理业务数据包括广告业务系统A和广告业务系统B分别发送的用户关系数据A和用户关系数据B,以用户关系数据为广告用户数据为例,假设用户关系数据A包含广告用户数据A,用户关系数据A包含广告用户数据B,如果广告用户数据A和广告用户数据B分别对应的广告用户标识相同,则将广告用户数据A和广告用户数据B作为同一广告用户数据保存在目标数据存储系统中,如果不同,则将广告用户数据A和广告用户数据B作为不同的广告用户数据保存在目标数据存储系统中。类似的,将互动关系数据作为同一互动关系数据保存在目标数据存储系统中。其中,示例性的,广告用户标识可以是个人身份识别码(Personal identification number,PIN)。其中,广告用户标识是广告业务系统基于预设广告用户标识列表确定的。不同的广告业务系统使用同一预设广告用户标识列表。示例性的,广告业务系统在生成广告用户数据A时,基于预设广告用户标识列表获取与广告用户数据A对应的广告用户标识。

这样设置的好处在于,对不同广告业务系统中的广告用户数据进行唯一性约束,以避免在第一数据存储系统生成用户关系结构数据时,基于不同广告业务系统发送的同一广告用户数据生成不同的节点,以保证用户关系结构数据中不会出现两个广告用户标识相同的节点。

在上述实施例的基础上,可选的,方法还包括:当接收到用户输入的业务查询请求时,基于与业务查询请求对应的查询索引,获取与业务查询请求对应的查询数据,并将查询数据进行输出;其中,查询索引是基于业务查询请求中的查询条件对应的查询频率确定的。

在一个实施例中,业务查询请求为用户基于广告业务系统发送的业务查询请求,相应的,将查询数据进行输出,包括:将查询数据发送给广告业务系统。在另一个实施例中,业务查询请求为用户基于数据处理系统发送的业务查询请求,相应的,将查询数据进行输出,包括:将查询数据输出到数据处理系统对应的显示设备中。

其中,具体的,当业务查询请求中的查询条件对应的查询频率超过频率阈值时,生成与业务查询请求对应的查询索引。示例性的,当查询条件为“用户A更新次数”,则建立与“用户A更新次数”对应的查询索引。具体的,查询索引是一种保存在数据库存储空间的数据结构,表示一种直接指向与业务查询请求对应的查询数据的逻辑指针清单。这样设置的好处在于,提高数据的查询检索效率。

在上述实施例的基础上,可选的,将查询数据进行输出,包括:如果查询数据包括第一数据存储系统中存储的用户关系结构数据,则确定用户关系结构数据对应的数据量是否超过预设数量阈值;其中,用户关系结构数据是第一数据存储系统基于用户关系数据生成的;如果是,则通过预设可视化库,将与预设数量阈值对应的用户关系结构数据进行展示。

其中,具体的,第一数据存储系统中的图数据库可以将用户关系数据中的广告用户数据作为节点,并将不同的互动关系数据采用不同的图数据结构中的不同关系类型进行区分,生成用户关系结构数据。其中,示例性的,预设可视化库可以是D3.js可视化库。

图3是本发明实施例二提供的一种用户关系结构数据的示意图。具体的,图3中的圆点表示与广告用户数据对应的节点,圆点与圆点之间的连线表示节点与节点之间的互动关系。虽然图3中的连线图案相同,但不同节点间的互动关系可能不同,图3中未通过连线图案对不同的互动关系进行区分。圆点的灰度表示与广告用户数据对应的活跃度,在图3中,用户活跃度越高,灰度值越小。

本实施例的技术方案,通过提供数据接入接口、引入消息发布订阅系统和与数据存储系统直连的至少一种接入方式,解决了现有技术中业务数据通过离线文件的方式进行传输的问题,使得广告业务系统可以基于数据传输需求,如强实时性要求、延迟大小和单次写入数据量等等选择不同的接入方式,提高了数据处理系统与广告业务系统之间数据接入方式的灵活性,也扩宽了数据处理系统的应用场景。

实施例三

图4是本发明实施例三提供的一种基于广告业务的数据处理系统的结构示意图。本发明实施例为本发明上述实施例的基于广告业务的数据处理方法的实现提供服务,可配置上述实施例中的基于广告业务的数据处理装置。

基于广告业务的数据处理系统包括:数据控制系统310、至少两种数据存储系统和与各数据存储系统对应的数据分析系统;其中,数据控制系统310,用于获取广告业务系统发送的待处理业务数据,并确定待处理业务数据对应的数据内容;基于数据内容,确定数据处理系统中与待处理业务数据对应的目标数据存储系统,并将待处理业务数据存储到目标数据存储系统中;数据分析系统,用于对与数据分析系统对应的数据存储系统中存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在数据存储系统中。

图4示出的数据处理系统包括三种数据存储系统,分别为第一数据存储系统321、第二数据存储系统322和第三数据存储系统323,以及与各数据存储系统分别对应的第一数据分析系统331、第二数据分析系统332和第三数据分析系统333。

在一个实施例中,可选的,待处理业务数据的数据内容包括用户关系数据、与用户关系数据对应的热点数据或关联数据;用户关系数据用于表征广告用户数据和/或广告用户数据之间的互动关系数据,热点数据用于表征广告业务系统基于广告用户操作生成的数据,关联数据用于表征广告业务系统生成的广告用户数据对应的属性数据。

在一个实施例中,可选的,当待处理业务数据的数据内容为用户关系数据时目标数据存储系统为基于图数据库构建的第一数据存储系统321;当待处理业务数据的数据内容为热点数据时目标数据存储系统为基于缓存数据库构建的第二数据存储系统322;当待处理业务数据的数据内容为关联数据时目标数据存储系统为基于关系型数据库构建的第三数据存储系统323。

在一个实施例中,可选的,第一数据存储系统对应的数据分析系统为基于图算法引擎构建的第一数据分析系统331,第二数据存储数据系统对应的数据分析系统为基于预设算法构建的第二数据分析系统332,第三数据存储系统对应的数据分析系统为基于RAPIDS平台构建的第三数据分析系统333。

在一个实施例中,可选的,数据分析系统,具体用于:当检测到定时指令和/或数据控制系统310发送的数据分析指令时,执行对与数据分析系统对应的数据存储系统中存储的待处理业务数据进行数据分析处理的操作。

其中,示例性的,当满足预设定时时间时,数据分析系统生成定时指令,或当满足预设时间间隔时,数据分析系统生成定时指令。其中,示例性的,当数据控制系统310接收到用户输入的数据分析指令时,将数据分析指令发送给数据分析系统,以使执行对与数据分析系统对应的数据存储系统中存储的待处理业务数据进行数据分析处理的操作。

在一个实施例中,可选的,数据处理系统还包括消息发布订阅系统,用于当接收到广告业务系统发送的消息队列写入请求时,将消息队列写入请求中的待处理业务数据进行保存,以及当接收到数据存储系统发送的消息队列读取请求时,将与消息队列读取请求对应的待处理业务数据发送给数据存储系统。

图5是本发明实施例三提供的一种基于广告业务的数据处理系统的具体实例的结构示意图。具体的,union-social表示广告业务系统,union-relation-analysis表示数据处理系统中的数据控制系统,示例性的,数据处理系统可采用SpringBoot框架构架。从架构层次上,数据处理系统可划分为前端(frontend)系统和后端(backend)系统,前端系统主要完成数据的调度和路由,并进行数据处理系统中各系统模块的控制和管理。后端系统主要对前端系统提供相关的服务能力。从数据处理的角度,数据处理系统可被划分为数据接入、数据存储和数据计算三个阶段。

其中,具体的,Kafka表示消息队列订阅系统,CSV表示离线文件,MySQL表示第三数据存储系统,Neo4j表示第一数据存储系统,Redis/RedisGraph表示第二数据存储系统,GDS表示第一数据分析系统,RAPIDS表示基于GPU加速的第二数据分析系统,D3.js表示预设可视化库。

数据处理系统的工作模式主要包括:图5中标注了union-relation-analysis系统提供的4种接入方式分别对应的数据流,分别为接口调用(a)、消息队列订阅系统(b)、直接写入MySQL(c)以及上传CSV离线文件(d)。其中,示例性的,对于实时性要求较高的业务场景可以选择使用a和b两种方式,对于大数据量及历史数据接入可以选择使用c和d两种方式。union-relation-analysis系统在获取union-social系统发送的待处理业务数据后,根据待处理业务数据的数据内容,将待处理业务数据保存在数据存储系统中。采用GDS库算法对Neo4j中存储的用户关系数据进行数据分析,采用RAPIDS平台对MySQL中存储的关联数据进行数据分析。具体的,将MySQL中存储的关联数据导出为CSV离线文件,RAPIDS平台对CSV离线文件中的关联数据进行数据分析,并将得到的分析数据保存在MySQL中。当接收到用户输入的业务查询请求时,如果查询数据包括第一数据存储系统中存储的用户关系结构数据,则将用户关系结构数据通过D3.js进行展示。

本实施例的技术方案,通过根据广告业务系统发送的待处理业务数据对应的数据内容,将待处理业务数据保存在不同的数据存储系统中,并通过与各数据存储系统分别对应的数据分析系统对存储的待处理业务数据进行数据分析处理,解决了数据存储系统和数据分析系统之间需要进行离线传输的问题,进一步可以解决数据存储系统导出的离线文件格式与数据分析系统所需的离线文件格式不一致的问题,使得数据分析系统直接对数据存储系统存储的待处理业务数据进行数据分析处理,从而提高了数据分析的效率。

实施例四

图6是本发明实施例四提供的一种基于广告业务的数据处理装置的示意图。本实施例可适用于对业务数据进行数据存储和数据分析的情况,尤其适用于对广告业务数据进行数据存储和数据分析的情况,该装置可以配置于终端设备中。该基于广告业务的数据处理装置包括:待处理业务数据获取模块410、目标数据存储系统确定模块420和待处理业务数据处理模块430。

其中,待处理业务数据获取模块410,用于获取广告业务系统发送的待处理业务数据,并确定待处理业务数据对应的数据内容;

目标数据存储系统确定模块420,用于基于数据内容,确定数据处理系统中与待处理业务数据对应的目标数据存储系统;

待处理业务数据处理模块430,用于将待处理业务数据存储到目标数据存储系统中,以使与目标数据存储系统对应的数据分析系统对目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在目标数据存储系统中;其中,数据处理系统包括与至少两种数据内容分别对应的数据存储系统和与各数据存储系统分别对应的数据分析系统。

本实施例的技术方案,通过根据广告业务系统发送的待处理业务数据对应的数据内容,将待处理业务数据保存在不同的数据存储系统中,并通过与各数据存储系统分别对应的数据分析系统对存储的待处理业务数据进行数据分析处理,解决了数据存储系统和数据分析系统之间需要进行离线传输的问题,进一步可以解决数据存储系统导出的离线文件格式与数据分析系统所需的离线文件格式不一致的问题,使得数据分析系统直接对数据存储系统存储的待处理业务数据进行数据分析处理,从而提高了数据分析的效率。

在上述技术方案的基础上,可选的,待处理业务数据的数据内容包括用户关系数据、与用户关系数据对应的热点数据或关联数据;用户关系数据用于表征广告用户数据和/或广告用户数据之间的互动关系数据,热点数据用于表征广告业务系统基于广告用户操作生成的数据,关联数据用于表征广告业务系统生成的广告用户数据对应的属性数据。

在上述技术方案的基础上,可选的,当待处理业务数据的数据内容为用户关系数据时目标数据存储系统为基于图数据库构建的第一数据存储系统;当待处理业务数据的数据内容为热点数据时目标数据存储系统为基于缓存数据库构建的第二数据存储系统;当待处理业务数据的数据内容为关联数据时目标数据存储系统为基于关系型数据库构建的第三数据存储系统。

在上述技术方案的基础上,可选的,第一数据存储系统对应的数据分析系统为基于图算法引擎构建的第一数据分析系统,第二数据存储数据系统对应的数据分析系统为基于预设算法构建的第二数据分析系统,第三数据存储系统对应的数据分析系统为基于RAPIDS平台构建的第三数据分析系统。

在上述技术方案的基础上,可选的,热点数据包括基于上一广告用户登录操作生成的上一时间数据和基于当前广告用户登录操作生成的当前时间数据,相应的,分析数据包括第二数据分析系统基于上一时间数据和当前时间数据确定的当前活跃度和/或当前存活时间。

在上述技术方案的基础上,可选的,待处理业务数据获取模块410包括:

待处理业务数据获取单元,用于当满足预设读取条件时,获取广告业务系统发送的待处理业务数据;其中,预设读取条件包括接收到广告业务系统发送的接口调用请求、检测到消息队列读取请求和预设定时时钟中至少一项。

在上述技术方案的基础上,可选的,待处理业务数据获取单元,包括:

第一待处理业务数据获取单元,用于当接收到广告业务系统发送的接口调用请求时,获取与接口调用请求中的待处理业务数据。

在上述技术方案的基础上,可选的,待处理业务数据获取单元,包括:

第二待处理业务数据获取单元,用于当检测到消息队列读取请求时,将消息队列读取请求发送给消息发布订阅系统,并接收消息发布订阅系统基于消息队列读取请求发送的待处理业务数据;其中,待处理业务数据是广告业务系统基于消息队列写入请求提前写入到消息发布订阅系统中的。

在上述技术方案的基础上,可选的,待处理业务数据获取单元,包括:

第三待处理业务数据获取单元,用于当满足预设定时时钟时,判断数据存储系统中的业务数据对应的数据量是否满足预设数据量阈值;其中,业务数据是广告业务系统与数据存储系统建立通信连接后写入的;如果是,则将业务数据作为待处理业务数据。

在上述技术方案的基础上,可选的,该装置还包括:

查询数据输出模块,用于当接收到用户输入的业务查询请求时,基于与业务查询请求对应的查询索引,获取与业务查询请求对应的查询数据,并将查询数据进行输出;其中,查询索引是基于业务查询请求中的查询条件对应的查询频率确定的。

在上述技术方案的基础上,可选的,查询数据输出模块,具体用于:

如果查询数据包括第一数据存储系统中存储的用户关系结构数据,则确定用户关系结构数据对应的数据量是否超过预设数量阈值;其中,用户关系结构数据是第一数据存储系统基于用户关系数据生成的;

如果是,则通过预设可视化库,将与预设数量阈值对应的用户关系结构数据进行展示。

在上述技术方案的基础上,可选的,待处理业务数据处理模块430,具体用于:

如果待处理业务数据包含与至少两个广告业务系统分别对应的用户关系数据,则基于各用户关系数据分别对应的广告用户标识,将各用户关系数据存储到目标数据存储系统中。

本发明实施例所提供的基于广告业务的数据处理装置可以用于执行本发明实施例所提供的基于广告业务的数据处理方法,具备执行方法相应的功能和有益效果。

值得注意的是,上述基于广告业务的数据处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。

实施例五

本发明实施例五还提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种基于广告业务的数据处理方法,该方法包括:

获取广告业务系统发送的待处理业务数据,并确定待处理业务数据对应的数据内容;

基于数据内容,确定数据处理系统中与待处理业务数据对应的目标数据存储系统;

将待处理业务数据存储到目标数据存储系统中,以使与目标数据存储系统对应的数据分析系统对目标数据存储系统存储的待处理业务数据进行数据分析处理,并将处理得到的分析数据存储在目标数据存储系统中;其中,数据处理系统包括与至少两种数据内容分别对应的数据存储系统和与各数据存储系统分别对应的数据分析系统。

本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的基于广告业务的数据处理方法中的相关操作。

注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

19页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:数据迁移方法、装置、系统和计算机可读存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!