自动化交易数据生成方法及装置

文档序号:1954506 发布日期:2021-12-10 浏览:19次 >En<

阅读说明:本技术 自动化交易数据生成方法及装置 (Automatic transaction data generation method and device ) 是由 徐凯路 杨硕 于 2021-09-27 设计创作,主要内容包括:本发明公开了一种自动化交易数据生成方法及装置,其中该方法包括:按照至少一个协议类型采集生产环境中的用户交易请求;根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;将用户交易数据下传至测试环境;对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。本发明涉及大数据技术领域,可以实现自动化生成交易数据,提高测试效率,覆盖更全面的用户现场使用场景信息,降低差异性。(The invention discloses an automatic transaction data generation method and device, wherein the method comprises the following steps: collecting user transaction requests in the production environment according to at least one protocol type; according to the collected user transaction requests, carrying out data persistence on user transaction data in the user transaction requests, and storing the data in a database cluster of a production environment; downloading user transaction data to a testing environment; carrying out data persistence on user transaction data downloaded to a test environment, and storing the data in a database cluster of the test environment in a classified manner; and after receiving an automatic transaction data generation request, selecting data from a database cluster of the test environment according to the protocol type, and constructing and generating transaction data. The invention relates to the technical field of big data, can realize automatic generation of transaction data, improve the testing efficiency, cover more comprehensive scene information used by a user on site and reduce the difference.)

自动化交易数据生成方法及装置

技术领域

本发明涉及大数据技术领域,尤其涉及一种自动化交易数据生成方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着银行业务的蓬勃发展,涉及的用户场景越来越多,交易量也越来越大,单笔完整的交易链条也很长,与此同时,用户交易场景与其线上使用情况变得越来越复杂,越来越非常规。图1为现有技术的交易数据生成模型图,如图1所示,一个功能需求的生命周期,需要经历需求设计、开发、测试以及上线维护等流程,在上线前的测试阶段,测试人员通常会采取多维度的验证方式:单元、功能、集成、系统测试。通过上述类型的全方位测试维度,在上线后依然可能出现线上问题,经长期的数据分析,发现是由于测试数据不充分,用户场景遗漏比例较大导致的。

现有技术的一种解决方案为由项目组开发人员或测试人员根据对测试需求的理解生成测试交易数据,这种方案导致覆盖场景完全依赖开发人员或测试人员对测试需求的理解和发散,使得交易数据的生成更加依赖测试人员的经验和理解,软件开发人员、测试人员难以以有效的数据覆盖用户全量的使用场景,降低测试效率。

发明内容

本发明实施例提供一种自动化交易数据生成方法,用以实现自动化生成交易数据,提高测试效率,覆盖更全面的用户现场使用场景信息,降低差异性,该方法包括:

按照至少一个协议类型采集生产环境中的用户交易请求;

根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;

将用户交易数据下传至测试环境;

对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;

在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。

本发明实施例还提供一种自动化交易数据生成装置,用以实现自动化生成交易数据,提高测试效率,覆盖更全面的用户现场使用场景信息,降低差异性,该装置包括:

数据采集模块,用于按照至少一个协议类型采集生产环境中的用户交易请求;

第一数据存储模块,用于根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;

数据传输模块,用于将用户交易数据下传至测试环境;

第二数据存储模块,用于对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;

数据构造模块,用于在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。

本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述自动化交易数据生成方法。

本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述自动化交易数据生成方法的计算机程序。

本发明实施例中,按照至少一个协议类型采集生产环境中的用户交易请求;根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;将用户交易数据下传至测试环境;对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。与现有技术中的技术方案相比,可以实现自动化生成交易数据,提高测试效率,其中用户交易数据是按至少一个协议类型从生产环境采集的用户交易请求中获得的,并分类存储在测试环境的数据库集群中,从而通过全维度数据构造,实现覆盖更全面的用户现场使用场景信息,降低差异性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1为本发明实施例中提供的现有技术的交易数据生成模型图;

图2为本发明实施例中提供的自动化交易数据生成方法流程图;

图3为本发明实施例中提供的自动化交易数据生成方法的一具体实例图;

图4为本发明实施例中提供的自动化交易数据生成方法的一具体实例图;

图5为本发明实施例中提供的自动化交易数据生成装置示意图;

图6为本发明实施例中提供的自动化交易数据生成装置的一具体实例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。

本发明实施例提供了一种自动化交易数据生成方法,图2为本发明实施例中提供的自动化交易数据生成方法流程图,如图2所示,该方法包括如下步骤:

步骤201:按照至少一个协议类型采集生产环境中的用户交易请求;

步骤202:根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;

步骤203:将用户交易数据下传至测试环境;

步骤204:对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;

步骤205:在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。

由图2所示流程可知,本发明实施例的自动交易数据生成方法不同于现有技术的由项目组开发人员或测试人员根据对测试需求的理解生成测试交易数据的技术方案,而是通过将用户交易数据按至少一个协议类型从生产环境采集的用户交易请求中获得,并分类存储在测试环境的数据库集群中,实现覆盖更全面的用户现场使用场景信息,降低差异性,实现自动化生成交易数据,提高测试效率。

具体实施时,先按照至少一个协议类型采集生产环境中的用户交易请求后,根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中。实施例中,所述至少一个协议类型包括如下协议类型其中之一或任意组合:日志协议、TCP(Transmission Control Protocol,传输控制)流量协议、HTTP(HyperText Transfer Protocol,超文本传输)流量协议。图3为本发明实施例中提供的自动化交易数据生成方法的一具体实例图,如图3所示,本例中,将用户在系统A、系统B、…、系统Z生成的交易数据按照功能维度进行采集,即对数据流按照日志采集、TCP流量采集、HTTP流量采集的方式进行数据采集,主要功能是根据不同的协议维度采集生产环境中的用户交易请求,将用户交易请求中的用户交易数据进行数据持久化,按照一定格式规则存储在生产环境的数据库集群中。

在根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中后,还可以对用户交易数据进行数据处理,如图3所示,例如可以在将用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中后,对用户交易数据进行数据预处理、数据脱敏处理,进而进行异步推送至测试环境,这样对用户交易数据进行数据处理后,才能真正用于测试环境。

在一个实施例中,对用户交易数据进行数据脱敏处理,包括:根据预设的数据脱敏规则,对用户交易数据的敏感信息进行数据的加解密和/或清空;所述敏感信息包括如下个人信息的一种或任意组合:身份证号、手机号、卡号。举一例,本例中,根据预设的数据脱敏规则,对用户交易数据的敏感信息进行数据的加解密和/或清空后,还需要进行行内规则审核,审核确认用户的交易数据中未包括敏感信息后,将用户交易数据进行异步推送。

在对用户交易数据进行数据预处理和/或数据脱敏处理后,将用户交易数据下传至测试环境,并且对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中。实施例中,经过数据处理后的用户交易数据下传至测试环境后首先同步存储在测试环境的数据库集群中,用作持久化备份,待接收到自动化交易数据生成请求后,从测试环境的数据库集群中选取数据。

在一个实施例中,对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中,包括:在对下传至测试环境的用户交易数据进行数据持久化后,对用户交易数据进行分类,将分类的用户交易数据存储在测试环境的数据库集群中;所述用户交易数据分类类别包括如下类别其中之一或任意组合:用户数量、用户区域、用户客群、时长维度,将用户交易数据分类存储在测试环境的数据库集群中,方便在接收到自动化交易数据生成请求后,按照纵向多个协议的维度从测试环境的数据库集群中选取数据。

在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。图4为本发明实施例中提供的自动化交易数据生成方法的一具体实例图,如图4所示,实施例中,根据不同协议类型的测试请求,可以按照HTTP协议、Socket(套接字)协议、RPC(Remote Procedure Call,远程过程调用)协议分别调用HTTP/Https构造模块、Socket构造模块、RPC构造模块,从测试环境的数据库集群中选取数据,进行交易数据构造生成,所述测试环境的数据库集群中的用户交易数据是由生产环境的数据库集群将数据处理后的用户交易数据同步下传;还可以按照年龄范围、性别范围、资产范围、偏好范围、时长范围的纵向筛选条件从测试环境的数据库集群中选取数据,进行交易数据构造生成。

本发明实施例中还提供了一种自动化交易数据生成装置,如下面的实施例所述。由于该装置解决问题的原理与自动化交易数据生成方法相似,因此该装置的实施可以参见自动化交易数据生成方法的实施,重复之处不再赘述。

本发明实施例中提供了一种自动化交易数据生成装置,图5为本发明实施例中提供的自动化交易数据生成装置示意图,如图5所示,该装置包括如下模块:

数据采集模块51,用于按照至少一个协议类型采集生产环境中的用户交易请求;

第一数据存储模块52,用于根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;

数据传输模块53,用于将用户交易数据下传至测试环境;

第二数据存储模块54,用于对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;

数据构造模块55,用于在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。

在一个实施例中,所述至少一个协议类型包括如下协议类型其中之一或任意组合:日志协议、TCP流量协议、HTTP流量协议。

图6为本发明实施例中提供的自动化交易数据生成装置的一具体实例图,如图6所示,本例中,所述自动化交易数据生成装置还包括:

数据处理模块61,用于在数据传输模块将用户交易数据下传至测试环境之前,对用户交易数据进行数据预处理和/或数据脱敏处理。

在一个实施例中,数据处理模块61具体用于:根据预设的数据脱敏规则,对用户交易数据的敏感信息进行数据的加解密和/或清空;所述敏感信息包括如下个人信息的一种或任意组合:身份证号、手机号、卡号。

在一个实施例中,第二数据存储模块54具体用于:在对下传至测试环境的用户交易数据进行数据持久化后,对用户交易数据进行分类,将分类的用户交易数据存储在测试环境的数据库集群中;所述用户交易数据分类类别包括如下类别其中之一或任意组合:用户数量、用户区域、用户客群、时长维度。

本发明实施例还提供一种计算机设备,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现:上述自动化交易数据生成方法。

本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有执行上述自动化交易数据生成方法的计算机程序,该计算机程序被处理器执行时实现:上述自动化交易数据生成方法。

综上所述,本发明实施例中,按照至少一个协议类型采集生产环境中的用户交易请求;根据采集的用户交易请求,对用户交易请求中的用户交易数据进行数据持久化,存储在生产环境的数据库集群中;将用户交易数据下传至测试环境;对下传至测试环境的用户交易数据进行数据持久化,分类存储在测试环境的数据库集群中;在接收到自动化交易数据生成请求后,按照协议类型从测试环境的数据库集群中选取数据,进行交易数据构造生成。与现有技术中的技术方案相比,可以实现自动化生成交易数据,提高测试效率,其中用户交易数据是按至少一个协议类型从生产环境采集的用户交易请求中获得的,并分类存储在测试环境的数据库集群中,从而通过全维度数据构造,实现覆盖更全面的用户现场使用场景信息,降低差异性。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

12页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于遗传算法的智能多因子投资方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!