一种解决交易数据高并发的处理系统及方法
阅读说明：本技术 一种解决交易数据高并发的处理系统及方法 (Processing system and method for solving high concurrency of transaction data ) 是由 赵浩然 于 2021-09-24 设计创作，主要内容包括：本发明公开了一种解决交易数据高并发的处理系统及方法,属于交易处理技术领域,包括交易数据提交模块,所述交易数据提交模块的输出端与交易数据获取模块的输入端电性连接；本发明能够接收并处理大批量的实时并发交易数据,运行稳定可靠,数据处理结果及时准确,没有出现数据丢失的现象,很好地解决了大量交易大批量周期性浪涌观测数据实时接收、实时处理的难题,提高了该系统的处理效率,同时系统在内还设置有数据处理后的安全检测模块,从多个方面与角度对于交易数据处理过程中易发生的一些问题进行监测,可有效保证对于交易数据处理的安全性,有效解决了交易数据处理中而发生的丢失、泄露等问题,保证系统的安全性,保证应用效果。(The invention discloses a processing system and a method for solving high concurrency of transaction data, belonging to the technical field of transaction processing, and comprising a transaction data submission module, wherein the output end of the transaction data submission module is electrically connected with the input end of a transaction data acquisition module; the invention can receive and process large batch of real-time concurrent transaction data, has stable and reliable operation, timely and accurate data processing result, does not have the phenomenon of data loss, well solves the problems of real-time receiving and real-time processing of large batch of periodic surge observation data of transactions, improves the processing efficiency of the system, is also internally provided with a safety detection module after data processing, monitors some problems which are easy to occur in the transaction data processing process from multiple aspects and angles, can effectively ensure the safety of transaction data processing, effectively solves the problems of loss, leakage and the like in the transaction data processing, ensures the safety of the system and ensures the application effect.)
技术领域
本发明属于交易处理技术领域，尤其涉及一种解决交易数据高并发的处理系统及方法。
背景技术
交易是日常生活中的常见的交换方式，我们身处的世界中，无时无刻不在进行着不同的交易，不同的交易的对象也不同，随着近年来互联网的快速发展，电子交易已经逐步将传统的交易模式替代，电子交易过程中，必然会具有许多交易数据并行的情况。
中国专利公开了(CN202010619132.8)交易数据的处理方法和交易数据的处理系统，终端设备在接收到用户选定的目标交易数据后，可以将目标交易数据的对象标识信息发送至服务器，由服务器根据目标交易数据的对象属性信息实时地进行概率计算，得到第一处理概率。终端设备通过对第一处理概率进行显示，有助于用户实时地了解目标交易数据最终被成功处理的可能性，方便用户针对性地对目标交易数据的处理请求进行调整或确认。本实施例通过在终端设备上实时地显示第一处理概率，若第一处理概率较小，则可以便于用户对处理请求进行修改，提高目标交易数据被成功处理的可能性。本申请实施例可以提高交易数据的处理效率，但该处理方法并未涉及对于并行的交易数据进行处理的过程，无法提高交易数据的处理效率，也无法提高交易效率，为了解决此问题，亟待需要一种解决交易数据高并发的处理系统及方法。
发明内容
本发明的目的在于：为了解决上述的问题，而提出的一种解决交易数据高并发的处理系统及方法。
为了实现上述目的，本发明采用了如下技术方案：一种解决交易数据高并发的处理系统，包括交易数据提交模块，所述交易数据提交模块的输出端与交易数据获取模块的输入端电性连接，所述交易数据获取模块的输出端与交易数据处理模块的输入端电性连接，所述交易数据处理模块的输出端与交易数据输出模块的输入端电性连接，所述交易数据输出模块的输出端与负载均衡服务器的输入端电性连接，所述负载均衡服务器的输出端与交易数据分发模块的输入端电性连接，所述交易数据分发模块的输出端与交易数据统计模块的输入端电性连接，所述交易数据统计模块的输出端与交易数据安全监测模块的输入端电性连接，所述交易数据安全监测模块的输出端与数据反馈模块的输入端电性连接，所述数据反馈模块的输出端与客户端的输入端电性连接。
作为上述技术方案的进一步描述：
所述负载均衡服务器采用Nginx服务器。
作为上述技术方案的进一步描述：
所述交易数据处理模块包括交易数据整合模块，所述交易数据整合模块的输出端分别与无用交易数据剔除模块及缓存数据处理模块的输入端电性连接，所述无用交易数据剔除模块的输出端与交易数据分类模块的输入端电性连接，所述交易数据分类模块的输出端与交易数据保存模块的输入端电性连接。
作为上述技术方案的进一步描述：
所述缓存数据处理模块包括缓存数据监测模块，所述缓存数据监测模块的输出端与数据接收线程建立模块的输入端电性连接，所述数据接收线程建立模块的输出端与交互模块的输入端电性连接，所述交互模块的输出端与缓冲数据提取模块的输入端电性连接，所述缓冲数据提取模块的输出端与缓冲数据清理模块的输入端电性连接。
作为上述技术方案的进一步描述：
所述交易数据分发模块包括IP映射关系配置模块，所述IP映射关系配置模块的输出端与数据请求主题通道建立模块的输入端电性连接，所述数据请求主题通道建立模块的输出端与交易数据分发模块的输入端电性连接，所述交易数据分发模块的输出端与对应服务器的输入端电性连接，所述对应服务器的输出端与处理交易数据储存模块的输入端电性连接，所述处理交易数据储存模块的输出端与数据请求主题通道建立模块的输入端电性连接。
作为上述技术方案的进一步描述：
所述交易数据存储至数据请求主题通道内需要利用消息队列服务器，消息队列服务器采用Kafka服务器。
作为上述技术方案的进一步描述：
所述交易数据安全监测模块包括SQL攻击检测模块，所述SQL攻击检测模块的输出端与后台程序监测模块的输入端电性连接，所述后台程序监测模块的输出端与数据库漏洞监测模块的输入端电性连接，所述数据库漏洞监测模块的输出端与第三方人员操作监测模块的输入端电性连接。
本发明还公开了一种解决交易数据高并发的处理方法，包括如下步骤：
S1、外部交易数据进行提交，系统对于提交的交易数据进行获取；
S2、对于获取的交易数据进行处理，包括对于数据进行整合、将无用交易数据剔除、对于交易数据分类、对于交易数据保存与对于一些缓存数据进行处理；
S3、进行数据缓冲处理过程中，先对于缓存数据进行监测，建立数据接收线程，缓存数据与数据接收线程相互交互，对于一些无用的缓冲数据提取，进行快速清理；
S4、将处理后的数据输出至负载均衡服务器内；
S5、负载均衡服务器根据预先配置好的IP映射关系和调度算法将交易数据请求分发到相应的消息队列服务器；
S6、通过对应的服务器对于交易数据进行分发，分别进行处理，对于处理后的交易数据进行二次存储；
S7、对于处理后的交易数据进行统计；
S8、对于交易数据的安全性进行监测；
S9、将交易数据进行反馈至客户端。
作为上述技术方案的进一步描述：
所述S3中，在处理数据恰好读取该数据缓存区Buffer(i)，等待完成相应的存储操作释放Buffer(i)锁后再读取该缓存区的数据，保证所有的浪涌数据能够及时高效地并行处理缓存区时而不会造成数据的丢失。
作为上述技术方案的进一步描述：
所述S9中，客户端为手机APP或者电脑APP中的一种或多种。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明中，该系统能够接收并处理大批量的实时并发交易数据，运行稳定可靠，数据处理结果及时准确，没有出现数据丢失的现象，很好地解决了大量交易大批量周期性浪涌观测数据实时接收、实时处理的难题，提高了该系统的处理效率，同时在系统内还设置有无用交易数据剔除与缓冲数据的实时提取与清理功能，可有效对于一些杂乱无关的交易数据进行有效快速剔除，避免对于交易数据处理带来更多的干扰项，同时可实现实时清理无用缓存的效果，保证了大批量数据涌入后系统的运行平顺性，同时系统在内还设置有数据处理后的安全检测模块，从多个方面与角度对于交易数据处理过程中易发生的一些问题进行监测，可有效保证对于交易数据处理的安全性，有效解决了交易数据处理中而发生的丢失、泄露等问题，保证系统的安全性，保证应用效果。
附图说明
图1为一种解决交易数据高并发的处理系统的模块结构示意图。
图2为一种解决交易数据高并发的处理系统中交易数据处理模块的子模块结构示意图。
图3为一种解决交易数据高并发的处理系统中缓存数据处理模块的子模块结构示意图。
图4为一种解决交易数据高并发的处理系统中交易数据分发模块的子模块结构示意图。
图5为一种解决交易数据高并发的处理系统中交易数据安全监测模块的子模块结构示意图。
图例说明：
1、交易数据处理模块；101、缓存数据处理模块；2、交易数据分发模块；3、交易数据安全监测模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：一种解决交易数据高并发的处理系统，包括交易数据提交模块，所述交易数据提交模块的输出端与交易数据获取模块的输入端电性连接，所述交易数据获取模块的输出端与交易数据处理模块1的输入端电性连接，所述交易数据处理模块1的输出端与交易数据输出模块的输入端电性连接，所述交易数据输出模块的输出端与负载均衡服务器的输入端电性连接，所述负载均衡服务器的输出端与交易数据分发模块2的输入端电性连接，所述交易数据分发模块2的输出端与交易数据统计模块的输入端电性连接，所述交易数据统计模块的输出端与交易数据安全监测模块3的输入端电性连接，所述交易数据安全监测模块3的输出端与数据反馈模块的输入端电性连接，所述数据反馈模块的输出端与客户端的输入端电性连接，所述负载均衡服务器采用Nginx服务器；
所述交易数据处理模块1包括交易数据整合模块，所述交易数据整合模块的输出端分别与无用交易数据剔除模块及缓存数据处理模块101的输入端电性连接，所述无用交易数据剔除模块的输出端与交易数据分类模块的输入端电性连接，所述交易数据分类模块的输出端与交易数据保存模块的输入端电性连接，所述缓存数据处理模块101包括缓存数据监测模块，所述缓存数据监测模块的输出端与数据接收线程建立模块的输入端电性连接，所述数据接收线程建立模块的输出端与交互模块的输入端电性连接，所述交互模块的输出端与缓冲数据提取模块的输入端电性连接，所述缓冲数据提取模块的输出端与缓冲数据清理模块的输入端电性连接，所述交易数据分发模块2包括IP映射关系配置模块，所述IP映射关系配置模块的输出端与数据请求主题通道建立模块的输入端电性连接，所述数据请求主题通道建立模块的输出端与交易数据分发模块的输入端电性连接，所述交易数据分发模块的输出端与对应服务器的输入端电性连接，所述对应服务器的输出端与处理交易数据储存模块的输入端电性连接，所述处理交易数据储存模块的输出端与数据请求主题通道建立模块的输入端电性连接，所述交易数据存储至数据请求主题通道内需要利用消息队列服务器，消息队列服务器采用Kafka服务器，所述交易数据安全监测模块3包括SQL攻击检测模块，所述SQL攻击检测模块的输出端与后台程序监测模块的输入端电性连接，所述后台程序监测模块的输出端与数据库漏洞监测模块的输入端电性连接，所述数据库漏洞监测模块的输出端与第三方人员操作监测模块的输入端电性连接；
本发明还公开了一种解决交易数据高并发的处理方法，包括如下步骤：
S1、外部交易数据进行提交，系统对于提交的交易数据进行获取；
S2、对于获取的交易数据进行处理，包括对于数据进行整合、将无用交易数据剔除、对于交易数据分类、对于交易数据保存与对于一些缓存数据进行处理；
S3、进行数据缓冲处理过程中，先对于缓存数据进行监测，建立数据接收线程，缓存数据与数据接收线程相互交互，对于一些无用的缓冲数据提取，进行快速清理，在处理数据恰好读取该数据缓存区Buffer(i)，等待完成相应的存储操作释放Buffer(i)锁后再读取该缓存区的数据，保证所有的浪涌数据能够及时高效地并行处理缓存区时而不会造成数据的丢失；
S4、将处理后的数据输出至负载均衡服务器内；
S5、负载均衡服务器根据预先配置好的IP映射关系和调度算法将交易数据请求分发到相应的消息队列服务器；
S6、通过对应的服务器对于交易数据进行分发，分别进行处理，对于处理后的交易数据进行二次存储；
S7、对于处理后的交易数据进行统计；
S8、对于交易数据的安全性进行监测；
S9、将交易数据进行反馈至客户端，客户端为手机APP或者电脑APP中的一种或多种。
本实施例中，系统能够接收并处理大批量的实时并发交易数据，运行稳定可靠，数据处理结果及时准确，没有出现数据丢失的现象，很好地解决了大量交易大批量周期性浪涌观测数据实时接收、实时处理的难题，提高了该系统的处理效率，同时在系统内还设置有无用交易数据剔除与缓冲数据的实时提取与清理功能，可有效对于一些杂乱无关的交易数据进行有效快速剔除，避免对于交易数据处理带来更多的干扰项，同时可实现实时清理无用缓存的效果，保证了大批量数据涌入后系统的运行平顺性，同时系统在内还设置有数据处理后的安全检测模块，从多个方面与角度对于交易数据处理过程中易发生的一些问题进行监测，可有效保证对于交易数据处理的安全性，有效解决了交易数据处理中而发生的丢失、泄露等问题，保证系统的安全性，保证应用效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种日志处理方法、系统及介质