一种基于终端的大数据分析处理方法及系统
阅读说明：本技术 一种基于终端的大数据分析处理方法及系统 (Big data analysis processing method and system based on terminal ) 是由 刘来凤 陈都凌 陈菁 于 2021-08-03 设计创作，主要内容包括：本发明属于数据处理技术领域,公开了一种基于终端的大数据分析处理方法及系统,所述基于终端的大数据分析处理系统包括：数据采集模块、数据预处理模块、权限管理模块、无线信号传输模块、中央处理和控制模块、数据交互模块、网络服务器模块、安全检测模块、警示模块、本地存储模块、人机交互模块。本发明通过数据采集模块进行数据采集,并将采集的数据信息传送至数据分析处理模块内,通过安全检测模块检测数据的安全性,可以有效避免危险数据的侵入；通过预先按照待处理数据的属性分别对应设置配置文件,相同属性的待处理数据对应的配置文件相同,建立起所述预处理流程各步骤与程序的对应关系,降低工作量和错误率,提高数据的分析处理效率。(The invention belongs to the technical field of data processing, and discloses a big data analysis processing method and a big data analysis processing system based on a terminal, wherein the big data analysis processing system based on the terminal comprises: the system comprises a data acquisition module, a data preprocessing module, a permission management module, a wireless signal transmission module, a central processing and control module, a data interaction module, a network server module, a safety detection module, a warning module, a local storage module and a man-machine interaction module. According to the invention, the data acquisition module is used for acquiring data and transmitting the acquired data information to the data analysis processing module, and the safety detection module is used for detecting the safety of the data, so that the intrusion of dangerous data can be effectively avoided; the corresponding relation between each step of the preprocessing flow and the program is established by correspondingly setting the configuration files according to the attributes of the data to be processed in advance, wherein the configuration files corresponding to the data to be processed with the same attribute are the same, so that the workload and the error rate are reduced, and the analysis processing efficiency of the data is improved.)
技术领域
本发明属于数据处理技术领域，尤其涉及一种基于终端的大数据分析处理方法及系统。
背景技术
目前，随着信息技术的快速发展，移动终端和高速移动网络为用户提供了丰富的信息和资源，用户在利用这些信息和资源工作、生活、娱乐的同时，也需要经由无线移动网络下载大量的应用程序到移动终端中。现今智能移动终端应用市场上有各种提高用户体验的应用程序，用户在享受便利的同时也带来了一系列安全问题。首先，网络逐步成为恶意应用程序传播的途径，从中下载、存储并安装到本地终端运行应用程序后，有些会恶意修改本地终端中的文件，造成系统瘫痪或者运行变慢，其次，还带来个人隐私泄露的风险，个人隐私包括用户的个人身份、银行账户、财务状况信息、行为偏好、健康情况，社会地位、社交记录等私人信息。应用程序及其关联的恶意网络资源或分析工具通过对单个用户的特定数据挖掘，大量而多样化的信息交集最终能够准确地描绘出该用户的轮廓，如个人年龄、经济状况、消费行为和等级、社会地位、社交圈等，进而催生出一些新的亟待解决的隐私风险及伦理安全问题。因此需要对安装的应用程序进行检测，如果存在恶意的企图则需要进行查杀，然而现有技术中的检测和查杀存在一系列问题。针对恶意应用程序的查杀，一般是检测出恶意程序后，删除恶意程序，以避免恶意程序执行恶意行为，但是无法追溯恶意程序的源头，因而无法对恶意程序的源头进行彻底查杀，断绝其源头。而且，对于恶意应用程序的分析包括静态分析和动态分析两种。静态分析简单快速，但是扫描前需要知道已知恶意应用程序的信息，如签名、行为模式、权限申请等。动态分析将应用程序运行在封闭环境中并监视，分析应用程序的行为特征，如文件权限改变、进程和线程运行情况、系统调用情况、网络访问情况等。但是无论是静态分析还是动态分析，其分析效率不够理想。另外，恶意的新安装的应用往往会试图访问终端的隐私信；尽管有的应用程序会有合法权限对用户的诸如传入的短消息服务之类的隐私信息的合法访问，但是现有技术缺少对机载已有用户隐私进行有效的文件保护，也缺乏对于隐私信息的访问的合理管理，从而导致安装的应用程序窃取用户的私密信息，进而导致用户的资产和隐私的泄漏，造成不可挽回的损失。
通过上述分析，现有技术存在的问题及缺陷为：现有的数据处理方式的分析效率过低，不能满足现有的使用需求，而且现有的程序中的数据信息的安全性不能得到保证，易导致用户的资产和隐私的泄漏，造成不可挽回的损失。
发明内容
针对现有技术存在的问题，本发明提供了一种基于终端的大数据分析处理方法及系统。
本发明是这样实现的，一种基于终端的大数据分析处理方法，所述基于终端的大数据分析处理方法包括以下步骤：
步骤一，通过人机交互模块对预设参数进行输入，并根据需求信息选择要进行分析处理的数据种类；
步骤二，根据预设指令通过数据采集模块读取控制指令中包含的所需收集信息的种类信息，并根据种类信息在本地存储和网络存储中进行搜集；
步骤三，将收集到的数据存储到数据缓存服务器中，生成原始数据，对数据进行分类，将分类过的数据按照不同的类目再次存储到数据缓存服务器，生成分类数据；
步骤四，利用终端设备调用所述分类数据，将原始数据和所述数据调用信号调用的分类数据进行对比，两组数据对比完成后输出到中央处理和控制模块，实现对本地存储的数据或网络接收数据的提取收集；
步骤五，通过数据预处理模块获取待处理数据，根据所述待处理数据的属性，获取与所述待处理数据匹配的配置文件；
步骤六，确定数据预处理对应的当前预处理方式，根据所述当前预处理方式处理待处理数据后，控制各操作节点对得到的处理结果根据当前预处理方式的下一预处理方式进行处理；
步骤七，根据所预处理流程的各步骤分别获取各步骤对应的程序，在各操作节点根据当前预处理方式处理待处理数据；按照各步骤的执行顺序执行所述各步骤对应的程序，实现对所述待处理数据的预处理；
步骤八，通过权限管理模块对不同的用户提供不同的权限等级以保障架构安全；通过无线信号传输模块利用无线信号传输器与远程服务器进行数据传输；通过数据交互模块根据控制指令与远程服务器进行数据交互；
步骤九，通过中央处理和控制模块利用中央处理器对采集数据进行处理分析，并根据处理结果和预设参数对所述基于终端的大数据分析处理系统各个受控模块进行协调控制；
步骤十，通过网络服务器模块利用远程服务器对大数据信息进行存储和对采集信息进行远程分析处理；通过安全检测模块对采集的大数据信息的安全性进行检测，在检测到安全信息超过管理员预设的阈值时，通过警示模块将警示消息发送给管理员；
步骤十一，通过本地存储模块利用存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储；通过人机交互模块对系统的工作状态、待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息的实时数据进行更新显示。
进一步，步骤三中，所述对数据进行分类采用的分类方法包括：
（1）对数据文本进行预处理，分别生成词向量训练集和BERT语言训练集；
（2）分别通过所述词向量训练集对多种神经网络模型中的每种进行训练，且通过所述BERT语言训练集对BERT分类模型进行训练；
（3）根据训练结果确定融合模型，根据所述融合模型对目标数据进行打标签分类。
进一步，步骤五中，所述与待处理数据匹配的配置文件包括预处理流程的步骤中包含的预处理操作的标识和操作参数。
进一步，步骤十中，通过安全检测模块对采集的大数据信息的安全性进行检测，包括：
（1）当采集的大数据信息在终端上执行安全性检测时，获取待检测数据的运行参数并进行分析；
（2）获取大数据信息的安全性认证结果；终端设备根据大数据信息的安全性认证结果，确定在终端中保留该信息还是删除该信息；
（3）保留该信息时将该信息发送到网络服务器以更新用于大数据分析、判定和确认的数据库。
进一步，所述获取大数据信息的安全性认证结果，包括：
1）系统发送大数据信息的预设认证方式至所述终端以提示所述用户从中选择多种认证方式对大数据信息进行认证；
2）获取用户所选择的多种认证方式以及在多种认证方式下分别输入的大数据信息的认证信息；
3）基于每种认证方式所对应的预设权重和基于每个所述认证信息认证得到所述大数据信息的安全性认证结果。
进一步，步骤十一中，所述通过本地存储模块利用存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储，包括：
（1）对待存储的数据信息的大小进行计算，获得待存储的信息的数据量；
（2）若所述待存储的信息的数据量大于存储硬盘预设的能够存储的单位信息的最大数据量，将所述待存储的信息拆分为至少两个分段信息，以使得每个所述分段信息的数据量小于或等于所述最大数据量；
（3）将每个所述分段信息和所述每个所述分段信息对应的分段标识存储在所述存储硬盘中。
进一步，所述数据量包括待处理数据的数据源标识、时间标识和数据流大小。
本发明的另一目的在于提供一种应用所述的基于终端的大数据分析处理方法的基于终端的大数据分析处理系统，所述基于终端的大数据分析处理系统包括：
数据采集模块、数据预处理模块、权限管理模块、无线信号传输模块、中央处理和控制模块、数据交互模块、网络服务器模块、安全检测模块、警示模块、本地存储模块、人机交互模块。
数据采集模块，与中央处理和控制模块连接，用于通过终端设备对本地存储的数据或网络接收的数据进行提取收集；
数据预处理模块，与中央处理和控制模块连接，用于对待处理的数据进行预处理；
权限管理模块，与中央处理和控制模块连接，用于对不同的用户提供不同的权限等级以保障架构安全；
无线信号传输模块，与中央处理和控制模块连接，用于通过无线信号传输器与远程服务器进行数据传输；
中央处理和控制模块，与数据采集模块、数据预处理模块、权限管理模块、无线信号传输模块、数据交互模块、网络服务器模块、安全检测模块、警示模块、本地存储模块、人机交互模块连接，用于通过中央处理器对采集数据进行处理分析，并根据处理结果和预设参数对所述基于终端的大数据分析处理系统各个受控模块进行协调控制；
数据交互模块，与中央处理和控制模块连接，用于根据控制指令与远程服务器进行数据交互；
网络服务器模块，与中央处理和控制模块连接，用于通过远程服务器对大数据信息进行存储和对采集信息进行远程分析处理；
安全检测模块，与中央处理和控制模块连接，用于对采集的大数据信息的安全性进行检测；
警示模块，与中央处理和控制模块连接，用于在检测到安全信息超过管理员预设的阈值，则将警示消息发送给管理员；
本地存储模块，与中央处理和控制模块连接，用于通过存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储；
人机交互模块，与中央处理和控制模块连接，用于对预设参数进行输入，并对系统的工作状态、待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息的实时数据进行更新显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于终端的大数据分析处理方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于终端的大数据分析处理方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于终端的大数据分析处理方法，通过数据采集模块进行数据采集，并将采集的数据信息传送至数据分析处理模块内，并通过安全检测模块检测数据的安全性，可以有效避免危险数据的侵入；通过预先按照待处理数据的属性分别对应设置配置文件，相同属性的待处理数据对应的配置文件相同，建立起所述预处理流程各步骤与程序的对应关系，降低了工作量和错误率，有效提高了数据的分析处理效率。
同时，本发明通过数据收集模块会对用户在用户终端上的所有行为数据进行统一收集，再将数据收集模块中统一收集到的数据通过数据分类模块按照不同的指标进行分类，有效节省初步从所有的无序数据中挑选调用所需数据的行为，缩短数据调用时间，在将数据通过数据输出模块传输到中央处理前之前，先通过数据对比将调用的分类数据与数据缓存服务器中存储的原始数据进行对比，避免数据损坏，防止调用有损数据，避免有数据调用有误造成的分析结果误差。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于终端的大数据分析处理方法流程图。
图2是本发明实施例提供的基于终端的大数据分析处理系统的结构框图；
图中：1、数据采集模块；2、数据预处理模块；3、权限管理模块；4、无线信号传输模块；5、中央处理和控制模块；6、数据交互模块；7、网络服务器模块；8、安全检测模块；9、警示模块；10、本地存储模块；11、人机交互模块。
图3是本发明实施例提供的根据预设指令通过数据采集模块利用终端设备对本地存储的数据或网络接收的数据进行提取收集的方法流程图。
图4是本发明实施例提供的通过数据预处理模块对待处理的数据进行预处理的方法流程图。
图5是本发明实施例提供的通过本地存储模块利用存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于终端的大数据分析处理方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于终端的大数据分析处理方法包括以下步骤：
S101，通过人机交互模块对预设参数进行输入，并根据需求信息选择要进行分析处理的数据种类；
S102，根据预设指令通过数据采集模块利用终端设备对本地存储的数据或网络接收的数据进行提取收集；
S103，通过数据预处理模块对待处理的数据进行预处理，并通过本地存储模块对待处理信息或网络接收信息进行存储；
S104，通过权限管理模块对不同的用户提供不同的权限等级以保障架构安全；通过无线信号传输模块利用无线信号传输器与远程服务器进行数据传输；通过数据交互模块根据控制指令与远程服务器进行数据交互；
S105，通过中央处理和控制模块利用中央处理器对采集数据进行处理分析，并根据处理结果和预设参数对所述基于终端的大数据分析处理系统各个受控模块进行协调控制；
S106，通过网络服务器模块利用远程服务器对大数据信息进行存储和对采集信息进行远程分析处理；
S107，通过安全检测模块对采集的大数据信息的安全性进行检测，在检测到安全信息超过管理员预设的阈值时，通过警示模块将警示消息发送给管理员；
S108，通过本地存储模块利用存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储；
S109，通过人机交互模块对系统的工作状态、待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息的实时数据进行更新显示。
本发明实施例提供的步骤S107中，通过安全检测模块对采集的大数据信息的安全性进行检测，包括：
（1）当采集的大数据信息在终端上执行安全性检测时，获取待检测数据的运行参数并进行分析；
（2）获取大数据信息的安全性认证结果；终端设备根据大数据信息的安全性认证结果，确定在终端中保留该信息还是删除该信息；
（3）保留该信息时将该信息发送到网络服务器以更新用于大数据分析、判定和确认的数据库。
本发明实施例提供的获取大数据信息的安全性认证结果，包括：
1）系统发送大数据信息的预设认证方式至所述终端以提示所述用户从中选择多种认证方式对大数据信息进行认证；
2）获取用户所选择的多种认证方式以及在多种认证方式下分别输入的大数据信息的认证信息；
3）基于每种认证方式所对应的预设权重和基于每个所述认证信息认证得到所述大数据信息的安全性认证结果。
如图2所示，本发明实施例提供的基于终端的大数据分析处理系统包括：数据采集模块1、数据预处理模块2、权限管理模块3、无线信号传输模块4、中央处理和控制模块5、数据交互模块6、网络服务器模块7、安全检测模块8、警示模块9、本地存储模块10、人机交互模块11。
数据采集模块1，与中央处理和控制模块5连接，用于通过终端设备对本地存储的数据或网络接收的数据进行提取收集；
数据预处理模块2，与中央处理和控制模块5连接，用于对待处理的数据进行预处理；
权限管理模块3，与中央处理和控制模块5连接，用于对不同的用户提供不同的权限等级以保障架构安全；
无线信号传输模块4，与中央处理和控制模块5连接，用于通过无线信号传输器与远程服务器进行数据传输；
中央处理和控制模块5，与数据采集模块1、数据预处理模块2、权限管理模块3、无线信号传输模块4、数据交互模块6、网络服务器模块7、安全检测模块8、警示模块9、本地存储模块10、人机交互模块11连接，用于通过中央处理器对采集数据进行处理分析，并根据处理结果和预设参数对所述基于终端的大数据分析处理系统各个受控模块进行协调控制；
数据交互模块6，与中央处理和控制模块5连接，用于根据控制指令与远程服务器进行数据交互；
网络服务器模块7，与中央处理和控制模块5连接，用于通过远程服务器对大数据信息进行存储和对采集信息进行远程分析处理；
安全检测模块8，与中央处理和控制模块5连接，用于对采集的大数据信息的安全性进行检测；
警示模块9，与中央处理和控制模块5连接，用于在检测到安全信息超过管理员预设的阈值，则将警示消息发送给管理员；
本地存储模块10，与中央处理和控制模块5连接，用于通过存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储；
人机交互模块11，与中央处理和控制模块5连接，用于对预设参数进行输入，并对系统的工作状态、待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息的实时数据进行更新显示。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的基于终端的大数据分析处理方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的根据预设指令通过数据采集模块利用终端设备对本地存储的数据或网络接收的数据进行提取收集的方法包括：
S201，读取控制指令中包含的所需收集信息的种类信息，并根据种类信息在本地存储和网络存储中进行搜集；
S202，将收集到的数据存储到数据缓存服务器中，生成原始数据，对数据进行分类，将分类过的数据按照不同的类目再次存储到数据缓存服务器，生成分类数据；
S203，调用所述分类数据，将原始数据和所述数据调用信号调用的分类数据进行对比，两组数据对比完成后输出到中央处理和控制模块。
本发明实施例中的对数据进行分类采用的分类方法，包括：
（1）对数据文本进行预处理，分别生成词向量训练集和BERT语言训练集；
（2）分别通过所述词向量训练集对多种神经网络模型中的每种进行训练，且通过所述BERT语言训练集对BERT分类模型进行训练；
（3）根据训练结果确定融合模型，根据所述融合模型对目标数据进行打标签分类。
实施例2
本发明实施例提供的基于终端的大数据分析处理方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过数据预处理模块对待处理的数据进行预处理的方法包括：
S301，获取待处理数据，根据所述待处理数据的属性，获取与所述待处理数据匹配的配置文件；
S302，确定数据预处理对应的当前预处理方式，根据所述当前预处理方式处理待处理数据后，控制各操作节点对得到的处理结果根据当前预处理方式的下一预处理方式进行处理；
S303，根据所预处理流程的各步骤分别获取各步骤对应的程序，在各操作节点根据当前预处理方式处理待处理数据；
S304，按照各步骤的执行顺序执行所述各步骤对应的程序，实现对所述待处理数据的预处理。
本发明实施例中的与待处理数据匹配的配置文件包括预处理流程的步骤中包含的预处理操作的标识和操作参数。
实施例3
本发明实施例提供的基于终端的大数据分析处理方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过本地存储模块利用存储硬盘对待处理信息或网络接收信息、数据预处理结果、权限等级、远程分析处理结果、安全检测结果以及警示消息进行存储的方法包括：
S401，对待存储的数据信息的大小进行计算，获得待存储的信息的数据量；
S402，若所述待存储的信息的数据量大于存储硬盘预设的能够存储的单位信息的最大数据量，将所述待存储的信息拆分为至少两个分段信息，以使得每个所述分段信息的数据量小于或等于所述最大数据量；
S403，将每个所述分段信息和所述每个所述分段信息对应的分段标识存储在所述存储硬盘中。
本发明实施例中的数据量包括待处理数据的数据源标识、时间标识和数据流大小。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。