数据处理方法及相关设备

文档序号:1875415 发布日期:2021-11-23 浏览:22次 >En<

阅读说明:本技术 数据处理方法及相关设备 (Data processing method and related equipment ) 是由 黄坤 白智德 白志得 哈米德 殷燕 于 2021-07-16 设计创作,主要内容包括:本发明实施例公开一种数据处理方法、数据处理装置、设备及计算机存储介质,该方法包括:获取待处理数据;将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,其中,所述压缩模型是通过对任意不同数据进行学习得到的。通过本申请实施例,通过将待处理数据输入至压缩模型中进行处理,得到目标压缩数据。其中,该压缩模型是通过对任意不同数据进行学习得到的,使得可以基于任意数据均可以进行压缩。采用该手段,可以有助于提高数据处理的效率。(The embodiment of the invention discloses a data processing method, a data processing device, equipment and a computer storage medium, wherein the method comprises the following steps: acquiring data to be processed; and inputting the data to be processed into a compression model for processing to obtain target compression data, wherein the compression model is obtained by learning any different data. According to the embodiment of the application, the data to be processed is input into the compression model to be processed, and the target compression data is obtained. The compression model is obtained by learning any different data, so that the compression model can be compressed based on any data. By adopting the method, the efficiency of data processing can be improved.)

数据处理方法及相关设备

技术领域

本发明涉及压缩技术领域,尤其涉及一种数据处理方法、数据处理装置、设备及计算机存储介质。

背景技术

现有技术中的压缩技术利用经典信息理论提供的算法。例如,无损压缩是采用在文件中查找和删除数据冗余的结果。经典的压缩算法,甚至是如利用人工智能和机器语言的新算法,都关注冗余。冗余度越高,压缩比越好。

例如,Huffman和Run-Length算法倾向于寻找纯冗余,这意味着它们倾向于发现一段数据(即文本的一个字符),并在更大的数据块中找到尽可能多的完全相同的副本。这些算法在一定程度上表现良好,但它们已经发展到压缩的瓶颈,所有这些算法都是基于现有的冗余来执行的,仅依赖于现有的冗余和对小数据块的执行限制了传统压缩算法的性能,现有技术并没有提供一种较优的方式来结合历史经验更进一步提高数据处理的效率。

发明内容

本发明实施例提供了一种数据处理方法、数据处理装置、设备及计算机存储介质,可以有助于提高数据处理的效率。

第一方面,本发明实施例提供了一种数据压缩方法,包括:

获取待处理数据;

将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,其中,所述压缩模型是通过对任意不同数据进行学习得到的。

作为一种可选的实现方式,所述将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,包括:

获取所述待处理数据的类型;

获取与所述待处理数据的类型对应的压缩算法;

根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据。

作为一种可选的实现方式,当所述待处理数据的类型为第一数据时,所述根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据,包括:

将所述待处理数据按照预设位数进行分割,得到K个数据块;

根据所述K个数据块得到预设坐标系中的K个点;

对所述K个点进行处理,得到目标线条,所述目标线条上至少包括所述K个点中的K’个,K’为不小于1的整数,且K’不大于K;

根据所述目标线条得到所述目标压缩数据。

作为一种可选的实现方式,当所述待处理数据的类型为第二数据时,所述根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据,包括:

将所述待处理数据按照预设位数进行分割,得到三个数据块;

根据所述三个数据块得到三条线段,其中,任意两条线段的长度之和大于第三条线段的长度;

对所述三条线段进行处理,得到位于预设坐标系中的目标图形;

根据所述目标图形得到所述目标压缩数据。

作为一种可选的实现方式,当所述待处理数据的类型为第三数据时,所述根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据,包括:

对所述待处理数据进行去重处理,得到处理后的数据;

获取所述去重的总个数,并将所述处理后的数据按照与该去重的总个数对应的算法进行处理,得到所述目标压缩数据。

作为一种可选的实现方式,获取待处理数据;将所述待处理数据转换为二进制数据,并进行平均分割;该分割的单位可以是两位一分割,也可以是三位一分割等,然后将分割后的数据,与映射表进行对应,以获得每个数据的映射数据;根据每个数据的映射数据进而得到压缩后的数据。

例如,100100,分割为10,01,00。预设映射表为10对应X,01对应Y,00对应Z,则处理后的压缩数据为XYZ。或者,在该处理的基础上,结合前述实施例进行继续处理,以得到最终的压缩数据等。

第二方面,本发明实施例提供了一种数据压缩装置,包括:

获取模块,用于获取待处理数据;

处理模块,用于将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,其中,所述压缩模型是通过对任意不同数据进行学习得到的。

其中,当所述待处理数据的类型为第一数据时,所述处理模块,用于:

将所述待处理数据按照预设位数进行分割,得到K个数据块;

根据所述K个数据块得到预设坐标系中的K个点;

对所述K个点进行处理,得到目标线条,所述目标线条上至少包括所述K个点中的K’个,K’为不小于1的整数,且K’不大于K;

根据所述目标线条得到所述目标压缩数据。

当所述待处理数据的类型为第二数据时,所述处理模块,用于:

将所述待处理数据按照预设位数进行分割,得到三个数据块;

根据所述三个数据块得到三条线段,其中,任意两条线段的长度之和大于第三条线段的长度;

对所述三条线段进行处理,得到位于预设坐标系中的目标图形;

根据所述目标图形得到所述目标压缩数据。

第三方面,本发明实施例提供了一种数据处理设备,包括:处理器和存储器;

所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行所述的数据处理方法。

第四方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行所述的数据处理方法。

通过本申请实施例,通过将待处理数据输入至压缩模型中进行处理,得到目标压缩数据。其中,该压缩模型是通过对任意不同数据进行学习得到的,使得可以基于任意数据均可以进行压缩。采用该手段,可以有助于提高数据处理的效率。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理方法的流程示意图;

图2是本发明实施例提供的又一种数据处理方法的流程示意图;

图3是本发明实施例提供的一种数据处理装置的结构示意图;

图4是本发明实施例提供的一种数据处理设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本发明所描述的实施例可以与其它实施例相结合。

请参见图1,图1是本发明实施例提供的一种数据处理方法的流程示意图。如图1所示,其包括步骤101-102,具体如下:

101、获取待处理数据;

该待处理数据可以是任意形式的数据,如可以是二进制数据,十六进制数据等等,本方案对此不做具体限定。

优选的,该待处理数据可以是用于进行压缩处理的数据。如可以是视频数据、图像数据等。

102、将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,其中,所述压缩模型是通过对任意不同数据进行学习得到的。

其中,该压缩模型是基于对不同数据进行机器学习,而实现基于随机的数据均可以进行压缩。

该压缩模型可以每次生成唯一的非重复的随机数据块。

作为一种可选的实现方式,上述将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,包括:

对待处理数据进行数据转换处理,得到处理后的数据;

获取与所述处理后的数据对应的压缩算法;

根据所述压缩算法对所述处理后的数据进行处理,得到所述目标压缩数据。

作为一种可选的实现方式,上述将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,包括:

获取所述待处理数据的类型;

获取与所述待处理数据的类型对应的压缩算法;

根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据。

上述待处理数据的类型可以是二进制、十进制、十六进制,或者预设位数、不存在任意重复数字等等。

优选的,可以将待压缩数据转换为二进制等数据,进而进行处理。

作为一种可选的实现方式,当所述待处理数据的类型为第一数据时,所述根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据,包括:

将所述待处理数据按照预设位数进行分割,得到K个数据块;

根据所述K个数据块得到预设坐标系中的K个点;

对所述K个点进行处理,得到目标线条,所述目标线条上至少包括所述K个点中的K’个,K’为不小于1的整数,且K’不大于K;

根据所述目标线条或目标线条的系数得到所述目标压缩数据。

其中,该目标线条中的上述点均具有标识,例如目标线条中保存有该各个点,突出显示这些点,且将不在线条上的点的信息也保存记录下来。

具体地,将所述待处理数据按照预设位数进行分割,得到K个数据块;根据所述K个数据块得到预设坐标系中的K个点;对所述K个点进行处理,得到目标线条,所述目标线条上至少包括所述K个点中的K’个,且在线条上标记该K’个点,其他不在线条上的点则在坐标系中分别对应的位置进行标记,然后保存上述信息,以作为该数据的压缩处理后的数据。

其中,当以系数作为最后的目标压缩数据时,与该系数对应的线条以及所有点均进行保存。

当然,还可以采用其他处理,本方案对此不做具体限定。

上述第一数据可以是二进制数据或者不存在任意重复数字的数据等,其还可以是其他形式,本方案对此不做具体限定。

其中,上述按照预设位数进行分割,可以是按照每两位进行分割,或者每三位进行分割等,还可以以其他形式进行分割,本方案对此不做具体限定。

上述根据所述K个数据块得到预设坐标系中的K个点,例如当按照每两位进行分割时,可以按照从前到后的顺序,得到对应x,y的点的坐标。

例如,1001110111,其进行分割可得到10,01,11,01,11。将10作为点(1,0),将01作为点(0,1),将11作为点(1,1)。以此类推,可得到K个点。

可选的,当该分割为均匀分割,分割最后不满足预设位数时,可以填充0来进行处理,或者以其他字母等进行填充等,也可以不做任何处理等。

上述对所述K个点进行处理,得到目标线条。作为一种可选的实现方式,可以基于该K个点拟合得到一条直线或者曲线等。其中,该线条上优选的包含至少K’个点。

或者,直接有该各点组成该线条,按照先后顺序组成一条有向曲线等。上述每个点均标注在该曲线上。

上述仅以一种形式为例进行说明,其还可以是其他形式,本方案对此不作具体限定。

其中,根据所述目标线条的系数得到所述目标压缩数据。也就是说,基于该线条的系数得到目标压缩数据。

例如,该线条可表示为y=3x3+4x2-x+5,则其系数为(3,4,-1,5),将该系数作为最后压缩得到的数据,此时,需保存与该系数对应的曲线,点等,如可以设置不同的曲线对应不同的标识等,或者标签等。还可以是将该系数进行相应处理进而得到目标压缩数据等。

当然,也可以将该曲线作为目标压缩数据等,本方案对此不做具体限定。

作为另一种可选的实现方式,当所述待处理数据的类型为第三数据时,所述根据所述压缩算法对所述待处理数据进行处理,得到所述目标压缩数据,包括:

对所述待处理数据进行去重处理,得到处理后的数据;

获取所述去重的总个数,并将所述处理后的数据按照与该去重的总个数对应的算法进行处理,得到所述目标压缩数据。

其中,预设不同的去重总个数与不同的压缩算法之间的对应关系,进而基于不同的去重总个数获取对应的算法。

可选的,对于101101001,其最多可去重3组,通过进行去重处理得到X1XX01。设定10对应X,该X可以是任意预设的数字。如可以是2。则当去重总个数为3时,根据所述去重后数据212201对应的算法进行处理。例如该对应的算法是将该数据除以3,则得到70733,余数为2。可以将70733以及余数进行处理得到目标数据。通过基于不同的重复字对应的不同标识,来简化处理该数据。上述10对应X,X可以是2,以及去重个数、所选择的如除法算法等可以是基于预设算法获取到的对应的映射等,或者,也可以进一步其他处理,本方案对此不做具体限定。

上述仅为一种示例,其还可以是其他形式,本方案对此不做具体限定。

通过本申请实施例,通过将待处理数据输入至压缩模型中进行处理,得到目标压缩数据。其中,该压缩模型是通过对任意不同数据进行学习得到的,使得可以基于任意数据均可以进行压缩。采用该手段,可以有助于提高数据处理的效率。

请参见图2,是本发明实施例提供的又一种数据处理方法的流程示意图。其包括步骤201-205,具体如下:

201、获取待处理数据;

可选的,该待处理数据的类型为第二数据。该第二数据可以是与第一数据类型一样,也可以不一样。

如,该第二数据可以是超出预设位数的二进制数据等。

202、将所述待处理数据按照预设位数进行分割,得到三个数据块;

上述按照预设位数进行分割,可以是将待处理数据的位数进行均分三份,其中,若有缺失,可以在头部或者尾部进行补充等。

其还可以是以其他形式进行分割,如非均分等。

203、根据所述三个数据块得到三条线段,其中,任意两条线段的长度之和大于第三条线段的长度;

上述根据三个数据块得到三条线段,可以是基于每个数据块中对应的点的坐标来得到线段。如第一个数据块对应6位,则可以将其看作三个二维坐标系的点,或者两个三维坐标系的点等。然后基于该多个点得到一条初始线段。如可以进行拟合处理,或者其他处理等。

通过将三个数据块均进行上述处理,得到三条初始线段。

进一步地,判断该三条初始线段中是否任意两条线段的长度之和大于第三条线段的长度。

若满足,则将上述该三条初始线段确定为上述得到的三条线段。

若不满足,则对该三条初始线段进行处理,使得任意两条线段的长度之和大于第三条线段的长度。

该处理可以是对某条线段进行延长或者缩短等处理。上述仅为一种示例,本方案对此不做具体限定。

可选的,当该三条初始线段不满足任意两条线段的长度之和大于第三条线段的长度时,可以将所述待处理数据进行分割,得到四个数据块,根据所述四个数据块得到四条线段,进而根据该四条线段得到目标图形等。该目标图形可以是四边形等。

204、对所述三条线段进行处理,得到位于预设坐标系中的目标图形;

其中,可将该三条线段组成三角形。

可选的,可以以待处理数据对应的十进制数据作为横坐标,0作为纵坐标,基于该点作为一个顶点,然后将三角形置于该坐标系中。进一步地,该三角形的一条边与该顶点所在的x轴平行。其中,可通过平移等处理使得其组成三角形,其中,所做的平移等可保存对应的边的平移距离、方向等信息。

上述仅为一种示例,其还可以是其他形式,本方案对此不做具体限定。

205、根据所述目标图形中的顶点的坐标得到所述目标压缩数据。

基于该图形的各个顶点可得到压缩数据。其中,可以顺时针进行获取各个顶点的坐标,也可以逆时针等。其中,该顶点对应的图形以及图形中标识的点,以及移动信息等均作为所述压缩数据对应的信息。

优选的,以临近原点的顶点为起始点进行获取。

通过本申请实施例,通过将待处理数据按照预设位数进行分割,得到三个数据块,根据所述三个数据块得到目标图形,进而基于该图形得到压缩数据。采用该手段,可以提高数据处理的效率。

基于上述数据处理方法实施例的描述,本发明实施例还公开了一种数据处理装置,参考图3,图3是本发明实施例提供的一种数据处理装置的结构示意图,所述数据处理装置包括获取模块301和处理模块302,其中:

获取模块301,用于获取待处理数据;

处理模块302,用于将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,其中,所述压缩模型是通过对任意不同数据进行学习得到的。

其中,当所述待处理数据的类型为第一数据时,所述处理模块302,用于:

将所述待处理数据按照预设位数进行分割,得到K个数据块;

根据所述K个数据块得到预设坐标系中的K个点;

对所述K个点进行处理,得到目标线条,所述目标线条上至少包括所述K个点中的K’个,K’为不小于1的整数,且K’不大于K;

根据所述目标线条的系数得到所述目标压缩数据。

当所述待处理数据的类型为第二数据时,所述处理模块302,用于:

将所述待处理数据按照预设位数进行分割,得到三个数据块;

根据所述三个数据块得到三条线段,其中,任意两条线段的长度之和大于第三条线段的长度;

对所述三条线段进行处理,得到位于预设坐标系中的目标图形;

根据所述目标图形中的顶点的坐标得到所述目标压缩数据。

值得指出的是,其中,数据处理装置的具体功能实现方式可以参见上述数据处理方法的描述,这里不再进行赘述。数据处理装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成,或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的,在实际应用中,一个单元(或模块)的功能也可以由多个单元(或模块)来实现,或者多个单元(或模块)的功能由一个单元(或模块)实现。

基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种数据处理设备。

请参见图4,是本发明实施例提供的一种数据处理设备的结构示意图。如图4所示,上述的数据处理装置可以应用于所述数据处理设备,所述数据处理设备400可以包括:处理器401,网络接口404和存储器405,此外,所述数据处理设备400还可以包括:用户接口403,和至少一个通信总线402。其中,通信总线402用于实现这些组件之间的连接通信。其中,用户接口403可以包括显示屏(Display)、键盘(Keyboard),可选用户接口403还可以包括标准的有线接口、无线接口。网络接口404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器405可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示,作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图4所示的数据处理设备400中,网络接口404可提供网络通讯功能;而用户接口403主要用于为用户提供输入的接口;而处理器401可以用于调用存储器405中存储的设备控制应用程序,以实现:

获取待处理数据;

将所述待处理数据输入至压缩模型中进行处理,得到目标压缩数据,其中,所述压缩模型是通过对任意不同数据进行学习得到的。

在一个实施例中,所述处理器401在执行时,具体执行以下步骤:

将所述待处理数据按照预设位数进行分割,得到K个数据块;

根据所述K个数据块得到预设坐标系中的K个点;

对所述K个点进行处理,得到目标线条,所述目标线条上至少包括所述K个点中的K’个,K’为不小于1的整数,且K’不大于K;

根据所述目标线条的系数得到所述目标压缩数据。

将所述待处理数据按照预设位数进行分割,得到三个数据块;

根据所述三个数据块得到三条线段,其中,任意两条线段的长度之和大于第三条线段的长度;

对所述三条线段进行处理,得到位于预设坐标系中的目标图形;

根据所述目标图形中的顶点的坐标得到所述目标压缩数据。

应当理解,本发明实施例中所描述的数据处理设备400可执行前文所述数据处理方法,也可执行前文所述数据处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。

此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的数据处理装置所执行的计算机程序,且所述计算机程序包括程序指令,当处理器执行所述程序指令时,能够执行前文所述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

13页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:IT系统监控指标压缩与查询方法、装置及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!