CN112865802A - 一种时空数据序列的压缩方法、装置及收集系统 - Google Patents
一种时空数据序列的压缩方法、装置及收集系统 Download PDFInfo
- Publication number
- CN112865802A CN112865802A CN201911100162.1A CN201911100162A CN112865802A CN 112865802 A CN112865802 A CN 112865802A CN 201911100162 A CN201911100162 A CN 201911100162A CN 112865802 A CN112865802 A CN 112865802A
- Authority
- CN
- China
- Prior art keywords
- data sequence
- space
- time data
- spatio
- smooth denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007906 compression Methods 0.000 claims abstract description 88
- 239000011159 matrix material Substances 0.000 claims abstract description 77
- 238000005259 measurement Methods 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 230000000875 corresponding Effects 0.000 claims description 33
- 238000009499 grossing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 230000001131 transforming Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006011 modification reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000003666 Nerve Fibers, Myelinated Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003111 delayed Effects 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—BASIC ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Abstract
本发明公开了一种时空数据序列的压缩方法、装置及收集系统,涉及计算机技术领域。该方法的一具体实施方式包括:根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。该实施方式能够识别并剔除噪音数据,实现了在保证较高精确度的情况下对时空数据序列压缩。
Description
技术领域 本发明涉及计算机技术领域,尤其涉及一种时空数据序列的压缩方法、装置及收集系统。 背景技术 随着5G(5th-Generation,简称5G)和IoT(Internet of Things,物联网)技术的发展,大量的传感器在实时地采集时空数据。大量时空数据的产生需要大量的存储空间和传输带宽。现有技术只是通过调整传感器的上传时间间隔来控制上传的时空数据数量,以节省流量和传送带宽。 在实现本发明过程中,发明人发现现有技术中至少存在如下问题: 通过调整调整传感器的上传时间间隔虽然能减少同一时刻上传的时空数据数量,但同时也降低了数据的精确度,而且也无法去除噪音数据。 发明内容 有鉴于此,本发明实施例提供一种时空数据序列的压缩方法、装置及收集系统,能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列的压缩。 为实现上述目的,根据本发明实施例的第一方面,提供了一种时空数据序列的压缩方法,包括: 根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程; 根据平滑去噪模型对时空数据序列进行平滑去噪处理; 根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 进一步地,在根据时空数据序列中的位置坐标信息构建平滑去噪模型的步骤之前,时空数据序列的压缩方法还包括:将多个时空数据按照时间戳的先后顺序排列,以构建时空数据序列。 进一步地,噪音测量矩阵是根据测量矩阵、真实状态向量以及零均值高斯噪音矢量进行构建的;状态转化矩阵是根据系统矩阵、多个时空数据以及噪音项构建的;卡尔曼滤波方程包括外推方程和/或根据外推方程得到的估计方程。 进一步地,根据平滑去噪模型对时空数据序列进行平滑去噪处理的步骤包括:根据平滑去噪模型识别出时空数据序列中的噪音数据,计算噪音数据对应的估计值,用估计值替换噪音数据,以实现对时空数据序列的平滑去噪处理。 进一步地,根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理的步骤包括: 步骤1,将经过平滑去噪处理的时空数据序列的首节点和尾节点连成直线段; 步骤2,依次计算时空数据序列中的时空数据到直线段的垂直欧式距离,并判断垂直欧式距离是否小于或等于位置误差阈值;若是,则执行步骤3;若否,则转到步骤5; 步骤3,判断是否所有时空数据的垂直欧式距离均计算完毕;若否,则执行步骤4;若是,则转到步骤6; 步骤4,代入时空数据序列中的下一数据返回至步骤2; 步骤5,在当前时空数据对应的位置处将当前时空数据序列分裂为两段时空数据序列,然后返回至步骤1; 步骤6,结束压缩处理步骤,得到由多条依次相连的直线段组成的时空数据序列,完成对时空数据序列的压缩。 进一步地,在垂直欧式距离小于或等于位置误差阈值的情况下,在执行步骤3之前,步骤2还包括:判断垂直欧式距离对应的时空数据的状态维度是否小于或等于状态阈值,若是,则执行步骤3;若否,则转到步骤5。 根据本发明实施例的第二方面,提供了一种时空数据序列的压缩装置,包括: 平滑去噪模型构建模块,用于根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程; 平滑去噪处理模块,用于根据平滑去噪模型对时空数据序列进行平滑去噪处理; 压缩处理模块,用于根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 根据本发明实施例的第三方面,提供了一种时空数据序列收集系统,包括: 数据采集装置,用于采集时空数据,将时空数据上传至数据压缩处理装置; 数据压缩处理装置,用于构建时空数据序列,根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩; 数据存储装置,用于收集经过压缩处理的时空数据序列。 根据本发明实施例的第四方面,提供了一种终端,包括: 一个或多个处理器; 存储装置,用于存储一个或多个程序, 当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述任一种时空数据序列的压缩方法。 根据本发明实施例的第五方面,提供了计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一种时空数据序列的压缩方法。 上述发明中的一个实施例具有如下优点或有益效果:因为采用根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩的技术手段,所以克服了现有技术中存在的上传的时空数据精确度低、存在噪音数据的技术问题,进而达到能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列压缩的技术效果。 上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。 附图说明 附图用于更好地理解本发明,不构成对本发明的不当限定。其中: 图1是根据本发明第一实施例提供的时空数据序列的压缩方法的主要流程的示意图; 图2a是根据本发明第二实施例提供的时空数据序列的压缩方法的主要流程的示意图; 图2b是根据图2a提供的时空数据序列的压缩方法中时空数据序列s的样例; 图2c是根据图2a提供的时空数据序列的压缩方法中时空数据序列s的平滑去噪处理流程图; 图2d是根据图2a提供的时空数据序列的压缩方法中压缩处理时空数据序列s的过程示意图; 图2e是根据图2a提供的时空数据序列的压缩方法中压缩处理时空数据序列s的结果示意图; 图2f是根据图2a提供的时空数据序列的压缩方法中未经过平滑处理与经过平滑去噪处理的时空数据序列s的输出结果对比图; 图3是根据本发明实施例提供的时空数据序列的压缩装置的主要模块的示意图; 图4是根据本发明实施例提供的时空数据序列收集系统的框架图; 图5是本发明实施例可以应用于其中的示例性系统架构图; 图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。 具体实施方式 以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。 图1是根据本发明第一实施例提供的时空数据序列的压缩方法的主要流程的示意图,如图1所示,本发明实施例提供的时空数据序列的压缩方法包括: 步骤S101,根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程。 根据时空数据的位置坐标来构建平滑去噪模型,利于后续根据彼此临近(时间戳顺序上)的坐标信息之间的关系准确识别出噪音数据并对该数据进行平滑处理(即通过平滑去噪模型的计算值来修正相应的噪音数据,使之更贴近真实值),进一步地提高了时空数据的精确度。 进一步地,根据本发明实施例,在上述根据时空数据序列中的位置坐标信息构建平滑去噪模型的步骤之前,上述时空数据序列的压缩方法还包括:将多个时空数据按照时间戳的先后顺序排列,以构建时空数据序列。 时空数据:指同时具备时间维度、空间维度、属性信息的数据,本发明中通过记录时间的时间戳、记录空间的位置坐标以及记录属性信息的状态维度来表征。 时空数据序列:指按照时间戳的先后顺序排列的一组时空数据构成的有序数列。 具体地,噪音测量矩阵是根据测量矩阵、真实状态向量以及零均值高斯噪音矢量进行构建的;状态转化矩阵是根据系统矩阵、多个时空数据以及噪音项构建的;卡尔曼滤波方程包括外推方程和/或根据外推方程得到的估计方程。 时空数据的观测(即测量)中存在噪音数据,通过根据测量矩阵、真实状态向量以及零均值高斯噪音矢量进行构建的噪音测量矩阵可以识别出相应的噪音数据,以利于后需对该噪音数据进行平滑去噪处理以提高时空数据序列中时空数据的精确度。 步骤S102,根据平滑去噪模型对时空数据序列进行平滑去噪处理。 进一步地,根据本发明实施例,根据上述平滑去噪模型对时空数据序列进行平滑去噪处理的步骤包括:根据平滑去噪模型识别出时空数据序列中的噪音数据,计算噪音数据对应的估计值,用估计值替换噪音数据,以实现对时空数据序列的平滑去噪处理。 即基于上述构建的平滑去噪模型,通过噪音测量矩阵能够准确识别出噪音数据,再通过状态转换矩阵以及卡尔曼滤波方程对临近的时空数据之间位置坐标信息之间的对应关系对噪音数据进行平滑去噪处理,即通过平滑去噪模型的计算值来修正相应的噪音数据,使之更贴近真实值,进一步地提高了时空数据的精确度。 步骤S103,根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 进一步地,根据本发明实施例,根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理的步骤包括: 步骤1,将经过平滑去噪处理的时空数据序列的首节点和尾节点连成直线段; 步骤2,依次计算时空数据序列中的时空数据到直线段的垂直欧式距离,并判断所述垂直欧式距离是否小于或等于位置误差阈值;若是,即垂直欧式距离小于或等于位置误差阈值,则执行步骤3;若否,即垂直欧式距离大于位置误差阈值,则转到步骤5; 步骤3,判断是否所有时空数据的垂直欧式距离均计算完毕;若否,则执行步骤4;若是,则转到步骤6; 步骤4,代入时空数据序列中的下一数据返回至步骤2; 步骤5,在当前时空数据对应的位置处将当前时空数据序列分裂为两段时空数据序列,然后返回至步骤1; 步骤6,结束压缩处理步骤,得到由多条依次相连的直线段组成的时空数据序列,完成对时空数据序列的压缩。 通过上述有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩能够保证在降低时空数据的存储空间(压缩效果较好)的同时还保持较高的精确度。根据本发明实施例的一具体实施方式,还可以通过道格拉斯-普克法、垂距法和/或光栏法等有损压缩算法对时空数据序列进行压缩处理。 根据本发明实施例的一具体实施方式,在垂直欧式距离小于或等于位置误差阈值的情况下,在执行步骤3之前,步骤2还包括:判断垂直欧式距离对应的时空数据的状态维度是否小于或等于状态阈值,若是,则执行步骤3;若否,则转到步骤5。 根据上述设置,通过对状态阈值的限定,能够将时空数据序列的压缩进一步地细化,进一步地降低了时空数据的存储空间,提高了时空数据序列的压缩效果。 根据本发明实施例的技术方案,因为采用根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩的技术手段,所以克服了现有技术中存在的上传的时空数据精确度低、存在噪音数据的技术问题,进而达到能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列压缩的技术效果。 图2a是根据本发明第二实施例提供的时空数据序列的压缩方法的主要流程的示意图;如图2a所示,本发明实施例提供的时空数据序列的压缩方法包括; 步骤S201,将多个时空数据按照时间戳的先后顺序排列,以构建时空数据序列。 时空数据点pi(xi,yi,zi,ti)由记录时间的时间戳t、记录空间的位置坐标x,y以及记录属性信息的状态维度z组成。根据本发明实施例一具体实施方式,状态维度可以表示瞬时速度,但这并不作为本发明的限定,还可以表征任一状态维度。 时空数据序列s(p1,p2,…,pn)由一组按照时间戳的先后顺序排列的时空数据点组成,其中n是时空数据序列s中时空数据点的个数。其中,时空数据序列s的数据样例如图2b所示。 根据本发明一实施例,有噪音的移动物体踪迹(时空数据序列)如下表1所示(其中,仅显示位置坐标x,y,和时间戳t):
步骤S202,根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程。 由于时空数据的观测(即测量)中存在噪音数据,因此需要通过根据测量矩阵、真实状态向量以及零均值高斯噪音矢量进行构建的噪音测量矩阵可以识别出相应的噪音数据,以利于后需对该噪音数据进行平滑去噪处理以提高时空数据序列中时空数据的精确度。 具体地,根据本发明一实施例,噪音测量矩阵为: Zi=Hi﹒Xi+Vi (1) 其中,Zi是关于位置坐标信息的噪音测量矩阵,Xi是真实状态向量,其中,元素xi和yi是第i个时空数据对应的测量位置坐标(也称为测量未知(unknown)坐标,表示该点为未知点,其真实坐标位置不知,只能通过测量值来表征),和是第i个时空数据对应的真实位置坐标(也称真实未知坐标,表示上述未知点的真实坐标)对应的x坐标分量和y坐标分量;Hi是测量矩阵,表征Xi和Zi之前的转换关系;Vi是零均值高斯噪音矢量。
状态转换矩阵为: Xi=Φi-1*Xi-1+Wi-1 (2) 式(2)中将真实状态向量Xi作为其前一时刻Xi-1的函数,系统矩阵Φi-1给出了两者之间的关系,根据本发明实施例的一具体实施方式,在等速运动模型中,真实状态向量之间的线性关系表示为:Xi=时间*速度*Xi-1;Wi-1为噪音项,噪音项是符合某一分部的平均值,具体为哪一分部,需要根据历史时空数据测量值拟合得出。 卡尔曼滤波方程包括外推方程以及根据外推方程得到的估计方程两部分,其中,外推方程为:
其中,式(3)又指状态向量的估计值方程,式(4)又指系统矩阵Φ对应的协方差方程,Φ表示系统矩阵,Q表示系统噪音协方差矩阵。具体地,上标(-)指状态向量的外推估计,上标(+)是指状态向量的估计值。由于测量值(获取的时空数据)存在误差,为了降低误差,提高时空数据的精确度,通过上述外推方程进行优化,具体地,第一时刻(pi)的值采用观测值,然后通过递归计算出后续每一时刻(每一时间戳)对应的数值。 估计方程为:
根据外推方程(3)、(4),将测量的时空数据合并起来即可得到估计方程(5)、(6)。K表示卡尔曼增益矩阵,R表示测量噪音的协方差矩阵。其中,根据式(5)、(6)计算出的是对状态向量X的最优估计值,能够进一步提高平滑的效果,提高时空数据的精确度。 步骤S203,根据平滑去噪模型对时空数据序列进行平滑去噪处理。 根据上述由噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程构建的平滑去噪模型,精确识别出噪音数据后,通过计算优化,得到优化估计值,然后将优化估计值替换掉噪音数据中的观测值,实现对时空数据序列中噪音数据的平滑优化。 根据本发明实施例的一具体实施方式,通过平滑去噪模型对时空数据序列进行平滑去噪处理的流程如图2c所示。 首先将时空数据序列s输入平滑去噪模型中,对初始状态的状态误差协方差进行初始估计,即令p1=Var(p1),然后通过式4、5、3、6得到最优估计值,实现对噪音数据的替换,依次计算时空数据序列中的所有时空数据,以完成对时空状态序列s的平滑优化。 步骤S204,将经过平滑去噪处理的时空数据序列的首节点和尾节点连成直线段。根据本发明一实施例,如图2d所示,将P0与P16相连成一直线段。 步骤S205,依次计算时空数据序列中的时空数据到直线段的垂直欧式距离,并判断垂直欧式距离是否小于或等于位置误差阈值;若是,则执行步骤S206;若否,则转到步骤S208。具体地,位置误差阈值的设置可以根据实际情况进行设置,一般其单位与时空数据一致。 步骤S206,判断垂直欧式距离对应的时空数据的状态维度是否小于或等于状态阈值,若是,执行步骤S207;若否,则转到步骤S208。 步骤S207,判断是否所有时空数据的垂直欧式距离均计算完毕,若否,执行步骤S208;若是,执行步骤S210。 步骤S208,代入时空数据序列中的下一数据,返回至步骤S205。 步骤S209,在当前时空数据对应的位置处将当前时空数据序列分裂为两段时空数据序列,然后返回至步骤S204。 步骤S210,结束压缩处理步骤,得到由多条依次相连的直线段组成的时空数据序列(如图2e所示),完成对时空数据序列的压缩。 根据本发明一实施例,根据上表1所示的数据获取的移动物体踪迹(时空数据序列)的输出结果与经过平滑去噪处理后的压缩移动物体踪迹(时空数据序列)的输出结果显示如图2f所示。 根据本发明实施例的技术方案,因为采用根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩的技术手段,所以克服了现有技术中存在的上传的时空数据精确度低、存在噪音数据的技术问题,进而达到能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列压缩的技术效果。 图3是根据本发明实施例提供的时空数据序列的压缩装置的主要模块的示意图;如图3所示,本发明实施例提供的时空数据序列的压缩装置300包括: 平滑去噪模型构建模块301,用于根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程。 根据时空数据的位置坐标来构建平滑去噪模型,利于后续根据彼此临近(时间戳顺序上)的坐标信息之间的关系准确识别出噪音数据并对该数据进行平滑处理(即通过平滑去噪模型的计算值来修正相应的噪音数据,使之更贴近真实值),进一步地提高了时空数据的精确度。 进一步地,根据本发明实施例,时空数据序列的压缩装置300还包括时空数据序列构建模块,在上述根据时空数据序列中的位置坐标信息构建平滑去噪模型的步骤之前,时空数据序列构建模块用于将多个时空数据按照时间戳的先后顺序排列,以构建时空数据序列。 时空数据:指同时具备时间维度、空间维度、属性信息的数据,本发明中通过记录时间的时间戳、记录空间的位置坐标以及记录属性信息的状态维度来表征。 时空数据序列:指按照时间戳的先后顺序排列的一组时空数据构成的有序数列。 具体地,噪音测量矩阵是根据测量矩阵、真实状态向量以及零均值高斯噪音矢量进行构建的;状态转化矩阵是根据系统矩阵、多个时空数据以及噪音项构建的;卡尔曼滤波方程包括外推方程和/或根据外推方程得到的估计方程。 时空数据的观测(即测量)中存在噪音数据,通过根据测量矩阵、真实状态向量以及零均值高斯噪音矢量进行构建的噪音测量矩阵可以识别出相应的噪音数据,以利于后需对该噪音数据进行平滑去噪处理以提高时空数据序列中时空数据的精确度。 平滑去噪处理模块302,用于根据平滑去噪模型对时空数据序列进行平滑去噪处理。 进一步地,根据本发明实施例,平滑去噪处理模块302还用于:根据平滑去噪模型识别出时空数据序列中的噪音数据,计算噪音数据对应的估计值,用估计值替换噪音数据,以实现对时空数据序列的平滑去噪处理。 即基于上述构建的平滑去噪模型,通过噪音测量矩阵能够准确识别出噪音数据,再通过状态转换矩阵以及卡尔曼滤波方程对临近的时空数据之间位置坐标信息之间的对应关系对噪音数据进行平滑去噪处理,即通过平滑去噪模型的计算值来修正相应的噪音数据,使之更贴近真实值,进一步地提高了时空数据的精确度。 压缩处理模块303,用于根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 根据本发明实施例,上述压缩处理模块303还用于执行下列步骤: 步骤1,将经过平滑去噪处理的时空数据序列的首节点和尾节点连成直线段; 步骤2,依次计算时空数据序列中的时空数据到直线段的垂直欧式距离,并判断所述垂直欧式距离是否小于或等于位置误差阈值;若是,即垂直欧式距离小于或等于位置误差阈值,则执行步骤3;若否,即垂直欧式距离大于位置误差阈值,则转到步骤5; 步骤3,判断是否所有时空数据的垂直欧式距离均计算完毕;若否,则执行步骤4;若是,则转到步骤6; 步骤4,代入时空数据序列中的下一数据返回至步骤2; 步骤5,在当前时空数据对应的位置处将当前时空数据序列分裂为两段时空数据序列,然后返回至步骤1; 步骤6,结束压缩处理步骤,得到由多条依次相连的直线段组成的时空数据序列,完成对时空数据序列的压缩。 通过上述有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩能够保证在降低时空数据的存储空间(压缩效果较好)的同时还保持较高的精确度。根据本发明实施例的一具体实施方式,还可以通过道格拉斯-普克法、垂距法和/或光栏法等有损压缩算法对时空数据序列进行压缩处理。 进一步地,根据本发明实施例的一具体实施方式,在垂直欧式距离小于或等于位置误差阈值的情况下,在执行步骤3之前,上述压缩处理模块303还用于:判断垂直欧式距离对应的时空数据的状态维度是否小于或等于状态阈值,若是,则执行步骤3;若否,则转到步骤5。 根据上述设置,通过对状态阈值的限定,能够将时空数据序列的压缩进一步地细化,进一步地降低了时空数据的存储空间,提高了时空数据序列的压缩效果。 根据本发明实施例的技术方案,因为采用根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩的技术手段,所以克服了现有技术中存在的上传的时空数据精确度低、存在噪音数据的技术问题,进而达到能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列压缩的技术效果。 可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。 图4时根据本发明实施例提供的时空数据序列收集系统的框架图;如图4所示,本发明实施例提供的时空数据序列收集系统包括: 数据采集装置401,用于采集时空数据,将时空数据上传至数据压缩处理装置。 具体地,数据采集装置401通过多个传感器设备采集时空数据,可以通过实时或延迟批量将采集到的时空数据上传至数据压缩处理装置中。 数据压缩处理装置402,构建时空数据序列,根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 根据本发明一实施例,数据压缩处理装置402的缓存数据模块接收数据采集装置401上传的时空数据,然后将多个时空数据按照时间戳的先后顺序排列,以构建时空数据序列。 接着,数据压缩处理装置402的平滑模块根据时空数据序列中的位置坐标信息构建平滑去噪模型,并根据平滑去噪模型对时空数据序列进行平滑去噪处理。其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程。 进一步地,根据本发明实施例,根据上述平滑去噪模型对时空数据序列进行平滑去噪处理的步骤包括:根据平滑去噪模型识别出时空数据序列中的噪音数据,计算噪音数据对应的估计值,用估计值替换噪音数据,以实现对时空数据序列的平滑去噪处理。 即基于上述构建的平滑去噪模型,通过噪音测量矩阵能够准确识别出噪音数据,再通过状态转换矩阵以及卡尔曼滤波方程对临近的时空数据之间位置坐标信息之间的对应关系对噪音数据进行平滑去噪处理,即通过平滑去噪模型的计算值来修正相应的噪音数据,使之更贴近真实值,进一步地提高了时空数据的精确度。 最后,数据压缩处理装置402的压缩模块根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 进一步地,根据本发明实施例,根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理的步骤包括: 步骤1,将经过平滑去噪处理的时空数据序列的首节点和尾节点连成直线段; 步骤2,依次计算时空数据序列中的时空数据到直线段的垂直欧式距离,并判断所述垂直欧式距离是否小于或等于位置误差阈值;若是,即垂直欧式距离小于或等于位置误差阈值,则执行步骤3;若否,即垂直欧式距离大于位置误差阈值,则转到步骤5; 步骤3,判断是否所有时空数据的垂直欧式距离均计算完毕;若否,则执行步骤4;若是,则转到步骤6; 步骤4,代入时空数据序列中的下一数据返回至步骤2; 步骤5,在当前时空数据对应的位置处将当前时空数据序列分裂为两段时空数据序列,然后返回至步骤1; 步骤6,结束压缩处理步骤,得到由多条依次相连的直线段组成的时空数据序列,完成对时空数据序列的压缩。 根据本发明实施例的一具体实施方式,在垂直欧式距离小于或等于位置误差阈值的情况下,在执行步骤3之前,步骤2还包括:判断垂直欧式距离对应的时空数据的状态维度是否小于或等于状态阈值,若是,则执行步骤3;若否,则转到步骤5。 数据存储装置403,用于收集经过压缩处理的时空数据序列。 根据本发明实施例的技术方案,因为采用根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩的技术手段,所以克服了现有技术中存在的上传的时空数据精确度低、存在噪音数据的技术问题,进而达到能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列压缩的技术效果。 图5示出了可以应用本发明实施例的时空数据序列的压缩方法或时空数据序列的压缩装置的示例性系统架构500。 如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505(此架构仅仅是示例,具体架构中包含的组件可以根据申请具体情况调整)。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。 用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。 终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。 服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的时空数据序列中的位置坐标信息等数据进行分析等处理,并将处理结果(例如经过平滑去噪处理的时空数据序列、经过压缩的时空数据序列)反馈给终端设备。 需要说明的是,本发明实施例所提供的时空数据序列的压缩方法一般由服务器505执行,相应地,时空数据序列的压缩装置一般设置于服务器505中。 应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。 下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。 如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。 以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。 特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。 需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。 附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。 描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括平滑去噪模型构建模块、平滑去噪处理模块和压缩处理模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,压缩处理模块还可以被描述为“用于根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理的模块”。 作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩。 根据本发明实施例的技术方案,因为采用根据时空数据序列中的位置坐标信息构建平滑去噪模型,其中,平滑去噪模型包括噪音测量矩阵、状态转换矩阵以及卡尔曼滤波方程;根据平滑去噪模型对时空数据序列进行平滑去噪处理;根据有损压缩算法对经过平滑去噪处理的时空数据序列进行压缩处理,以实现对时空数据序列的压缩的技术手段,所以克服了现有技术中存在的上传的时空数据精确度低、存在噪音数据的技术问题,进而达到能够识别并剔除噪音数据,在保证较高精确度的情况下实现时空数据序列压缩的技术效果。 上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
x
y
t
24.973902
102.864006
2019/4/21 9:00:02
29.747248
107.269174
2019/4/21 9:00:03
36.211595
120.091359
2019/4/21 9:00:04
34.859158
114.507582
2019/4/21 9:00:05
29.478616
106.707738
2019/4/21 9:00:06
22.804976
114.056507
2019/4/21 9:00:07
30.435698
114.057233
2019/4/21 9:00:08
24.973244
102.864941
2019/4/21 9:00:09