一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统

文档序号:34595 发布日期:2021-09-24 浏览:32次 >En<

阅读说明:本技术 一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统 (Two-way data irreversible storage system based on combination of block chain and blue-ray storage ) 是由 王大鹏 张海龙 田国刚 姜南雪 张诗琪 金岚 于 2021-06-15 设计创作,主要内容包括:本发明公开了一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统,包括存储模块和检索模块,所述存储模块能够通过数据存储策略将数据存储并进行管理,在区块链节点与用户达成数据存储的合约后,接收用户数据,通过智能算法预测用户数据访问概率,构建用户数据的数据标识,所述数据标识包括用户ID、用户数据索引、数据访问概率,判断数据访问概率是否超过阈值选择数据存储策略;所述检索模块能够通过数据检索策略在存储系统中进行检索,在用户检索数据时,根据数据标识进行检索,判断数据访问概率是否超过阈值选择数据检索策略。本发明提供了根据用户数据标识进行双路存储且操作不可逆的系统,能够满足大数据存储,且提供快速检索的服务。(The invention discloses a two-way data irreversible storage system based on combination of a block chain and blue-ray storage, which comprises a storage module and a retrieval module, wherein the storage module can store and manage data through a data storage strategy, receives user data after a contract of data storage is achieved between a block chain link point and a user, predicts user data access probability through an intelligent algorithm, constructs data identification of the user data, and judges whether the data access probability exceeds a threshold value to select the data storage strategy or not; the retrieval module can retrieve in the storage system through the data retrieval strategy, and when a user retrieves data, the retrieval module retrieves according to the data identification and judges whether the data access probability exceeds a threshold value to select the data retrieval strategy. The invention provides a system which performs double-path storage and is operated irreversibly according to the user data identification, can meet the requirement of large data storage, and provides a service of quick retrieval.)

一种基于区块链和蓝光存储相结合的双路数据不可逆存储 系统

技术领域

本发明涉及数据存储领域,尤其涉及一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统。

背景技术

如今,伴随着云计算、大数据、物联网、人工智能等信息技术的快速发展和传统产业数字化的转型,数据量呈现几何级增长。而对于不同的数据在访问频率、访问次数等方面存在很大的不同。当前的存储系统采用磁、电作为物理存储介质,磁、电介质能够保持数据一直在线,提高数据相应速度,但同时也带来能耗巨大、存储寿命短,存储方式单一,易出故障等诸多问题。区块链存储是一种数据存储技术,通过网络使用每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在网络中的各个角落,一个用户的数据被拆分成碎片存储在不同的区块链节点中,从而向用户提供安全、可靠、快速、灵活、低成本的存储服务。区块链存储需要为用户提供稳定、快速的服务的同时降低节点的存储、以及检索数据的成本。在大量的数据储存以及检索的需求下,依旧保持快速的服务是具有挑战的。

发明内容

本发明提供一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统,以克服上述技术问题。

一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统,其特征在于,包括存储模块和检索模块,

所述存储模块能够通过数据存储策略将数据存储并进行管理,在区块链节点与用户达成数据存储的合约后,接收用户数据,通过智能算法预测用户数据访问概率,构建用户数据的数据标识,所述数据标识包括用户ID、用户数据索引、数据访问概率,判断数据访问概率是否超过阈值,是则采用数据存储策略a1,否则采用数据存储策略a2,

所述数据存储策略包括:

a1、验证区块链存储是否饱和,若不饱和则将用户数据保存在区块链中,若饱和则将区块链中存储的数据转移至蓝光存储模块后,在区块链中保存用户数据;

a2、验证区块链存储是否饱和,若不饱和则同时将用户数据存储在区块链和蓝光存储模块中,若饱和则将区块链中存储的数据删除后将用户数据同时存储在区块链和蓝光存储模块中;

所述检索模块能够通过数据检索策略在存储系统中进行检索,在用户检索数据时,根据数据标识进行检索,判断数据访问概率是否超过阈值,是则采用数据检索策略a3,否则采用数据检索策略a4,

所述数据检索策略包括:

a3、先基于用户数据的数据标识在区块链中进行检索,若在区块链中未检索到用户数据,则基于用户数据的数据标识在蓝光存储模块中进行检索,将检索结果反馈至用户,同时更新存储用户数据标识中的数据访问概率;

a4、直接在蓝光存储模块中进行检索,将检索结果反馈至用户,同时更新存储用户数据标识中的数据访问概率。

优选地,将区块链中存储的数据转移至蓝光存储模块包括确定待转移数据单元、临时存储单元、转移单元,

确定待转移数据单元用于从区块链中筛选待转移的用户数据,当区块链的存储空间达到饱和状态时,通过数据存储时长或数据访问频率对区块链中的用户数据进行筛选,将满足阈值的用户数据确定为待转移用户数据;

临时存储单元用于创建临时存储空间,将待转移用户数据存储在临时存储空间中;

转移单元用于将临时存储空间中的数据传输至蓝光存储模块,转移成功后删除区块链中的待转移数据。

优选地,将数据存储在蓝光存储模块中还包括对数据进行冗余备份,所述冗余备份是将数据分为多个子数据,然后将子数据进行Reed-Solmon编码成为冗余子数据,将冗余子数据分开存储。

优选地,将数据存储并进行管理是指定期对区块链中存储的用户数据进行转移,所述定期是指以区块链存储空间达到饱和所需的平均时间为周期,所述进行转移是指当数据同时存储在区块链和蓝光存储模块时,将区块链中的数据进行删除,当数据只存储在区块链时,先将数据转移至蓝光存储模块后进行删除。

6、优选地,通过智能算法预测用户数据访问概率是指通过智能算法预测系统中存储的所有文件被访问的概率,所述智能算法包括且不限于RBF神经网络、GRNN神经网络、SVR,以一种或多种智能算法组合进行预测。

本发明提供一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统,能够将数据采用不同的存储策略分别在区块链和蓝光存储模块中进行存储,基于区块链和蓝光存储的存储特性,实现了操作不可逆数据安全存储,根据智能算法将用户数据访问概率超过阈值的数据进行转移,提高数据访问速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明系统模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1为本发明系统模块图,如图1所示,本实施例的方法可以包括:

一种基于区块链和蓝光存储相结合的双路数据不可逆存储系统,包括存储模块和检索模块,

所述存储模块能够通过数据存储策略将数据存储并进行管理,将数据存储并进行管理是指定期对区块链中存储的用户数据进行转移,所述定期是指以区块链存储空间达到饱和所需的平均时间为周期,所述进行转移是指当数据同时存储在区块链和蓝光存储模块时,将区块链中的数据进行删除,当数据只存储在区块链时,先将数据转移至蓝光存储模块后进行删除。

所述区块链,具有时间戳特性和不可篡改特性,这两个特性用于数据的存证,包括当前区块链、上层区块链、下层区块链、区块链服务系统和储存单元,区块链服务系统包括依次连接的C/S架构模式、B/S架构模式、系统逻辑模块、数据区块层和网络交换层,所述储存单元和所述系统逻辑模块分别接收所述当前区块链、所述上层区块链和所述下层区块链节点写入的区块链数据,并对所述区块链数据进行存储,当节点读取区块链数据时,节点先从是系统逻辑模块和所述储存单元中进行读取;

其中,数据区块层包括基于物理数据块的顺序集合,用于提供整个区块链网络的分布式数据存储和数据读取,当访问端需要访问数据时,通过储存单元选择需要访问的数据的公开性或保密性中的一种,访问端受控于储存单元,输入端通过储存单元进行数据存储,所述储存单元公开数据接收单元和保密数据接收单元。

所述蓝光存储模块包括存储阵列和控制单元;所述存储阵列包括多个光盘匣和光驱阵列,所述控制单元包括I/O处理芯片和RAID控制芯片,所述I/O处理芯片和RAID控制芯片为蓝光存储模块内的光驱阵列进行数据刻录与读取时提供性能支持,并完成RAID冗余、离线管理和数据读取,蓝光存储模块以蓝光光盘为存储介质,蓝光光盘具备数据一经写入不可篡改即不可逆性,防病毒、防黑客、防电磁攻击等特性,保障数据完整。

7、在区块链节点与用户达成数据存储的合约后,接收用户数据,通过智能算法预测用户数据访问概率,记为f1,通过智能算法预测系统中存储的所有文件被访问的概率,所述智能算法包括且不限于RBF神经网络、GRNN神经网络、SVR,以一种或多种智能算法组合进行预测。

在用户将数据最先保存到系统中时,数据是一个个的点,所以在最开始时,数据依然是孤岛的形态。而用户会以不同的概率对数据进行访问,并且数据之间也存在访问影响,需对用户的数据访问概率进行更新,所述更新数据访问概率的步骤包括:

步骤1a、设定各关联关系的访问概率初值;

步骤1b、采集设定时间段的存储系统的访问数据;

步骤1c、根据访问数据对访问概率初值进行更新,此时的数据访问概率记为f2

用户的数据访问概率以公式(1)进行计算,

f=f1*k1+f2*k2 (1)

其中,k1、k2为权重,k1+k2=1,f为用户数据访问概率。

具体实施步骤包括,在用户访问了某数据(标记为A),这个数据就被标记为根节点,同一用户访问的另一个数据B,就被标记为引用1,再访问的数据C标记为引用2,再访问的数据D标记为引用3,再访问的数据E标记为引用4,不同节点之间的引用关系为相对引用关系,也就是说,B的引用1为C,D是A的引用3,D是B的引用2;

首次标记的引用设定的访问概率初值均为50%,也就是说根节点与引用1之间的访问概率,引用1与引用2之间的访问概率,以此类推各引用之间的访问概率的初始值均设定为50%,数据访问概率阈值设定为70%;

根据用户的不断访问,就可以将数据从一个个孤岛连接成陆地了。这个过程中,概率的更新主要依据用户的访问情况来做判断。

其中,访问概率更新规则如下:

访问A后,用户访问了B,则更新数据访问概率,提升原有访问概率50%为100%。用户下次访问A后,会自动将B缓存到高速设备中,下次客户访问B会得到快速的响应。

访问A后,用户没有访问B,则更新数据访问概率,降低原有访问概率50%为25%,新访问的数据,标记为引用2,设定有引用2的访问概率为25%;

访问A后,客户端访问B,再访问C,则同时更新B和C的访问概率,将B和C的访问概率提高2倍;

若访问了D后,再访问A,则A是D的引用,A的访问概率更新跟其他节点的更新方式一致;

若B,C的的访问概率相同,且达到了数据访问概率阈值,则同时缓存B和C;

为所有达到数据访问概率阈值的引用设定降值保护策略,对于未访问次数达到5次以上的引用,才会调整其引用概率,避免引用反复波动,对于未访问次数达到5次以上的引用,将访问概率降低2倍。

构建用户数据的数据标识,所述数据标识包括用户ID、用户数据索引、数据访问概率,判断数据访问概率是否超过阈值,是则采用数据存储策略a1,否则采用数据存储策略a2,

所述数据存储策略包括:

a1、验证区块链存储是否饱和,若不饱和则将用户数据保存在区块链中,若饱和则将区块链中存储的数据转移至蓝光存储模块后,在区块链中保存用户数据;所述将区块链中存储的数据转移至蓝光存储模块包括确定待转移数据单元、临时存储单元、转移单元,

确定待转移数据单元用于从区块链中筛选待转移的用户数据,当区块链的存储空间达到饱和状态时,通过数据存储时长或数据访问频率对区块链中的用户数据进行筛选,将满足阈值的用户数据确定为待转移用户数据;

临时存储单元用于创建临时存储空间,将待转移用户数据存储在临时存储空间中;

转移单元用于将临时存储空间中的数据传输至蓝光存储模块,转移成功后删除区块链中的待转移数据。

a2、验证区块链存储是否饱和,若不饱和则同时将用户数据存储在区块链和蓝光存储模块中,若饱和则将区块链中存储的数据删除后将用户数据同时存储在区块链和蓝光存储模块中;

所述对区块链达到饱和状态的验证可以通过对区块链进行测试,获取区块链达到饱和时的存储状态,当区块链节点增长到一定程度或区块链存储数据达到一定数量时,区块链的系统资源使用率(例如CPU使用率或内存使用率)趋于稳定(例如,大约稳定在90%处),这时,可以认为区块链资源使用率基本饱和,该状态下可以被视为区块链系统的饱和状态。当区块链存储达到该瓶颈状态时,将数据转移至蓝光存储模块。

所述检索模块能够通过数据检索策略在存储系统中进行检索,在用户检索数据时,根据数据标识进行检索,判断数据访问概率是否超过阈值,是则采用数据检索策略a3,否则采用数据检索策略a4,

所述数据检索策略包括:

a3、先基于用户数据的数据标识在区块链中进行检索,若在区块链中未检索到用户数据,则基于用户数据的数据标识在蓝光存储模块中进行检索,将检索结果反馈至用户,同时更新存储用户数据标识中的数据访问概率;

a4、直接在蓝光存储模块中进行检索,将检索结果反馈至用户,同时更新存储用户数据标识中的数据访问概率。

将数据存储在蓝光存储模块中还包括对数据进行冗余备份,所述冗余备份是将数据分为多个子数据,然后将子数据进行Reed-Solmon编码成为冗余子数据,将冗余子数据分开存储。

整体有的有益效果:本发明能够将数据采用不同的存储策略分别在区块链和蓝光存储模块中进行存储,基于区块链和蓝光存储的存储特性,实现了操作不可逆数据安全存储,根据智能算法将用户数据访问概率超过阈值的数据进行转移,提高数据访问速度。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

9页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种分布式图片存储转为视频并转码展示方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!