阅读说明：本技术 一种热数据智能识别的ubifs数据闪存系统 (UBIFS data flash memory system capable of intelligently identifying thermal data ) 是由 不公告发明人 于 2018-07-27 设计创作，主要内容包括：该系统主要采用哈希函数与LRU算法对热数据进行计算、分析与识别,采用多日志技术对不同热度的日志、数据进行分开存放,并通过热数据日志延迟提交技术来减少闪存系统中的日志提交带来的元数据修改,减少了数据读写的次数,同时也减少了垃圾回收触发的频率,可以有效的提高系统数据的存储效率,减少系统资源的损耗,为软件系统提供更多的数据存储容量与更快的响应速度。(The system mainly adopts a Hash function and an LRU algorithm to calculate, analyze and identify the hot data, adopts a multi-log technology to separately store logs and data with different heat degrees, reduces metadata modification brought by log submission in a flash memory system through a hot data log delayed submission technology, reduces the times of data reading and writing, simultaneously reduces the frequency of garbage recovery triggering, can effectively improve the storage efficiency of system data, reduces the loss of system resources, and provides more data storage capacity and faster response speed for a software system.)

一种热数据智能识别的UBIFS数据闪存系统

技术领域

一种热数据智能识别的UBIFS数据闪存系统，该系统采用LRU算法与基于哈希表的冷热数据识别技术对冷热数据与数据热度进行智能计算与分析，并通过多日志技术来实现数据的分类存储，由互联网以及计算机等技术建立智能化的数据存储管理系统，其技术领域涉及计算机技术、LRU算法、基于哈希表的冷热数据识别技术、多日志技术以及互联网技术等。

背景技术

随着计算机技术与互联网技术的发展与进步，人们对于数据的存储与管理也越来越重视，闪存系统可以在设备断电的时候任然保存数据，具备其他数据存储系统不可比拟的优点，但是目前的计算机系统相关数据的类型比较复杂，系统数据量吞吐也比较的大，因此对于系统数据存储与管理的要求也在不断的增加，通过冷热数据识别技术建立智能化的数据处理机制，可以有效的提高数据存储的处理效率，提高系统资源的利用率。

系统的关键技术可以分为LRU算法与基于哈希表的冷热数据识别技术两部分；

1.LRU算法，该算法主要根据数据的访问历史筛选冷热数据，其核心思想是程序的时间局部性，根据数据块的最近访问记录，可以判断将来数据被访问的几率，该算法使用链表存储热数据块的块号，可以有效的通过链表来识别系统的热数据，建立数据分类机制；

2.基于哈希表的冷热数据识别技术，该技术主要采用哈希表来存储数据块的热度值，系统通过哈希函数计算出数据块号对应的哈希表项，然后将对应哈希表项中存储的热度值加1，然后可以配合系统进行数据热度的识别，实现冷热数据的分类存储。

系统的功能模块设计可以分为冷热数据识别模块、数据热度识别模块、日志优化模块以及垃圾回收模块等四个部分；

1.冷热数据识别模块，该模块主要通过识别写入数据的冷热状态，并将数据分别存放到各自的冷、热日志中，实现冷热数据的自动分离；

2.数据热度识别模块，该模块主要采用布隆过滤器来对数据进行过滤，并通过多哈希函数的哈希表来统计数据冷热程度，以此来实现系统对于数据热度值的判断，帮助系统建立数据分类存储与数据回收的方法；

3.日志优化模块，该模块主要多日志技术和热数据日志延迟提交技术来防止热数据的失效，对日志的应用与管理方式进行优化，优化冷热数据的存储效率；

4.垃圾回收模块，该模块主要通过逻辑块属性树来管理逻辑块的状态，对闲置数据进行判断与分析，可以实现垃圾数据的回收功能，并对回收频率与识别进行优化，降低了系统的使用压力。