一种降低图片存储空间的方法
阅读说明：本技术 一种降低图片存储空间的方法 (Method for reducing picture storage space ) 是由 苏伟 于 2021-09-27 设计创作，主要内容包括：本发明公开了一种降低图片存储空间的方法,包括以下步骤：步骤S1、客户端将图片上传至图片接入服务单元；步骤S2、客户端上传图片时获取图片元数据；步骤S3、图片接入服务单元将图片缓存到本地高速缓单元,将所述图片元数据录入数据库并返回步骤S1；步骤S4、元数据管理服务单元将图片元数据根据预设的图片分类规则进行分类,并将符合所述图片分类规则的图片对应的图片元数据生成任务列表；步骤S5、转码服务单元从元数据管理服务单元获取任务列表,并执行任务；步骤S6、转码服务单元完成转码任务后将转码后的视频流chunk文件发送至存储节点单元,并更新数据库中的图片元数据。(The invention discloses a method for reducing picture storage space, which comprises the following steps: step S1, the client side uploads the picture to the picture access service unit; step S2, acquiring picture metadata when the client uploads the picture; step S3, the picture access service unit caches the picture to a local cache unit, records the picture metadata into a database and returns to step S1; step S4, the metadata management service unit classifies the picture metadata according to preset picture classification rules, and generates a task list from the picture metadata corresponding to the pictures according with the picture classification rules; step S5, the transcoding service unit acquires a task list from the metadata management service unit and executes the task; and step S6, after finishing the transcoding task, the transcoding service unit sends the transcoded video stream chunk file to the storage node unit and updates the picture metadata in the database.)
技术领域
本发明涉及云存储技术领域，特别是涉及一种降低图片存储空间的方法，用于自建私有云对存储空间有有较大需求的系统。
背景技术
随着人工智能技术的日渐成熟，“AI+安防”行业在政策和技术的驱动下发展势头迅猛，AI在安防领域最成熟的应用为基于视频监控的图像识别和大数据分析。一个城市级别的摄像头数量每天产生的抓拍图片数量是海量的，而随着高清摄像机的普及甚至是4K、8K的摄像机，图片数据越来越大，大量的图片数据对存储空间提出了很大的挑战。因此，亟需一种技术方案，能够在有效的存储空间下存储更多的数据从而达到节省成本的目的。
发明内容
为解决现有技术中存在的问题，本发明提供了一种降低图片存储空间的方法，能够在有效的存储空间下存储更多的数据从而达到节省成本的目的。
本发明采用的技术方案是：
一种降低图片存储空间的方法，包括以下步骤：
步骤S1、客户端将图片上传至图片接入服务单元；
步骤S2、客户端上传图片时获取图片元数据；
步骤S3、图片接入服务单元将图片缓存到本地高速缓单元，将所述图片元数据录入数据库并返回步骤S1；
步骤S4、元数据管理服务单元将图片元数据根据预设的图片分类规则进行分类，并将符合所述图片分类规则的图片对应的图片元数据生成任务列表；
步骤S5、转码服务单元从元数据管理服务单元获取任务列表，并执行任务；
步骤S6、转码服务单元完成转码任务后将转码后的视频流chunk文件发送至存储节点单元，并更新数据库中的图片元数据。
在本技术方案中，客户端上传图片到图片接入服务单元，图片接入服务单元写数据到本地高速缓存单元并将图片元数据写入数据库后返回客户端下载地址。图片元数据包含图片ID、抓拍机ID、图片名字、图片大小、图片类型等。元数据管理服务单元将一段时间范围内的图片按照抓拍机ID做好分类，之所以用抓拍机ID去分类是因为同属于一个抓拍机的图片之间的区别比较小，当把这些图片转码成为视频流chunk文件会极大地压缩数据体积。转码服务单元从元数据管理服务单元获取任务列表，执行多张图片转视频操作，一个任务包含抓拍机ID和该抓拍机一段时间范围内的若干图片。转码后的视频流chunk文件由chunkID唯一标识为，chunk ID由抓拍机ID和时间组成，chunk元数据包含了chunk ID、图片ID列表，图片ID对应视频帧的位置和大小。转码完成后将chunk文件写入存储节点，同时将chunk元数据写入数据库并且更新图片的元数据信息，之后图片的下载从chunk文件中读取。客户端下载图片时向接入服务发起请求，接入服务查询图片元数据得到chunk ID，通过chunkID查询chunk元数据得到chunk的下载地址和图片ID在chunk文件中的位置和大小。下载chunk文件后将chunk数据和索引信息发给转码服务单元得到图片数据，最后将图片数据返回给客户端。
在进一步的技术方案中，所述方法还包括客户端下载图片时向接入服务单元发起请求；
接入服务单元读取图片元数据获取视频流chunk ID，根据chunk ID查询视频流chunk文件元数据，并获取视频流chunk文件的下载地址和图片ID在视频流chunk文件中的大小及位置；
下载视频流chunk文件后将视频流chunk文件数据和索引信息发给转码服务单元获取图片数据，并图片数据发送给客户端。
在进一步的技术方案中，所述chunk ID包括抓拍机ID和预设时间。
在进一步的技术方案中，所述chunk文件元数据包括chunk ID、图片ID列表、图片ID对应视频帧的位置和大小。
在进一步的技术方案中，所述步骤S2中的图片元数据包括图片ID、抓拍机ID、图片名字、图片大小和图片类型。
在进一步的技术方案中，步骤S4中预设的图片分类规则包括：
将抓拍机ID抓拍的图片转码成视频流chunk文件，根据时间段将抓拍机ID抓拍的图片进行分类。
在进一步的技术方案中，步骤S5中的任务包括抓拍机ID和所述抓拍机在预设时间段内抓拍的图片。
在进一步的技术方案中，步骤S6包括：
将所述视频流chunk文件发送至存储节点单元，同时将chunk文件元数据存储进数据库并更新图片的元数据信息；
在视频流chunk文件中对图片的下载进行读取。
附图说明
图1为本发明所提供的一种降低图片存储空间的方法的流程图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例：
如图1所示，一种降低图片存储空间的方法，包括以下步骤：
步骤S1、客户端将图片上传至图片接入服务单元；
步骤S2、客户端上传图片时获取图片元数据；
步骤S3、图片接入服务单元将图片缓存到本地高速缓单元，将所述图片元数据录入数据库并返回步骤S1；
步骤S4、元数据管理服务单元将图片元数据根据预设的图片分类规则进行分类，并将符合所述图片分类规则的图片对应的图片元数据生成任务列表；
步骤S5、转码服务单元从元数据管理服务单元获取任务列表，并执行任务；
步骤S6、转码服务单元完成转码任务后将转码后的视频流chunk文件发送至存储节点单元，并更新数据库中的图片元数据。
在本实施例中，客户端上传图片到图片接入服务单元，图片接入服务单元写数据到本地高速缓存单元并将图片元数据写入数据库后返回客户端下载地址。图片元数据包含图片ID、抓拍机ID、图片名字、图片大小、图片类型等。元数据管理服务单元将一段时间范围内的图片按照抓拍机ID做好分类，之所以用抓拍机ID去分类是因为同属于一个抓拍机的图片之间的区别比较小，当把这些图片转码成为视频流chunk文件会极大地压缩数据体积。转码服务单元从元数据管理服务单元获取任务列表，执行多张图片转视频操作，一个任务包含抓拍机ID和该抓拍机一段时间范围内的若干图片。转码后的视频流chunk文件由chunkID唯一标识为，chunk ID由抓拍机ID和时间组成，chunk元数据包含了chunk ID、图片ID列表，图片ID对应视频帧的位置和大小。转码完成后将chunk文件写入存储节点，同时将chunk元数据写入数据库并且更新图片的元数据信息，之后图片的下载从chunk文件中读取。客户端下载图片时向接入服务发起请求，接入服务查询图片元数据得到chunk ID，通过chunkID查询chunk元数据得到chunk的下载地址和图片ID在chunk文件中的位置和大小。下载chunk文件后将chunk数据和索引信息发给转码服务单元得到图片数据，最后将图片数据返回给客户端。
在另一个实施例中，还包括客户端下载图片时向接入服务单元发起请求；
接入服务单元读取图片元数据获取视频流chunk ID，根据chunk ID查询视频流chunk文件元数据，并获取视频流chunk文件的下载地址和图片ID在视频流chunk文件中的大小及位置；
下载视频流chunk文件后将视频流chunk文件数据和索引信息发给转码服务单元获取图片数据，并图片数据发送给客户端。
在本实施例中，客户端主要是发起上传图片的请求，可以是一个抓拍机，也可以是一个第三方应用。图片接入服务单元对外提供接口处理图片的上传和下载，收取图片放入本地高速缓存单元后，一方面可以提高图片上传的并发，另一方面本地高速缓存可以作为后续图片转视频处理的临时缓存，图片接入服务可以分布式部署，前面部署nginx配置可以实现负载均衡，将图片上传请求均衡打到不同的图片接入。
在另一个实施例中，chunk ID包括抓拍机ID和预设时间。
在另一个实施例中，chunk文件元数据包括chunk ID、图片ID列表、图片ID对应视频帧的位置和大小。
本实施例中的chunk ID是后面转码任务完成后，更新图片元数据时会写入chunkID，后续下载图片时会用到这个chunk ID。客户端下载图片时向接入服务发起请求，接入服务查询图片元数据得到chunk ID，通过chunk ID查询chunk元数据得到chunk的下载地址和图片ID在chunk文件中的位置和大小。
在另一个实施例中，步骤S2中的图片元数据包括图片ID、抓拍机ID、图片名字、图片大小和图片类型。
在另一个实施例中，步骤S4中预设的图片分类规则包括：
将抓拍机ID抓拍的图片转码成视频流chunk文件，根据时间段将抓拍机ID抓拍的图片进行分类。
在本实施例中，将某个抓拍机一段时间范围内的图片流转码为视频流chunk文件，任务来源于元数据管理服务单元，将抓拍机ID的图片列表按照时间段进行分类，比如每半个小时的图片列表对应一个视频流chunk文件，也就是说将这半个小时的图片列表转码为视频文件。
在另一个实施例中，步骤S5中的任务包括抓拍机ID和所述抓拍机在预设时间段内抓拍的图片。
在另一个实施例中，步骤S6包括：
将所述视频流chunk文件发送至存储节点单元，同时将chunk文件元数据存储进数据库并更新图片的元数据信息；
在视频流chunk文件中对图片的下载进行读取。
在本实施例中，元数据管理服务单元前置输入是图片接入服务写入的元数据，按照抓拍机ID对这些元数据进行分类，将属于某个抓拍机ID的图片按照时间顺序排序，然后按照时间段封装成转码任务，比如将某个抓拍机一小时的图片封装为一个转码任务。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：面向基因数据的联邦分析系统和方法、设备及介质