一种深度信息的量化和编码方法

文档序号:97948 发布日期:2021-10-12 浏览:27次 >En<

阅读说明:本技术 一种深度信息的量化和编码方法 (Depth information quantization and coding method ) 是由 邹川川 于 2021-08-09 设计创作,主要内容包括:本发明公开了一种深度信息的量化和编码方法。它具体包括如下步骤:用开启激光雷达的设备拍摄带有深度信息的视频;将深度信息量化为颜色编码数据;选择一条视频轨道,并在meta data中标记这条视频轨道用于存储深度信息;将量化后的颜色编码数据压缩为视频流保存在视频轨道中,并且在meta data中为该视频流做特定标记;读取meta data找到带标记的视频轨道,之后找到带特定标记的深度信息编码的那个视频流;将深度信息编码的那个视频流解码为颜色编码数据;将颜色编码数据量化还原为深度信息。本发明的有益效果是:能够在支持该颜色编码格式的设备上进行渲染;将深度信息量化后的数据编码成视频码流,以便在普通设备上传输和解码。(The invention discloses a method for quantizing and coding depth information. The method specifically comprises the following steps: shooting a video with depth information by using equipment for starting a laser radar; quantizing the depth information into color-coded data; selecting a video track, and marking the video track in meta data for storing depth information; compressing the quantized color coded data into a video stream, storing the video stream in a video track, and making a specific mark for the video stream in meta data; reading meta data to find a video track with a mark, and then finding a video stream coded by depth information with a specific mark; decoding the video stream encoded with the depth information into color-coded data; the color-coded data is quantized back to depth information. The invention has the beneficial effects that: capable of rendering on a device that supports the color coding format; and coding the data after the depth information quantization into a video code stream so as to be transmitted and decoded on common equipment.)

一种深度信息的量化和编码方法

技术领域

本发明涉及图像编解码相关

技术领域

,尤其是指一种深度信息的量化和编码方法。

背景技术

随着激光雷达在部分高端手机上的应用,手机拍摄的照片或视频可以附带拍摄者到物体间的距离即深度信息;但对于深度信息,现有的技术缺乏统一跨平台的深度信息编解码、保存和渲染方法。

发明内容

本发明是为了克服现有技术中存在上述的不足,提供了一种支持深度信息渲染的深度信息的量化和编码方法。

为了实现上述目的,本发明采用以下技术方案:

一种深度信息的量化和编码方法,具体包括如下步骤:

(1)用开启激光雷达的设备拍摄带有深度信息的视频;

(2)将深度信息量化为颜色编码数据yuv,量化公式为:yuv = k * D * R,其中k为根据深度信息有效范围和yuv取值范围计算的量化因子,D表示深度信息值,R表示yuv取值范围;深度信息有效范围是指激光雷达能够感知的距离设备的距离,量化因子就是把深度信息重映射到另一个范围数值的计算比例,深度信息值是指实际物体到拍摄者之间的距离,yuv取值范围是指一单位yuv在计算机存储时候能表示的数值范围;

(3)选择一条视频轨道,并在meta data中标记这条视频轨道用于存储深度信息;视频轨道用来存储数字化的视频信息,meta data是用来描述视频文件属性信息的;

(4)将量化后的颜色编码数据压缩为视频流保存在视频轨道中,并且在meta data中为该视频流做特定标记;

(5)读取meta data找到带标记的视频轨道,之后找到带特定标记的深度信息编码的那个视频流;

(6)将深度信息编码的那个视频流解码为颜色编码数据;

(7)将颜色编码数据量化还原为深度信息,量化还原公式为:D = 1/k * 1/R *yuv。

上述深度信息的量化和编解码方法是将深度信息以特定量化标准量化为颜色编码数据,按视频压缩标准编码为视频流保存,解码为颜色编码数据,量化还原为深度信息,可应用于深度信息的保存,在不同设备间传递、渲染,利用深度信息和视频信息做特效等场景。深度信息的量化能将深度信息在有限精度损失的情况下,将深度信息转换为颜色编码数据,以现有的颜色编码格式编码,能够在支持该颜色编码格式的设备上进行渲染。其中:深度信息的量化方法,使用不同的量化策略(如均匀量化和非均匀量化),将深度信息转换为通用的颜色编码格式(如yuv)数据。深度信息的编码方法,将深度信息量化后的数据编码成视频码流,以便在普通设备上传输和解码。

作为优选,在步骤(1)中,具体为:打开设备的激光雷达功能,用设备上的摄像头录制一段视频,获取视频中拍摄到的物体的实时深度信息。

作为优选,在步骤(2)中,具体为:对实时获取到的深度信息中,距离拍摄者0 ~5m之间的深度信息量化为颜色编码格式数据,量化后的yuv数据直接渲染到屏幕上。

作为优选,在步骤(4)中,具体为:用HEVC视频编码格式将量化后的yuv数据压缩进stream 1视频流,导出通用的mp4 视频文件,该视频中包含了录制的视频流stream 0和深度信息视频流 stream 1,完成深度信息量化后的编码和保存。

作为优选,在步骤(5)中,具体为:获取mp4视频文件的meta data信息,读取到标记深度信息的视频轨道,之后确定stream 1为深度信息视频流。

作为优选,在步骤(7)中,具体为:根据获取到的深度信息,在stream 0视频流中加入不同的特效,丰富影视特效的立体创作。

本发明的有益效果是:可应用于深度信息的保存,在不同设备间传递、渲染,利用深度信息和视频信息做特效等场景;能够在支持该颜色编码格式的设备上进行渲染;将深度信息量化后的数据编码成视频码流,以便在普通设备上传输和解码。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所述的实施例中,一种深度信息的量化和编码方法,利用特定的量化策略,将深度信息量化成通用的颜色编码数据,用标准的视频压缩技术压缩成视频,实现在不同操作系统和硬件的设备上完成深度信息的解析、渲染等功能。为了提高深度信息的量化的精度和编码的泛用性,该方法选用10Bit YUV 420 颜色编码格式。在压缩为视频流时,为了提高影像质量和减小视频文件大小,采用了HEVC标准进行压缩。以iPhone 12 Pro Max上利用深度信息对视频中不同深度的物体添加特效为例,给出本文深度信息量化和编解码的一个具体实施示例,具体包括如下步骤:

(1)用开启激光雷达的设备拍摄带有深度信息的视频;具体为:打开设备iPhone的激光雷达功能,用设备上的后置摄像头录制一段视频,获取视频中拍摄到的物体的实时深度信息。

(2)将深度信息量化为颜色编码数据yuv,量化公式为:yuv = k * D * R,其中k为根据深度信息有效范围和yuv取值范围计算的量化因子,D表示深度信息值,R表示yuv取值范围;具体为:对实时获取到的深度信息中,距离拍摄者0 ~5m之间的深度信息量化为颜色编码格式数据,即用量化公式量化为10Bit YUV 420 颜色编码格式数据,最大精度损失为1 / (2^10) * 5,约为0.00483m,量化后的yuv数据直接渲染到屏幕上,表现为离拍摄者越近,亮度越低,离拍摄者越远,亮度越高。

其中:深度信息有效范围是指激光雷达能够感知的距离设备的距离,比如最远能感知到5米,那么拍摄完成的照片或者视频,所有点的值都在0~5米之间,表示该点上的物体到拍摄者之间的距离。量化因子就是把上述深度信息重映射到另一个范围数值的计算比例,比如在线性量化的时候,举个例子yuv = 100 * 深度信息。100就是量化因子,就可以通过量化因子计算yuv=100的时候,实际的深度信息就是1米。计算公式会有不同,这个因子保证我能把信息还原。深度信息值如上所述,是指实际物体到拍摄者之间的距离,通过激光雷达设备检测到的,由于设备能感知的距离有限,会有一个有效范围。yuv取值范围是指一单位yuv在计算机存储时候能表示的最大数值,比如10 bit yuv,能表示的最大值是2的10次方,即范围为0~1024。

(3)选择一条视频轨道,并在meta data中标记这条视频轨道用于存储深度信息;

其中:关于视频轨道的描述,比如一个有声音的视频文件,会有一到多条视频轨道,一到多条音频轨道,即分别用来存储数字化的图像信息和声音信息。meta data是用来描述视频或音频文件属性信息的,比如视频的分别率是1920 * 1080,视频标题,时长,歌手名等等信息往往都会记录在meta data里。因为通过步骤(2)已经把深度信息转换成了yuv信息,yuv是一种颜色编码方法,是一种影像处理种很常用的格式,视频流实际存储的是yuv,只不过能在步骤(7)里面把yuv还原成深度信息。

(4)将量化后的颜色编码数据压缩为视频流保存在视频轨道中,并且在meta data中为该视频流做特定标记;具体为:用HEVC视频编码格式将量化后的yuv数据压缩进stream1视频流,导出通用的mp4 视频文件,该视频中包含了录制的视频流stream 0和深度信息视频流 stream 1,完成深度信息量化后的编码和保存,可用于在不同设备间分享。

如上所述,meta data用于记录一些文件的数据信息,比如可以在其中标记,depthtrack:stream 1,在解码的时候就知道深度信息是存储在stream 1里的。

(5)读取meta data找到带标记的视频轨道,之后找到带特定标记的深度信息编码的那个视频流;具体为:获取mp4视频文件的meta data信息,读取到标记深度信息的视频轨道,之后确定stream 1为深度信息视频流,此步骤可以在不同设备中进行。

(6)将深度信息编码的那个视频流解码为颜色编码数据;即将stream 1解码为10Bit YUV 420 颜色编码格式数据。

(7)将颜色编码数据量化还原为深度信息,量化还原公式为:D = 1/k * 1/R *yuv;具体为:根据获取到的深度信息,在stream 0视频流中加入不同的特效,丰富影视特效的立体创作。

即有了深度信息,视频中周围环境和视频拍摄者之间的距离都能够读取到,让视频拍摄者真正融入视频环境中,影视特效创作者可以根据这些信息进行特效创作,让特效更加立体,逼真。

上述深度信息的量化和编解码方法是将深度信息以特定量化标准量化为颜色编码数据,按视频压缩标准编码为视频流保存,解码为颜色编码数据,量化还原为深度信息,可应用于深度信息的保存,在不同设备间传递、渲染,利用深度信息和视频信息做特效等场景。深度信息的量化能将深度信息在有限精度损失的情况下,将深度信息转换为颜色编码数据,以现有的颜色编码格式编码,能够在支持该颜色编码格式的设备上进行渲染。其中:深度信息的量化方法,使用不同的量化策略(如均匀量化和非均匀量化),将深度信息转换为通用的颜色编码格式(如yuv)数据。深度信息的编码方法,将深度信息量化后的数据编码成视频码流,以便在普通设备上传输和解码。

6页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:多视角三维直播方法、系统、装置、终端和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类