具有旋转信息的360°图像/视频内处理方法及装置

文档序号:172866 发布日期:2021-10-29 浏览:29次 >En<

阅读说明:本技术 具有旋转信息的360°图像/视频内处理方法及装置 (360 DEG image/video processing method and device with rotation information ) 是由 林鸿志 黄昭智 李佳盈 林建良 张胜凯 于 2017-11-08 设计创作,主要内容包括:本发提供一种视频处理方法,包括:接收具有以360度虚拟现实(360-degreeVirtual Reality,360VR)投影格式表示的360度图像/视频内容的当前输入帧,对该当前输入帧中的该360度图像/视频内容应用内容导向旋转,以生成具有以该360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧,编码该内容旋转帧以生成比特流,以及通过该比特流发信至少一个语法元素,其中,该至少一个语法元素被设置为用于指示该内容导向旋转的旋转信息。(The invention provides a video processing method, which comprises the following steps: the method includes receiving a current input frame having 360 degree image/video content represented in a 360-degree virtual Reality (360VR) projection format, applying content-oriented rotation to the 360 degree image/video content in the current input frame to generate a content rotation frame having rotated 360 degree image/video content represented in the 360 degree virtual Reality projection format, encoding the content rotation frame to generate a bitstream, and signaling at least one syntax element through the bitstream, wherein the at least one syntax element is arranged as rotation information to indicate the content-oriented rotation.)

具有旋转信息的360°图像/视频内处理方法及装置

相关申请的交叉引用

本申请要求下列申请的优先权:2016年11月9日提出的申请号为62/419,513的美国临时案,2016年12月13日提出的申请号为62/433,272的美国临时案,2017年03月09日提出的申请号为62/469,041的美国临时案以及2017年11月03日提出的申请号为15/802,481的美国案。在此合并参考这些申请案的申请标的。

技术领域

本发明有关于360度图像/视频内容处理。更具体地,本发明涉及具有应用于以投影格式来表示的360度图像/视频内容的内容导向旋转的旋转信息的语法元素信令的视频编码功能的方法和设备和具有相关的视频解码功能的方法和设备。

背景技术

具有头戴式显示器(head-mounted display,HMD)的虚拟现实(Virtual reality,VR)与各种应用相关联。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须捕捉所有方向上的真实世界的环境,从而生成对应于视野范围的全方位视频(omnidirectional video)。随着摄像机和HMD的进步,由于代表诸如360度图像/视频之类的内容所需的高比特率,而导致VR内容的传送可能很快遇到瓶颈。当全方位视频的分辨率为4k或更高时,数据压缩/编码对比特率的降低至关重要。

通常,将对应于视野范围的全方位视频转换成图像序列,其中的每一个图像序列都以360度虚拟现实(360-degree Virtual Reality,360VR)投影格式来表示,随后得到的图像序列被编码为用于传输的比特流。然而,由于移动对像被所应用的360VR投影格式分割和/或拉伸,原始的以360度虚拟现实投影格式表示的360度图像/视频内容可能具有较差的压缩效率。因此,需要一种能够提高以360VR投影格式表示的360度图像/视频内容的压缩效率的创新设计。

发明内容

本发明的目的之一是提供具有应用于以投影格式表示的360度图像/视频内容的内容导向旋转的旋转信息的语法元素信令的视频编码功能的方法和设备以及具有相关的视频解码功能的方法和设备。

根据本发明的第一方面,公开了一种视频处理方法。所述视频处理方法包括:接收具有以360度虚拟现实(360-degree Virtual Reality,360VR)投影格式表示的360度图像/视频内容的当前输入帧,将内容导向旋转应用于当前输入帧中的360度图像/视频内容以生成具有以360VR投影格式表示的旋转的360度图像/视频内容的内容旋转帧,编码所述内容旋转帧以生成比特流,以及通过所述比特流发信至少一个语法元素,其中,所述至少一个语法元素被设置为用于指示所述内容导向旋转的旋转信息。

根据本发明的第二方面,公开了一种视频处理方法。所述视频处理方法包括接收比特流,处理比特流以从比特流中获取至少一个语法元素,对比特流进行解码以生成具有以360度虚拟现实(360-degree Virtual Reality,360VR)表示的旋转的360度图像/视频内容的当前解码帧,以及根据当前解码帧以及由至少一个语法元素指示的内容导向旋转的旋转信息,在显示屏幕上渲染和显示输出图像数据,其中在生成旋转的360度图像/视频内容中涉及内容导向旋转。

根据本发明的第三方面,公开了一种视频处理设备。所述视频处理设备包括内容导向旋转电路和视频编码器。内容导向旋转电路用于接收具有以360度虚拟现实投影格式表示的360度图像/视频内容的当前输入帧,并且将内容导向旋转应用于360度图像/视频内容以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧。视频编码器用于对内容旋转帧进行编码以生成比特流且通过所述比特流发信至少一个语法元素,其中至少一个语法元素被设置为用于指示内容导向旋转的旋转信息。

根据本发明的第四方面,公开了一种视频处理设备。所述视频处理设备包括视频解码器和图像渲染电路。视频解码器用于接收比特流,处理所述比特流以从所述比特流中获取至少一个语法元素,并且解码所述比特流以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的当前解码帧。图像渲染电路用于根据当前解码帧以及由至少一个语法元素指示的内容导向旋转的旋转信息,在显示屏幕上渲染和显示输出图像数据,其中在生成旋转的360度图像/视频内容中涉及内容导向旋转。

在阅读了以下各个附图和附图中示出的优选实施例的详细描述之后,本发明的这些和其它目的无疑对于本领域的技术人员变得显而易见。

附图说明

图1是根据本发明实施例的360度虚拟现实(360-degree Virtual Reality,360VR)系统的示意图。

图2是根据本发明实施例提出的内容导向旋转的概念示意图。

图3是根据本发明实施例的视频编码器的示意图。

图4是根据本发明实施例的使用具有相同旋转角度的不同旋转顺序来执行内容导向旋转的示意图。

图5是根据本发明实施例的视频解码器的示意图。

具体实施方式

在接下来的描述和权利要求书中贯穿使用了某些涉及特定的组件的术语。如本领域的技术人员将认识到,电子设备制造商可以通过不同的名称来指代组件。本文不打算区分名称不同但功能相同的组件。在接下来的描述和权利要求书中,术语“包括(include)”和“包含(comprise)”以开放式方式使用,因此其应解释为意指“包括但不限于...”。此外,术语“耦接”用于表示间接或直接的电连接。因此,如果一个设备耦于接另一个设备,则所述连接可以通过直接电连接,或者通过经由其他设备和连接的间接电连接。

图1是根据本发明实施例的360度虚拟现实(360-degree Virtual Reality,360VR)系统的示意图。360VR系统100包括源电子设备102和目标电子设备104。源电子设备102包括视频捕捉设备112、转换电路114、内容导向旋转电路116和视频编码器118。例如,视频捕捉设备112可以是用于提供对应于球形视野(viewing sphere)的全方位图像内容(例如,覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114根据全方位图像内容S_IN生成具有360度虚拟现实(360VR)投影格式L_VR的当前输入帧IMG。在该示例中,转换电路114为从视频捕捉设备112提供的360度视频的每个视频帧生成一个输入帧。被转换电路114应用的360VR投影格式L_VR可以是任何可用的投影格式,包括等矩形投影(equirectangular projection,ERP)格式、立方体投影(cubemap projection,CMP)格式、八面体投影(octahedron projection,OHP)格式、二十面体投影(icosahedronprojection,ISP)格式等。内容导向旋转电路116接收当前输入帧IMG(其具有以360VR投影格式L_VR表示的360度图像/视频内容),并且将内容导向旋转应用于当前输入帧IMG中的360度图像/视频内容以生成内容旋转帧IMG’,内容旋转帧IMG’具有以相同的360VR投影格式L_VR表示的旋转的360度图像/视频内容。此外,应用的内容导向旋转的旋转信息INF_R被提供给视频编码器118以用于语法元素信令(syntax element signaling)。

图2是根据本发明实施例提出的内容导向旋转的概念示意图。为了清楚和简单,假设360VR投影格式L_VR是ERP格式。因此,球形视野202的360度图像/视频内容经由球形视野202的矩形投影,映射到矩形投影面上。这样,具有以ERP格式表示的360度图像/视频内容的当前输入帧IMG由转换电路114生成。如上文所述,由于移动对像被所应用的360VR投影格式分割和/或拉伸,以360VR投影格式表示的原始的360度图像/视频内容可能具有较差的压缩效率。为了解决这个问题,本发明提出将内容导向旋转应用于360度图像/视频内容以提高编解码效率。

此外,图2中示出了计算内容旋转帧IMG’中的像素位置处的像素值的示例。对于内容旋转帧IMG’中的具有坐标(x,y)的像素位置co,可以将2D坐标(x,y)通过2D到3D的映射过程映射为3D坐标s(球形视野202上的点)。然后,在执行内容导向旋转之后,将该3D坐标s转换为另一个3D坐标s’(球形视野202上的点)。内容导向旋转可以通过旋转矩阵乘法(rotation matrix multiplication)来实现。最后,通过3D到2D的映射过程,可以在当前输入帧IMG中找到具有坐标(x’i,y’i)的对应2D坐标ci’。因此,对于内容旋转帧IMG’中的每个整数像素(例如,co=(x,y)),可以通过从内容旋转帧IMG’到球形视野202的2D到3D的映射、用于当前旋转的球形视野202的旋转矩阵乘法、从球形视野202到当前输入帧IMG的3D到2D的映射,找到当前输入帧IMG中的对应位置(例如,ci’=(x’i,y’i))。如果x’i和y’i中的一个或两个是非整数位置,则可以将插值滤波器(图未示)应用于当前输入帧IMG中的点ci’=(x’i,y’i)周围的整数像素,来推导出内容旋转帧IMG’中的点co=(x,y)的像素值。

与将当前输入帧IMG编码为用于传输的比特流的传统视频编码器相比,视频编码器118将内容旋转帧IMG’编码为比特流BS,然后将比特流BS通过诸如有线/无线通信链路或存储介质之类的传输装置103输出到目标电子设备104。具体地,视频编码器118为从内容导向旋转电路116输出的每个内容旋转帧生成一编码帧。因此,由视频编码器118顺序地生成连续的编码帧。另外,内容导向旋转电路116执行的内容导向旋转的旋转信息INF_R被提供给视频编码器118。因此,视频编码器118还通过比特流BS发信语法元素,其中语法元素被设置为用于指示应用于当前输入帧IMG的内容导向旋转的旋转信息INF_R。

图3是根据本发明实施例的视频编码器的示意图。图1中所示的视频编码器118可以由图3所示的视频编码器300来实现。视频编码器300是用于压缩原始视频数据以生成压缩视频数据的硬体电路。如图3所示,视频编码器300包括控制电路302和编码电路304。需要注意的是,图3所示的视频编码器架构仅用于说明的目的,并不意味着对本发明的限制。例如,编码电路304的架构可以根据编码标准而变化。编码电路304对内容旋转帧IMG’(其具有以360VR投影格式L_VR表示的旋转的360度图像/视频内容)进行编码以生成比特流BS。如图3所示,编码电路304包括残差计算电路311、转换电路(由“T”表示)312、量化电路(由“Q”表示)313,熵编码电路(例如可变长度编码器)314、逆量化电路(由“IQ”表示)315、逆转换电路(由“IT”表示)316、重建电路317、至少一个环路滤波器318、参考帧缓冲器319、帧间预测电路320(其包括运动估计电路(由“ME”表示)321和运动补偿电路(由“MC”表示)322)、帧内预测电路(由“IP”表示)323以及帧内/帧间模式选择开关324。由于在编码电路304中应用的这些电路组件的基本功能和操作对于本领域的技术人员来说是众所周知的,因此为了简洁起见,在此省略了进一步的描述。

视频编码器300与传统的视频编码器之间的主要区别在于,控制电路302用于接收来自之前的电路(例如图1中所示的内容导向旋转电路116)的旋转信息INF_R,并且根据旋转信息INF_R设置至少一个语法元素(SE),其中指示旋转信息INF_R的语法元素将通过从熵编码电路314生成的比特流BS来发信给视频解码器。通过这种方法,目标电子设备104(其具有视频解码器)根据发信的语法元素可以知晓编码器侧的内容导向旋转的细节,并且可以,例如,执行解码器侧的逆内容导向旋转,以获取所需的视频数据以进行渲染和显示。

内容导向旋转电路116执行的内容导向旋转可以由旋转轴、旋转顺序和旋转角来指定。内容导向旋转可以包括按照旋转顺序沿着一组旋转轴的基本旋转(elementalrotation),其中旋转顺序指定了内容导向旋转使用的旋转轴的顺序,并且沿着对应旋转轴的每个基本旋转由具有特定旋转角度的旋转角来表示。例如,旋转轴可以是笛卡尔坐标系中的三个正交轴(例如,x轴、y轴、z轴),并且旋转顺序可以是通常使用的特定顺序偏航-俯仰-横滚(例如,z-y-x)。然而,这些仅用于说明的目的,并不意味着对本发明的限制。例如,旋转轴不需要是正交轴。又例如,可以调整旋转轴的数量和旋转角的数量。在内容导向旋转中只涉及一个旋转轴的情况下,可以省略旋转顺序。

应该注意的是,具有相同旋转角的不同旋转顺序可以生成不同的结果。图4是根据本发明实施例的使用具有相同旋转角的不同旋转顺序来执行内容导向旋转的示意图。第一示例Ex1中的内容导向旋转包括沿着y轴旋转30°,然后沿着z轴旋转30°。在第二示例Ex2中的另一个内容导向旋转包括沿着z轴旋转30°然后沿着y轴旋转30°。如图4所示,根据第一示例Ex1中的内容导向旋转,将位于(x,y,z)=(1,0,0)处的图像/视频内容旋转到处,以及根据第二示例Ex2中的内容导向旋转,将位于(x,y,z)=(1,0,0)处的图像/视频内容旋转到处。因此,除了旋转轴和相关的旋转角之外,还需要在内容导向旋转中精确定义旋转顺序。

每个旋转轴可以在编码器侧和解码器侧预先定义(例如,在规范文本中定义)。因此,由内容导向旋转电路116执行的内容导向旋转使用的多个旋转轴(或单个旋转轴)的信息不需要通过比特流BS来发信。或者,每个旋转轴可以由内容导向旋转电路116主动地设置。因此,由内容导向旋转电路116执行的内容导向旋转使用的多个旋转轴(或单个旋转轴)的信息需要通过比特流BS来发信。

旋转顺序可以在编码器侧和解码器侧预先定义(例如,在规范文本中定义)。由内容导向旋转电路116执行的内容导向旋转使用的旋转顺序的信息不需要通过比特流BS来发信。或者,旋转顺序可以由内容导向旋转电路116主动地设置。因此,由内容导向旋转电路116执行的内容导向旋转使用的旋转顺序的信息需要经由比特流BS来发信。

与每个旋转轴相关的旋转角的旋转角度可以针对不同的帧而变化。因此,由内容导向旋转电路116执行的内容导向旋转使用的多个旋转角度(或单个旋转角度)的信息需要通过比特流BS来发信。

如上文所述,语法元素SE被设置为用于指示应用于当前输入帧IMG的内容导向旋转的旋转信息INF_R。在编码器侧和解码器侧预先定义旋转轴的第一种情况下,由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转顺序和旋转角度,其将由从编码器侧发信给解码器侧的语法来指示。在编码器侧和解码器侧中预先定义了旋转轴和旋转顺序的第二情况下,由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转角度,其将由从编码器侧发信给解码器侧的语法来指示。在编码器侧和解码器侧预先定义旋转顺序的第三种情况下,由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转轴和旋转角度,其将由从编码器侧发信给解码器侧的语法来指示。在编码器侧和解码器侧没有预先定义旋转轴和旋转顺序的第四种情况下,由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转轴、旋转顺序和旋转角度,其将由从编码器侧发信给解码器侧的语法来指示。

请再次参考图1,目标电子设备104可以是头戴式显示器(head-mounted display,HMD)设备。如图1所示,目标电子设备104包括视频解码器122、图像渲染电路124和显示屏幕126。视频解码器122接收来自传输装置103(例如,有线/无线通信链路或存储介质)的比特流BS,并解码接收到的比特流BS以生成当前解码帧IMG”,具体地说,视频解码器122为从传输装置103传输的每个编码帧生成一个解码帧。因此,由视频解码器122顺序生成连续的解码帧。在本实施例中,由视频编码器118编码的内容旋转帧IMG’具有360VR投影格式。因此,在视频解码器122对比特流BS进行解码之后,当前解码帧(即,重建帧)IMG”具有相同的360VR投影格式。

图5是根据本发明实施例的视频解码器的示意图。图1中所示的视频解码器122可以由图5所示的视频解码器500来实现。视频解码器500可经由诸如有线/无线通信链路或存储介质的传输装置来与视频编码器(例如,图1中所示的视频编码器118)进行通信。视频解码器500是用于解压缩压缩的图像/视频数据以生成解压缩的图像/视频数据的硬体电路。在本实施例中,视频解码器500接收比特流BS,并解码所接收的比特流BS以生成当前解码帧IMG”。如图5所示,视频解码器500包括解码电路520和控制电路530。需要注意的是,图5所示的视频解码器架构仅用于说明的目的,并不意味着对本发明的限制。例如,解码电路520的架构可以根据编解码标准而变化。解码电路520包括熵解码电路(例如,可变长度解码器)502、逆量化电路(由“IQ”表示)504、逆转换电路(由“IT”表示)506、重建电路508、运动向量计算电路(由“MV计算”表示)510、运动补偿电路(由“MC”表示)513、帧内预测电路(由“IP”表示)514、帧内/帧间模式选择开关516、至少一个环路滤波器518和参考帧缓冲器522。由于在解码电路520中应用的这些电路组件的基本功能和操作对于本领域的技术人员来说是众所周知的,因此为了简洁起见,在此省略了进一步的描述。

视频解码器500与传统视频解码器之间的主要差异在于熵解码电路502还用于对比特流BS执行数据处理(例如,语法解析)以获取通过比特流BS发信的语法元素SE,并且将获取的语法元素SE输出给控制电路530。因此,关于对应于由当前输入帧生成的内容旋转帧IMG’的当前解码帧IMG”,控制电路530可以参考语法元素SE来确定用于当前输入帧IMG的编码器侧内容导向旋转的旋转信息INF_R。

如上文所述,当前解码帧IMG”具有以360VR投影格式表示的旋转的360度图像/视频内容。在本实施例中,从比特流BS获取的语法元素SE指示在生成以360VR投影格式表示的旋转的360度图像/视频内容涉及的内容导向旋转的旋转信息INF_R。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中预先定义旋转轴的第一种情况下,从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转顺序和旋转角度。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中预先定义了旋转轴和旋转顺序的第二情况下,从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转角度。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中预先定义了旋转顺序的第三种情况下,,从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转角轴和旋转角度。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中没有预先定义旋转轴和旋转顺序的第四情况下,从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转轴、旋转顺序和旋转角度。

图像渲染电路124根据当前解码帧IMG”和在生成旋转的360度图像/视频内容中涉及的内容导向旋转的旋转信息INF_R,渲染输出图像数据并将其在显示屏幕126上显示。例如,根据由发信的语法元素SE推导出的旋转信息INF_R,以360VR投影格式表示的旋转的360度图像/视频内容可以逆旋转,并且以360VR投影格式表示的逆旋转的360度图像/视频内容可以用于渲染和显示。

为了更好地理解本发明的技术特征,以下描述几个示例性语法信令方法。视频编码器118/300可使用提出的语法信令方法中的一个来发信指示应用于以360VR投影格式表示的360度图像/视频内容的内容导向旋转的旋转信息INF_R的语法元素SE,以及视频解码器122/500可以参考由视频编码器118/300应用的提出的语法信令方法中的一个发信的语法元素SE,来确定在生成以360度VR投影格式表示的旋转的360度图像/视频内容中涉及的内容导向旋转的旋转信息INF_R。

应该注意的是,以下示例性语法表中的描述符(descriptor)指定每个语法元素的解析过程。具体而言,可以通过固定长度编解码(例如,f(n)、i(n)或u(n))和/或可变长度编解码(例如,ce(v)、se(v)或ue(v))对语法元素进行编解码。描述符f(n)描述了一个固定模式的比特串,它使用从左边比特开始写入的(从左到右)n个比特。描述符i(n)描述一个使用n个比特的带符号整数(signed integer)。描述符u(n)描述一个使用n个比特的无符号整数(unsigned integer)。描述符ce(v)描述从左边比特开始的上下文自适应可变长度熵编解码语法元素。描述符se(v)描述具有从左边比特开始的带符号整数哥伦布编码语法元素(unsigned integer Exp-Golomb-coded syntax element)。语法元素ue(v)描述从左边比特开始的无符号整数哥伦布编码语法元素。

根据第一语法信令方法,可以使用如下语法表。

当应用第一语法信令方法时,可以在序列级标头(sequence-level header)中指示内容导向旋转的旋转信息。H.264和H.265可以具有被每个切片参考的多个序列参数集(Sequence Parameter Set,SPS)/图像参数集(Picture Parameter Set,PPS)。每个切片可以根据其PPS/SPS标识符(identifier,ID)获取对应的编解码参数。因此,可以通过发信的每个旋转轴的旋转角度在SPS/PPS或补充增强信息(Supplementary EnhancementInformation,SEI)中指示内容导向旋转的旋转信息。当解码视频帧时,视频解码器122可以通过参考对应的SPS/PPS ID或SEI来获取旋转信息。

语法元素zero_yaw_orientation被设置为用于指示是否存在沿着偏航轴(例如,z轴)的旋转。语法元素zero_roll_orientation被设置为用于指示是否存在沿着横滚轴(例如,x轴)旋转。语法元素zero_pitch_orientation被设置为用于指示是否存在沿着俯仰轴(例如,y轴)的旋转。当存在沿着偏航轴的旋转(即,!zero_yaw_orientation==True)时,通过从多个预定义索引值(index value)中选择的索引值来设置语法元素yaw_orientation_index,其中预定义索引值被分别映射到不同的预定义旋转角度和用户定义的旋转角度。例如,索引值和旋转角度之间的映射可以由下表来定义。

如果沿着偏航轴的旋转的旋转角度没有被“000”-“110”中的任何一个索引(即,Orientation_index==‘111’),则通过设置语法元素yaw_orientation_degree来发信用户定义的旋转角度。

当存在沿着横滚轴的旋转(即,!zero_roll_orientation==True)时,语法元素roll_orientation_index由如上表中列出的预定义索引值中选择的索引值来设置。如果沿着横滚轴的旋转的旋转角度没有被“000”-“110”中的任何一个索引(即,Orientation_index==‘111’),则通过设置语法元素roll_orientation_degree来发信用户定义的旋转角度。

当存在沿着俯仰轴的旋转(即,!zero_pitch_orientation==True)时,语法元素pitch_orientation_index由如上表中列出的预定义索引值中选择的索引值来设置。如果沿着俯仰轴的旋转旋的转角度没有被“000”-“110”中的任何一个索引(即,Orientation_index==‘111’),则通过设置语法元素pitch_orientation_degree来发信用户定义的旋转角度。

为了表示所有可能的内容导向旋转,这三个轴的旋转角度的范围不需要从-180°到180°(即0°-360°)。实际上,其中的一个旋转范围从-90°到90°(即,0°-180°),而其余的从-180°到180°(即,0°-360°)足够用于表示内容导向旋转。在第一语法信令方法中,假定旋转角度是整数值。关于旋转顺序(例如,偏航-横滚-俯仰(z-x-y))中第一旋转轴(例如,偏航轴或者z轴)和第二旋转轴(例如,横滚轴或者x轴)的用户定义的旋转角度,每个都被9个比特设置以指示从-180°到180°(即0°-360°)范围内的旋转角度。然而,关于旋转顺序(例如,偏航-横滚-俯仰(z-x-y))中的第三旋转轴(例如,俯仰轴或者y轴)的用户定义的旋转角度,用户定义的旋转的范围度仅为-90°至90°(即0°-180°)。因此,8个比特足以表示第三旋转轴(例如,俯仰轴或者y轴)的用户定义旋转角度。

根据第二语法信令方法,可以使用如下语法表。

当应用第二语法信令方法时,内容导向旋转的旋转信息可以在视频帧的持续时间(time-duration)中的序列级标头中指示。例如,音频视频编码标准(Audio Video codingStandard,AVS)具有用于视频帧持续时间的一SPS。这些在相同持续时间内的视频帧具有相同的序列级编解码参数。因此,内容导向旋转的旋转信息可以在视频帧的当前持续时间中指示,并且可以在视频帧的下一个持续时间中更新。在本发明的一些实施例中,内容导向旋转的旋转信息可以在视频帧的持续时间中的SPS/PPS或补充增强信息(SupplementaryEnhancement Information,SEI)中指示。或者,当应用第二语法信令方法时,内容导向旋转的旋转信息可以在图像级标头中指示。因此,针对每个视频帧发信内容导向旋转的旋转信息。

语法元素prev_orientation被设置为用于指示应用于当前输入帧的内容导向旋转与应用于至少一个先前输入帧的内容导向旋转是否相同。例如,针对在视频帧的持续时间内的序列级标头中指示的内容导向旋转的旋转信息的情况而言,当前输入帧可以是视频帧的持续时间内的第一视频帧,并且至少一个先前输入帧中的每一个可以是视频帧的先前持续时间内的一视频帧,并且视频帧的当前持续时间紧接着该该先前持续时间。在另一个实施例中,针对在每个视频帧的图像级标头中指示的内容导向旋转的旋转信息的情况而言,至少一个先前输入帧和当前输入帧为两个连续的视频帧。因此,当视频帧的当前持续时间内的内容导向旋转与视频帧的先前持续时间内的内容导向旋转相同时,则发信1个比特的语法元素prev_orientation以节省用于表示旋转角度信息的语法比特。

当应用于当前输入帧的内容导向旋转不同于应用于至少一个先前输入帧的内容导向旋转(亦即,!prev_orientation==True)时,语法元素zero_yaw_orientation被设置为用于指示是否存在沿着偏航轴(例如,z轴)的旋转,语法元素zero_roll_orientation被设置为用于指示是否存在沿着横滚轴(例如,x轴)的旋转,以及语法元素zero_pitch_orientation被设置为用于指示是否存在沿着俯仰轴(例如,y轴)的旋转。

当存在沿着偏航轴的旋转时(亦即,!zero_yaw_orientation==True),语法元素yaw_orientation_diff被设置为用于指示应用于当前输入帧的内容导向旋转和应用于至少一个先前输入帧的内容导向旋转的沿着偏航轴的旋转角度差(rotation degreedifference)。当对一个视频帧进行解码时,视频解码器122可以通过加上由语法元素yaw_orientation_diff发信的旋转角度差来确定沿着偏航轴的旋转角度。

当存在沿着横滚轴的旋转时(即,!zero_roll_orientation==True),语法元素roll_orientation_diff被设置为用于指示应用于当前输入帧的内容导向旋转和应用于至少一个先前输入帧的内容导向旋转的沿着横滚轴的旋转角度差。当对一个视频帧进行解码时,视频解码器122可以通过加上由语法元素roll_orientation_diff发信的旋转角度差来确定沿着横滚轴的旋转角度。

当存在沿着俯仰轴的旋转时(即,!zero_pitch_orientation==True),语法元素pitch_orientation_diff被设置为用于指示应用于当前输入帧的内容导向旋转和于应用于至少一个先前输入帧的内容导向旋转的沿着俯仰轴的旋转角度差。当对一个视频帧进行解码时,视频解码器122可以通过加上由语法元素pitch_orientation_diff发信的旋转角度差来确定沿着俯仰轴的旋转角度。

上文所述的的第一语法信令方法和第二语法信令方法中的每一个语法信令方法执行旋转信息的统一语法信令,而不管所应用的360VR投影格式如何。或者,第一语法信令方法和第二语法信令方法可以修改为基于投影格式的语法信令方法。也就是说,旋转信息的语法信令可以取决于所应用的360VR投影格式。

根据第三语法信令方法,可以使用以下语法表。

根据第四语法信令方法,可以使用以下语法表。

不同的360VR投影格式可以具有不同的合适的旋转尺寸。例如,对于立方体投影格式,单独的偏航旋转可能已经足够。又例如,对于等矩形投影格式,单独的横滚旋转可能已经足够。因此,当360VR投影格式是立方体投影格式时,语法元素vr_content_format被设置为“1”;当360VR投影格式是等矩形投影格式时,语法元素vr_content_format被设置为“3”。在本实施例中,vr_content_format=1/3具有语法信令的旋转的一维度,而vr_content_format=2具有语法信令的旋转的二维度。简而言之,关于第三语法信令方法和第四语法信令方法中的每一个,内容导向旋转的旋转轴选择取决于语法元素vr_content_format,语法元素vr_content_format是在应用的360VR投影格式的基础上设置的。由于本领域的技术人员在阅读以上关于第一语法信令方法和第二语法信令方法的段落之后可以容易地理解第三语法信令方法和第四语法信令方法的细节,为了简洁起见,这里省略进一步的描述。

根据第五语法信令方法,可以使用以下语法表。

1个比特的开/关标志(disable_content_orientation)被用来指示当前输入帧中的360度图像/视频内容的内容导向旋转是否被启用。当当前输入帧中的360度图像/视频内容的内容导向旋转被启用时,语法元素disable_content_orientation被设置为“0”;当当前输入帧中的360度图像/视频内容的内容导向旋转被停用时,语法元素disable_content_orientation被设置为“1”。在当前输入帧中的360度图像/视频内容的内容导向旋转被启用(即,!disable_content_orientation==True)的情况下,语法元素roll_orientation_degree被设置为用于指示沿着横滚轴(例如,x轴)的旋转角度,语法元素yaw_orientation_degree被设置为指示沿着偏航轴(例如,z轴)的旋转角度,以及语法元素pitch_orientation_degree被设置为指示沿着俯仰轴的旋转角度(例如,y轴)。

当应用第五语法信令方法时,可以在序列级标头中指示内容导向旋转的旋转信息。例如,可以发信沿着每个旋转轴的旋转角度而在SPS/PPS或补充增强信息中指示内容导向旋转的旋转信息。或者,当应用第五语法信令方法时,内容导向旋转的旋转信息可以在每个视频帧的图像级标头中指示。

本领域的技术人员将容易观察到,可以在维持本发明的教导的同时对设备和方法进行许多修改和变更。因此,上述公开内容应该被理解为仅由所附权利要求书的范围来限定。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于卷积神经网络增强AVS帧内解码的方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类