与扩展四叉树相关的分割的二值化

文档序号:1408384 发布日期:2020-03-06 浏览:24次 >En<

阅读说明:本技术 与扩展四叉树相关的分割的二值化 (Binarization of segmentation in connection with extended quadtree ) 是由 张凯 张莉 刘鸿彬 王悦 于 2019-08-28 设计创作,主要内容包括:一种视频处理的方法,该方法涉及与扩展四叉树相关的分割的二值化,包括:对于视频区域的视频块的编码表示和视频块之间的转换,确定对视频区域的至少一个视频块启用了扩展四叉树(EQT)分割;以及基于该确定来执行转换。EQT分割将视频块划分成多个子块,使得多个子块中的至少一个子块具有与视频块的一半宽度乘以视频块的一半高度不同的尺寸。视频块的编码表示是使用来自包括码字和分割类型之间的映射的表的码字而表示的。(A method of video processing involving binarization of a segmentation associated with an extended quadtree, comprising: determining that Extended Quadtree (EQT) partitioning is enabled for at least one video block of a video region for a transition between an encoded representation of the video block and the video block; and performing a conversion based on the determination. The EQT partitioning divides the video block into a plurality of sub-blocks such that at least one sub-block of the plurality of sub-blocks has a size that is different from half the width of the video block multiplied by half the height of the video block. An encoded representation of a video block is represented using codewords from a table that includes a mapping between codewords and partition types.)

与扩展四叉树相关的分割的二值化

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则,本申请是为了及时要求2018年8月28日提交的国际专利申请No.PCT/CN2018/102727的优先权和权益。为了根据美国法律的所有目的,国际专利申请No.PCT/CN2018/102727的全部公开通过引用并入作为本申请的公开的一部分。

技术领域

本文档涉及视频编码和压缩的领域。

背景技术

尽管视频压缩技术取得了进步,但数字视频仍占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计对数字视频使用的带宽需求将继续增长。

发明内容

公开了用于基于规则的视频块的扩展四叉树分割和二叉树分割的共存的技术。在一个有利方面,这些规则使得能够在压缩视频比特流中有效地信令通知分割的视频数据。

视频处理的第一示例性方法,包括:对于视频区域的视频块的编码表示和视频块之间的转换,确定对视频区域的至少一个视频块启用了扩展四叉树(Extended QuadTree,EQT)分割;以及基于该确定来执行转换,其中EQT分割将视频块划分成多个子块,使得多个子块中的至少一个子块具有与视频块的一半宽度乘以视频块的一半高度不同的尺寸。

视频处理的第二示例性方法,包括:对于视频区域的视频块的编码表示和视频块之间的转换,确定对视频区域的至少一个视频块启用了扩展四叉树(EQT)分割;以及基于该确定来执行转换,其中EQT分割将视频块划分成多个子块,使得多个子块中的至少一个子块具有与视频块的一半宽度乘以视频块的一半高度不同的尺寸,并且其中视频块的编码表示是使用来自包括码字和分割类型之间的映射的表的码字而表示的。

视频处理的第三示例性方法,包括:对于视频区域的视频块的编码表示和视频块之间的转换,确定对视频区域的至少一个视频块启用了扩展四叉树(EQT)分割;以及基于该确定来执行转换,其中EQT分割将视频块划分成多个子块,使得多个子块中的至少一个子块具有与视频块的一半宽度乘以视频块的一半高度不同的尺寸,其中视频块的编码表示包括使用上下文自适应二进制算术编码(Context Adaptive Binary Arithmetic Coding,CABAC)技术而编码的二进制位串的一个或多个比特,并且其中二进制位串指示分割的视频块的分割类型。

视频处理的第四示例性方法,包括:对于视频区域的视频块的编码表示和视频块之间的转换,基于规则确定是否对视频区域的至少一个视频块启用了扩展四叉树(EQT)分割和/或是否使用二叉树(BT)分割来分割了视频区域的视频块;以及基于该确定来执行转换。

在另一示例方面,公开了一种可视媒体编码器设备。编码器实施上述方法。

在又一方面,公开了一种可视媒体解码器装置。解码器实施上述方法。

在又一方面,所公开的技术以计算机可运行程序代码的形式体现并存储在计算机可读介质上。

在整个本文档中进一步描述了这些和其他方面。

附图说明

图1是示出视频编码器实施方式的示例的框图。

图2示出了H.264视频编码标准中的宏块分割。

图3示出了将编码块(Coding Block,CB)划分成预测块(Prediction Block,PB)的示例。

图4示出了用于将CTB细分为CB和变换块(Transform Block,TB)的示例实施方式。实线指示CB边界,虚线指示TB边界,包括带有分割的示例CTB和对应的四叉树。

图5示出了用于分割视频数据的四叉树二叉树(Quad Tree Binary Tree,QTBT)结构的示例。

图6示出了(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直中心侧三叉树分割(e)水平中心侧三叉树分割的示例。

图7A至图7K示出了分割像素块的示例。

图8A至图8D示出了扩展四叉树分割的示例。

图9A和图9B示出了视频数据的最大编码单元(Largest Coding Unit,LCU)的示例分割。

图10示出了M×N块的泛化三叉树分割的示例。

图11A至图11F描绘了从EQT分割中排除BT模式的示例。

图12示出了划分块的示例。

图13是用于实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。

图14A-图14B是示出用于视频处理的方法的示例的流程图。

图15A-图15B描绘了EQT分割的规则的示例。

图16是可以在其中实施所公开的技术的示例视频处理系统的框图。

具体实施方式

1.概述

本专利文档涉及图片/视频编码,尤其涉及分割结构,即如何在图片/条带边缘处将一个编码树单元(Coding Tree Unit,CTU)划分成多个编码单元(Coding Unit,CU)。它可以应用于现有视频编码标准,如HEVC,或将完成的标准(多功能视频编码)。它也可以应用于未来的视频编码标准或视频编解码器。

2.介绍

视频编码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展。ITU-T产生了H.261和H.263,ISO/IEC产生了MPEG-1和MPEG-4Visual,两个组织联合产生了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(Advanced Video Coding,AVC)和H.265/HEVC标准。自H.262开始,视频编码标准基于混合视频编码结构,其中利用时域预测加变换编码。图1中描绘了典型HEVC编码器框架的示例。

2.1 H.264/AVC中的分割树结构

先前标准中的编码层的核心是宏块,其包含16×16亮度样本块,并且在4:2:0颜色采样的通常情况下,包含两个对应的8×8色度样本块。图2示出了H.264/AVC中的MB分割的示例。

帧内编码块使用空域预测来利用像素之间的空域相关性。定义了两个分割:16×16和4×4。

帧间编码块通过估计图片之间的运动来使用时域预测而不是空域预测。可以针对16×16宏块或其任何子宏块分割16×8、8×16、8×8、8×4、4×8、4×4(参见图5)独立地估计运动。允许每子宏块分割仅一个运动矢量(Motion Vector,MV)。

2.2 HEVC中的分割树结构

在HEVC中,通过使用表示为编码树的四叉树结构来将CTU划分成CU,以适应各种局部特性。是否使用图片间(时域)或图片内(空域)预测来编码图片区域的决定是在CU级别做出的。根据PU划分类型,每个CU可以进一步划分成一个、两个或四个PU。在一个PU内部,应用相同的预测过程,并且基于PU将相关信息发送到解码器。在通过应用基于PU划分类型的预测过程来获得残差块之后,可以根据类似于CU的编码树的另一四叉树结构将CU分割成变换单元(Transform Unit,TU)。HEVC结构的关键特征之一是它具有多个分割概念,包括CU、PU和TU。

在下文中,使用HEVC的混合视频编码中涉及的各种特征如下突出显示。

1)编码树单元和编码树块(Coding Tree Block,CTB)结构:HEVC中的模拟结构是编码树单元(CTU),其具有由编码器选择的尺寸并且可以大于传统宏块。CTU由亮度CTB和对应的色度CTB和语法元素组成。亮度CTB的尺寸L×L可以选择为L=16、32或64个样本,更大的尺寸通常能够实现更好的压缩。然后,HEVC支持使用树结构和类似四叉树信令将CTB分割成更小的块。

2)编码单元(CU)和编码块(CB):CTU的四叉树语法指定其亮度和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此,亮度CTB的尺寸是亮度CB的最大支持尺寸。将CTU划分成亮度和色度CB是联合信令通知的。一个亮度CB和通常两个色度CB以及相关联的语法形成编码单元(CU)。CTB可以仅包含一个CU或者可以被划分以形成多个CU,并且每个CU具有相关联地分割的预测单元(PU)和变换单元(TU)的树。

3)预测单元和预测块(PB):是否使用帧间或帧内预测来编码图片区域的决定是在CU级别做出的。PU分割结构具有处于CU级别的根。取决于基本预测类型决定,亮度和色度CB然后可以被进一步划分,并从亮度和色度预测块(PB)预测。HEVC支持从64×64下至4×4样本的可变PB尺寸。

图3描绘了在受到某些尺寸限制的情况下将CB划分成PB的模式的示例。对于帧内预测的CB,仅支持M×M和M/2×M/2。

4)TU和变换块:使用块变换对预测残差进行编码。TU树结构具有处于CU级别的根。亮度CB残差可以与亮度变换块(TB)相同,或者可以被进一步划分成更小的亮度TB。这同样应用于色度TB。针对方形TB尺寸4×4、8×8、16×16和32×32定义了类似于离散余弦变换(Discrete Cosine Transform,DCT)的整数基函数的整数基函数。对于亮度帧内预测残差的4×4变换,交替地指定从离散正弦变换(Discrete Sine Transform,DST)的形式导出的整数变换。

图4示出了将CTB细分为CB和变换块(TB)的示例。实线指示CB边界,虚线指示TB边界。左:CTB及其分割,右:对应的四叉树。

2.3 在JEM中的具有更大CTU的四叉树加二叉树块结构

为探索超HEVC的未来视频编码技术,联合视频探索组(Joint Video ExplorationTeam,JVET)由VCEG和MPEG于2015年联合创立。从那时起,JVET已经采用了许多新方法,并将其纳入了名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。

2.3.1 QTBT(四叉树加二叉树)块分割结构

与HEVC不同,QTBT结构移除了多个分割类型的概念,即它移除了CU、PU和TU概念的分离,并且支持CU分割形状的更大灵活性。在QTBT块结构中,CU可以具有方形或矩形形状。如图5所示,编码树单元(CTU)首先由四叉树结构分割。四叉树叶节点进一步由二叉树结构分割。在二叉树划分中有两种划分类型,对称水平划分和对称垂直划分。二叉树叶节点被称为编码单元(CU),并且该分段(segmentation)用于预测和变换处理而无需任何进一步的分割。这意味着CU、PU和TU在QTBT编码块结构中具有相同的块尺寸。在JEM中,CU有时由不同颜色分量的编码块(CB)组成,例如,在4:2:0色度格式的P条带和B条带的情况下,一个CU包含一个亮度CB和两个色度CB,并且有时由单个分量的CB组成,例如,在I条带的情况下,一个CU仅包含一个亮度CB或仅包含两个色度CB。

为QTBT分割方案定义了以下参数。

-CTU尺寸:四叉树的根节点尺寸,与HEVC中相同的概念

-MinQTSize:最小允许的四叉树叶节点尺寸

-MaxBTSize:最大允许的二叉树根节点尺寸

-MaxBTDepth:最大允许的二叉树深度

-MinBTSize:最小允许的二叉树叶节点尺寸

在QTBT分割结构的一个示例中,CTU尺寸被设置为具有两个对应的64×64色度样本块的128×128亮度样本,MinQTSize被设置为16×16,MaxBTSize被设置为64×64,MinBTSize(对于宽度和高度两者)被设置为4×4,并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即,MinQTSize)到128×128(即,CTU尺寸)的尺寸。如果叶四叉树节点是128×128,则由于尺寸超过MaxBTSize(即64×64),因此它不会被二叉树进一步划分。否则,叶四叉树节点可以由二叉树进一步分割。因此,四叉树叶节点也是二叉树的根节点,并且其二叉树深度为0。当二叉树深度达到MaxBTDepth(即,4)时,不考虑进一步的划分。当二叉树节点的宽度等于MinBTSize(即,4)时,不考虑进一步的水平划分。类似地,当二叉树节点的高度等于MinBTSize时,不考虑进一步的垂直划分。通过预测和变换处理来进一步处理二叉树的叶节点,而无需任何进一步的分割。在JEM中,最大CTU尺寸为256×256亮度样本。

图5(左)示出了通过使用QTBT进行块分割的示例,图5(右)示出了对应的树表示。实线指示四叉树划分,并且虚线指示二叉树划分。在二叉树的每个划分(即,非叶)节点中,信令通知一个标志以指示使用哪种划分类型(即,水平或垂直),其中0指示水平划分,并且1指示垂直划分。对于四叉树划分,不需要指示划分类型,因为四叉树划分总是水平和垂直地划分块以产生具有相等尺寸的4个子块。

此外,QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前,对于P条带和B条带,一个CTU中的亮度和色度CTB共享相同的QTBT结构。然而,对于I条带,亮度CTB通过QTBT结构分割成CU,并且色度CTB通过另一QTBT结构分割成色度CU。这意味着I条带中的CU由亮度分量的编码块或两个色度分量的编码块组成,并且P条带或B条带中的CU由所有三个颜色分量的编码块组成。

在HEVC中,限制小块的帧间预测以减少运动补偿的存储器访问,使得不针对4×8和8×4块支持双向预测,并且不针对4×4块支持帧间预测。在JEM的QTBT中,这些限制被移除。

2.4 VVC的三叉树

还支持除了四叉树和二叉树之外的树类型。在实施方式中,引入了另外两种三叉树(Triple Tree,TT)分割,即水平和垂直中心侧三叉树,如图6(d)和图6(e)所示。

图6(a)-6(e)描绘了以下内容。图6(a)-四叉树分割,图6(b)垂直二叉树分割,图6(c)水平二叉树分割,图6(d)垂直中心侧三叉树分割,图6(e)水平中心侧三叉树分割。

存在两个级别的树,区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(Region Tree,RT)对CTU进行分割。可以使用预测树(Prediction Tree,PT)进一步划分RT叶。还可以用PT进一步划分PT叶,直到达到最大PT深度。PT叶是基本编码单元。为方便起见,它仍被称为CU。CU不能被进一步划分。预测和变换两者都以与JEM相同的方式应用于CU。整个分割结构称为“多类型树”。

2.5 扩展四叉树示例

1.扩展四叉树(EQT)分割结构,对应于包括用于视频数据的块的扩展四叉树分割过程的块分割过程,其中扩展四叉树分割结构表示将视频数据的块分割成最终子块,并且当扩展四叉树分割过程决定将扩展四叉树分割应用于一个给定块时,所述一个给定块总是被划分成四个子块;基于视频比特流解码最终子块;以及基于根据导出的EQT结构解码的最终子块对视频数据的块进行解码。

a.EQT分割过程可以递归地应用于给定块以生成EQT叶节点。可替代地,当EQT应用于某个块时,对于由于EQT产生的子块中的每一个,它可以被进一步划分成BT和/或QT和/或TT和/或EQT和/或其他种类的分割树。

b.在一个示例中,EQT和QT可以共享相同的深度增量过程和叶节点尺寸的相同限制。在这种情况下,当节点的尺寸达到最小允许的四叉树叶节点尺寸或者节点的EQT深度达到最大允许的四叉树深度时,可以隐式地终止对一个节点的分割。

c.可替代地,EQT和QT可以共享不同的深度增量过程和/或叶节点尺寸的限制。当节点的尺寸达到最小允许的EQT叶节点尺寸或与节点相关联的EQT深度达到最大允许的EQT深度时,可以隐式地终止通过EQT对一个节点的分割。此外,在一个示例中,可以在序列参数集(Sequence Parameter Set,SPS)、和/或图片参数集(Picture Parameter Set,PPS)、和/或条带报头、和/或CTU、和/或区域、和/或片、和/或CU中信令通知EQT深度和/或最小允许的EQT叶节点尺寸。

d.代替使用应用于方块的当前四叉树分割,对于具有M×N(M和N是非零正整数值,相等或不相等)尺寸的块,在EQT中,可以将一个块相等地划分为四个分割,诸如M/4×N或M×N/4(在图7A和图7B中描绘了示例),或者相等地划分为四个分割并且分割尺寸取决于M和N的最大值和最小值。在一个示例中,一个4×32块可以被划分成四个4×8子块,而32×4块可以被划分成四个8×4子块。

e.代替使用应用于方块的当前四叉树分割,对于具有M×N(M和N是非零正整数值,相等或不相等)尺寸的块,在EQT中,可以将一个块不相等地划分成四个分割,诸如两个分割的尺寸等于(M*w0/w)×(N*h0/h),并且另外两个分割的尺寸等于(M*(w-w0)/w)×(N*(h-h0)/h)。

例如,w0和w可以分别等于1和2,即宽度减半,而高度可以使用其他比率而不是2:1来得到子块。这种情况的示例在图7C和图7E中描绘。可替代地,h0和h可以分别等于1和2,即高度减半,而宽度可以使用其他比率而不是2:1。这种情况的示例在图7D和图7F中描绘。

图7G和图7H示出了四叉树分割的两个替代示例。

图7I示出了具有不同形状的分割的四叉树分割的更一般情况。

图7J和图7K示出了图7A和图7B的一般示例。

总的来说,图7A至图7K示出了以下维度。(a)M×N/4(b)M/4×N,(c)子块宽度固定为M/2,高度等于N/4或3N/4,对于顶部两个分割更小(d)子块高度固定为N/2,宽度等于M/4或3M/4,对于左侧两个分割更小(e)子块宽度固定为M/2,高度等于3N/4或N/4,对于底部两个分割更小(f)子块高度固定为N/2,宽度等于3M/4或M/4,对于右侧两个分割更小(g)M×N/4和M/2×N/2;(h)N×M/4和N/2×M/2(i)M1×N1、(M-M1)×N1、M1×(N-N1)和(M-M1)×(N-N1)(j)M×N1、M×N2、M×N3和M×N4,其中和N1+N2+N3+N4=N(k)M1×N、M2×N、M3×N和M4×N,其中M1+M2+M3+M4=M。

2.灵活树(Flexible Tree,FT)分割结构,对应于包括用于视频数据的块的FT分割过程的块分割过程,其中FT分割结构表示将视频数据的块分割成最终子块,并且当FT分割过程决定将FT分割应用于一个给定块时,所述一个给定块被划分成K个子块,其中K可以大于4;基于视频比特流解码最终子块;以及基于根据导出的FT结构解码的最终子块对视频数据的块进行解码。

a.可以递归地将FT分割过程应用于给定块以生成FT树叶节点。当节点达到最小允许的FT叶节点尺寸或与节点相关联的FT深度达到最大允许的FT深度时,隐式地终止对一个节点的分割。

b.可替代地,当FT应用于某个块时,对于由于FT产生的子块中的每一个,它可以被进一步划分成BT、和/或QT、和/或EQT、和/或TT、和/或其他种类的分割树。

c.可替代地,此外,可以在序列参数集(SPS)、和/或图片参数集(PPS)、和/或条带报头、和/或CTU、和/或区域、和/或片、和/或CU中信令通知FT深度或最小允许的FT叶节点尺寸或FT的最小允许的分割尺寸。

d.与EQT类似,由于FT分割产生的所有子块可以具有相同的尺寸;可替代地,不同子块的尺寸可以不同。

e.在一个示例中,K等于6或8。图8A至图8D中描绘了一些示例,其示出了FT分割的示例:(a0K=8,M/4*N/2(b)K=8,M/2*N/4(c)K=6,M/2*N/2和M/4*N/2,(d)K=6,M/2*N/2和M/2*N/4

3.对于TT,可以移除沿水平或垂直方向的划分限制。

a.在一个示例中,泛化TT(Generalized TT,GTT)分割模式可以被定义为水平和垂直两者的划分。示例在图9A和图9B中示出。

4.所提出的方法可以在某些条件下应用。换句话说,当不满足(多个)条件时,不需要信令通知分割类型。

f.可替代地,可以使用所提出的方法来替换现有的分割树类型。可替代地,此外,所提出的方法可以仅在某些条件下用作替换。

g.在一个示例中,条件可以包括图片和/或条带类型;和/或块尺寸;和/或编码模式;和/或一个块是否位于图片/条带/片边界处。

h.在一个示例中,可以以与QT相同的方式对待所提出的EQT。在这种情况下,当指示分割树类型是QT时,可以进一步信令通知详细的四叉树分割模式的更多标志/指示。可替代地,可以将EQT视为附加分割模式。

i.在一个示例中,信令通知EQT或FT或GTT的分割方法可以是有条件的,即,在一些情况下可以不使用一个或一些EQP/FT/GTT分割方法,并且不用信令通知对应于信令通知这些分割方法的比特。

2.6 JVET-K0287中的边缘处理

在JVET-K0287中,提出了一种边界处理方法用于多功能视频编码(VVC)。AVS-3.0也采用了类似的方法。

由于VVC中的强制四叉树边界分割解决方案未经优化。JVET-K0287提出了使用常规块分割语法来保持上下文自适应二进制算术编码(CABAC)引擎的连续性以及匹配图片边界的边界分割方法。

通用边界分割获得以下规则(编码器和解码器两者):

·对于边界定位块(boundary located block)使用正常块(非边界)的完全相同的分割语法(例如,如图10的VTM-1.0),语法需要保持不变。

·如果对于边界CU解析了无划分模式,则使用强制边界分割(Forced BoundaryPartition,FBP)来匹配图片边界。

·在强制边界分割(非单个边界分割)之后,没有进一步的分割。

图10示出了用于通用边界分割的未改变的语法和改变的语义的示例。强制边界分割描述如下:

·如果块的尺寸大于最大允许的BT尺寸,则在当前强制分割级别中使用强制QT来执行FBP;

·否则,如果当前CU的右下方样本位于底部图片边界下方而未扩展右边界,则在当前强制分割级别中使用强制水平BT来执行FBP;

·否则,如果当前CU的右下方样本位于右图片边界的右侧,而不是底部边界下方,则在当前强制分割级别中使用强制垂直BT来执行FBP;

·否则,如果当前CU的右下方样本位于右图片边界的右侧和底部边界下方,则在当前强制分割级别中使用强制QT来执行FBP。

3 当前技术的局限性

1.EQT和QT/BT/TT的分割之间可能存在一些冗余。例如,对于M×N的块,可以将其划分成垂直BT三次(首先划分成两个M/2*N分割,然后对于每个M/2*N分割,进一步应用垂直BT划分)以得到四个M/4*N分割。此外,为了得到四个M/4×N分割,该块可以选择直接使用如图7B的EQT。

2.如何在比特流中有效地信令通知EQT仍然是一个未解决的问题。

4 示例实施例

为了解决该问题以及视频编码技术中的其他可能的改进,提出了若干实施例来处理EQT的情况。这些实施例的益处有时会被明确地描述,但是也将由本领域技术人员理解。

下面的列表应该被视为解释一般概念的示例。不应以狭义的方式解释这些实施例。此外,这些实施例可以以任何方式组合。

示例1.在一个实施例中,当启用EQT时,在某些条件下不允许某些BT分割。在这种情况下,可以用来自示例2和/或示例3的方法来信令通知对不允许BT分割的指示。

a.当启用如M*N/4的EQT(如图7A所描绘)时,在如图11A所示的一个示例中,如果下侧部分以水平BT从父块(parent block)划分并且上侧部分也以水平BT而划分,则在该块中不允许水平BT。

b.当启用如M/4*N的EQT(如图7B所描绘)时,在如图11B所示的一个示例中,如果右侧部分以垂直BT从父块划分并且左侧部分也以垂直BT而划分,则在该块中不允许垂直BT。

c.当启用如M*N/4的EQT(如图7A所描绘)时,在如图11C所示的一个示例中,如果中心部分以水平TT从父块划分,则在该块中不允许水平BT。

d.当启用如M/4*N的EQT(如图7B所描绘)时,在如图11D所示的一个示例中,如果中心部分以垂直TT从父块划分,则在该块中不允许垂直BT。

e.当启用如图7G的最左侧中的EQT时,在如图11E所示的一个示例中,在以水平TT从父块划分的中心部分的块中不允许垂直BT。

f.当启用如图7H的最左侧中的EQT时,在如图11F所示的一个示例中,如果中心部分以垂直TT从父块划分,则在该块中不允许水平BT。

示例2.在一些实施例中,用于分割的语法元素在不允许某些分割的条件下以及在允许它们的条件下以相同方式二进制化。语法信令通知方法不是专门设计以避免不允许的分割。规范的编码器必须避免选择不允许的分割。包括不允许的分割的比特流被视为不规范的比特流。

a.在一个示例中,不能在规范的比特流中信令通知不允许的分割。信令通知了不允许的分割,由解码器将比特流确定为不规范。

示例3.在一些实施例中,不能从编码器向解码器信令通知不允许分割,即,没有用以表示不允许的分割的码字。

a.在如图11A所示的一个示例中,如果下侧部分以水平BT从父块划分并且上侧部分也以水平BT而划分,则没有用以表示块的水平BT的码字。

b.在如图11B所示的一个示例中,如果右侧部分以垂直BT从父块划分并且左侧部分也以垂直BT而划分,则没有用以表示块的垂直BT的码字。

c.在如图11C所示的一个示例中,如果中心部分以水平TT从父块划分,则没有用以表示块的水平BT的码字。

d.在如图11D所示的一个示例中,如果中心部分以垂直TT从父块划分,则没有用以表示块的垂直BT的码字。

e.在如图11E所示的一个示例中,如果中心部分以水平TT从父块划分,则没有用以表示块的垂直BT的码字。

f.在如图11F所示的一个示例中,如果中心部分以垂直TT从父块划分,则没有用以表示块的水平BT的码字。

示例4.在一个示例中,分割的二值化在图12中示出。码字的表示如下:

表1

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 0101 垂直BT
4 0110 水平EQT
5 0111 垂直EQT

应该注意,所有表中交换所有“0”和“1”是等价的。

a.在一个示例中,信令通知标志以指示应用BT还是EQT,随后是指示应用水平分割还是垂直分割的标志。

b.可替代地,信令通知标志以指示应用水平分割还是垂直分割,随后是指示应用BT还是EQT的标志。码字的表示的示例如下:

表2

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 0101 水平EQT
4 0110 垂直BT
5 0111 垂直EQT

示例5.如果没有用以表示水平BT的码字,如示例3.a所声明的。码字的表示的示例如下:

表3

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 水平EQT
3 0110 垂直BT
4 0111 垂直EQT

码字的表示的替代示例如下:

表4

Figure BDA0002183132610000131

Figure BDA0002183132610000141

示例6.如果没有用以表示垂直BT的码字,如示例3.b所声明的。码字的表示的示例如下:

表6

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 0101 垂直EQT
4 0110 水平EQT

码字的表示的替代示例如下:

表7

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 0101 水平EQT
4 011 垂直EQT

示例7.在一个示例中,四种类型的EQT(如图7A所示的相等水平EQT,如图7B所示的相等垂直EQT,如图7G所示的非相等水平EQT和如图7H所示的非相等垂直EQT)可以由编码器选择并被信令通知给解码器。

a.在一个示例中,信令通知标志以指示应用BT还是EQT。如果选择EQT,则信令通知随后的标志以指示选择相等EQT还是非相等EQT。在那些一个或两个标志之后,信令通知指示水平分割还是垂直分割的标志。示例性码字表如下。

表8

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 0101 垂直BT
4 01100 相等水平EQT
5 01101 相等垂直EQT
6 01110 非相等水平EQT
7 01111 非相等垂直EQT

a.可替代地,信令通知标志以指示应用水平分割还是垂直分割,随后是指示应用BT还是EQT的标志。如果选择EQT,则信令通知随后的标志以指示选择相等EQT还是非相等EQT。示例性码字表如下。

表9

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 01010 相等水平EQT
4 01011 非相等水平EQT
5 0110 垂直BT
6 01110 相等垂直EQT
7 01111 非相等垂直EQT

b.如果没有用以表示水平BT的码字,如示例3.a所声明的。码字的表示的示例如下:

表10

Figure BDA0002183132610000151

Figure BDA0002183132610000161

码字的表示的另一个示例如下:

表11

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 垂直BT
3 01100 相等水平EQT
4 01101 相等垂直EQT
5 01110 非相等水平EQT
6 01111 非相等垂直EQT

c.如果没有用以表示垂直BT的码字,如示例3.b所声明的。码字的表示的示例如下:

表12

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 水平BT
3 01100 相等水平EQT
4 01101 相等垂直EQT
5 01110 非相等水平EQT
6 01111 非相等垂直EQT

码字的表示的替代示例如下:

表13

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平BT
3 01010 相等水平EQT
4 01011 非相等水平EQT
6 0110 相等垂直EQT
7 0111 非相等垂直EQT

示例8.用于对分割类型的指示的二进制位串的每个二进制位(比特)可以用一个或多个上下文进行CABAC编码。

a.在一个示例中,无进一步划分(不划分)模式被视为分割类型之一。

b.可替代地,可以用上下文对二进制位串的仅部分二进制位进行编码,并且可以用旁路模式(即,不利用上下文)对剩余二进制位进行编码。

c.对于用上下文编码的二进制位,可以使用一个或多个上下文。

d.上下文可以取决于:

(a)二进制位的位置或索引。

(b)空域/时域相邻块的分割。

(c)当前块的当前分割深度(例如,QT深度/BT深度)。

(d)空域/时域相邻块和/或空域/时域非邻近块的分割深度(例如,QT深度/BT深度)。

(e)空域/时域相邻块的编码模式。

(f)条带类型/图片类型。

(g)颜色分量。

(h)根据先前编码的块的、分割类型的统计结果。

示例9.是否以及如何不允许冗余分割可以取决于颜色分量,诸如Y/Cb/Cr。

示例10.可以在VPT/SPS/PPS/条带报头/CTU/CU/CTU组/CU组中从编码器向解码器信令通知是否以及如何不允许冗余分割。

示例11.在一些实施例中,在BT划分之后不允许EQT。如果当前块的一个或多个父块以BT而划分,则对于当前块不允许EQT。图15A和图15B示出了块从父块划分的两个示例,其中图15A以一个深度的BT而划分,并且图15B以两个深度的BT而划分。

a.分割的信令通知取决于块是否以一个或多个深度的BT而从父块划分。在一个示例中,如果块以一个或多个深度的BT而从父块划分,则没有用以表示EQT的码字。

b.可替代地,在BT划分之后允许EQT。

示例12.在一些实施例中,在TT划分之后不允许EQT。如果当前块的一个或多个父块以TT而划分,则对于当前块不允许EQT。

a.可替代地,在TT划分之后允许EQT。

示例13.在一些实施例中,在QT划分之后不允许EQT。如果当前块的一个或多个父块以QT而划分,则对于当前块不允许EQT。

a.可替代地,QT划分之后允许EQT。

示例14.在一些实施例中,在EQT划分之后不允许QT。如果当前块的一个或多个父块以EQT而划分,则对于当前块不允许QT。

a.可替代地,在EQT划分之后允许QT。

示例15.在一些实施例中,在EQT划分之后不允许TT。如果当前块的一个或多个父块以EQT而划分,则对于当前块不允许TT。

a.可替代地,在EQT划分之后允许TT。

示例16.在一些实施例中,在EQT划分之后不允许BT。如果当前块的一个或多个父块以EQT而划分,则对于当前块不允许BT。

a.可替代地,在EQT划分之后允许BT。

示例17.在一些实施例中,在EQT划分之后不允许EQT。如果当前块的一个或多个父块以EQT而划分,则对于当前块不允许EQT。

a.可替代地,在EQT划分之后允许EQT。

示例18.在一些实施例中,如果当前块的形状或尺寸满足一些条件,则不允许EQT。(假设当前块的宽度和高度为W和H,T1、T2和T为一些整数)

a.如果W>=T1且H>=T2,则不允许EQT;

b.如果W>=T1或H>=T2,则不允许EQT;

c.如果W<=T1且H<=T2,则不允许EQT;

d.如果W<=T1或H<=T2,则不允许EQT;

e.如果W×H<=T,则不允许EQT;

f.如果W×H>=T,则不允许EQT;

g.如果H<=T,则不允许水平EQT;

h.如果H>=T,则不允许水平EQT;

i.如果W<=T,则不允许垂直EQT;

j.如果W>=T,则不允许垂直EQT;

示例19.在一些实施例中,如果当前块的形状或尺寸满足一些条件,则允许EQT。(假设当前块的宽度和高度为W和H,T1、T2和T为一些整数)

a.如果W>=T1且H>=T2,则允许EQT;

b.如果W>=T1或H>=T2,则允许EQT;

c.如果W<=T1且H<=T2,则允许EQT;

d.如果W<=T1或H<=T2,则允许EQT;

e.如果W×H<=T,则允许EQT;

f.如果W×H>=T,则允许EQT;

g.如果H<=T,则允许水平EQT;

h.如果H>=T,则允许水平EQT;

i.如果W<=T,则允许垂直EQT;

j.如果W>=T,则允许垂直EQT;

示例20.在一些实施例中,如果当前块的深度满足一些条件,则不允许EQT。

a.如果划分深度<=T,则不允许EQT;

b.如果划分深度>=T,则不允许EQT;

c.如果QT划分深度<=T,则不允许EQT;

d.如果QT划分深度>=T,则不允许EQT;

e.如果BT划分深度>=T,则不允许EQT;

f.如果BT划分深度<=T,则不允许EQT;

g.如果TT划分深度<=T,则不允许EQT;

h.如果TT划分深度>=T,则不允许EQT;

i.如果EQT划分深度<=T,则不允许EQT;

j.如果EQT划分深度>=T,则不允许EQT;

示例21.在一些实施例中,如果当前块的深度满足一些条件,则允许EQT。

a.如果划分深度<=T,则允许EQT;

b.如果划分深度>=T,则允许EQT;

c.如果QT划分深度<=T,则允许EQT;

d.如果QT划分深度>=T,则允许EQT;

e.如果BT划分深度>=T,则允许EQT;

f.如果BT划分深度<=T,则允许EQT;

g.如果TT划分深度<=T,则允许EQT;

h.如果TT划分深度>=T,则允许EQT;

i.如果EQT划分深度<=T,则允许EQT;

如果EQT划分深度>=T,则允许EQT;

图13示出了可用于实施目前所公开的技术的各个部分的硬件设备1300的示例实施例的框图。硬件设备1300可以是膝上型电脑、智能电话、平板电脑、便携式摄像机或能够处理视频或其他类型的可视媒体(例如,图像)的其他类型的设备。设备1300包括处理数据的处理器或控制器1302,以及与处理器1302通信的、存储和/或缓冲数据的存储器1304。例如,处理器1302可以包括中央处理单元(Central Processing Unit,CPU)或微控制器单元(Microcontroller Unit,MCU)。在一些实施方式中,处理器1302可以包括现场可编程门阵列(Field-Programmable Gate-Array,FPGA)。在一些实施方式中,设备1300包括用于智能电话设备的各种可视和/或通信数据处理功能的图形处理单元(Graphics ProcessingUnit,GPU)、视频处理单元(Video Processing Unit,VPU)和/或无线通信单元,或与其通信。例如,存储器1304可以包括并存储处理器可运行代码,其在由处理器1302运行时配置设备1300以执行各种操作,例如,诸如接收信息、命令和/或数据,处理信息和数据,以及将处理后的信息/数据发送或提供给另一设备,诸如执行器或外部显示器。为了支持设备1300的各种功能,存储器1304可以存储信息和数据,诸如指令、软件、值、图像以及由处理器1302处理或引用的其他数据。例如,各种类型的随机存取存储器(Random Access Memory,RAM)设备、只读存储器(Read Only Memory,ROM)设备、闪存设备和其他合适的存储介质可以用来实施存储器1304的存储功能。设备1300可以进一步包括用于执行诸如变换和解码的重复计算功能的专用视频处理电路1306。在一些实施例中,视频处理电路1306可以在处理器1302内部实施。在一些实施例中,视频处理电路1306可以是图形处理器单元(GPU)。

图14A是处理视频数据的示例方法1400的流程图。视频数据可以是例如数字视频或数字图像。方法1400包括:对于视频区域的视频块的编码表示和视频块之间的转换,确定(1402)对视频区域的至少一个视频块启用了扩展四叉树(EQT)分割。方法1400还包括基于该确定来执行(1404)转换,其中EQT分割将视频块划分成多个子块,使得多个子块中的至少一个子块具有与视频块的一半宽度乘以视频块的一半高度不同的尺寸。

在一些实施例中,对于视频区域的视频块的编码表示和视频块之间的转换的该确定包括基于规则确定不允许视频块的二叉树(BT)分割。在一些实施例中,该规则指定:对于M×N视频块,其中M和N是整数,并且对于M×N/4结构的EQT分割,如果视频块的下侧部分是以水平BT从父块划分的并且视频块的上侧部分也以水平BT而划分,则在视频块的下侧部分中不允许水平BT。

在一些实施例中,该规则指定:对于M×N视频块,其中M和N是整数,并且对于M/4×N结构的EQT分割,如果视频块的右侧部分是以垂直BT从父块划分的并且视频块的左侧部分也以垂直BT而划分,则在视频块的右侧部分中不允许垂直BT。

在一些实施例中,该规则指定:对于M×N视频块,其中M和N是整数,并且对于M×N/4结构的EQT分割,如果视频块包括用水平三叉树(TT)分割从父块划分的中心部分,则在视频块的中心部分中不允许水平BT。

在一些实施例中,该规则指定:对于M×N视频块,其中M和N是整数,并且对于M/4×N结构的EQT分割,如果视频块包括用垂直三叉树(TT)分割从父块划分的中心部分,则在视频块的中心部分中不允许垂直BT。

在一些实施例中,该规则指定:对于M×N视频块,其中M和N是整数,如果视频块包括用水平三叉树(TT)分割从父块划分的中心部分,则在视频块的中心部分中不允许垂直BT。

在一些实施例中,该规则指定:对于M×N视频块,其中M和N是整数,如果视频块包括用垂直三叉树(TT)分割从父块划分的中心部分,则在视频块的中心部分中不允许水平BT。

在一些实施例中,视频块的编码表示的语法元素是使用二值化过程而生成的,其中该二值化过程与用于未应用该规则的另一视频块的另一编码表示的语法元素的二值化过程相同。

在一些实施例中,比特流包括视频块的编码表示,并且包括基于该规则而不允许的视频块的BT分割过程的码字,其中,比特流中不包括对基于该规则而不允许的视频块的BT分割的指示。

在一些实施例中,比特流包括视频块的编码表示,并且不包括基于该规则而不允许的视频块的BT分割过程的码字。

在一些实施例中,如果视频块的下侧部分是以水平BT从父块划分的并且视频块的上侧部分也以水平BT而划分,则比特流不包括块的下侧部分的水平BT的码字。

在一些实施例中,如果视频块的右侧部分是以垂直BT从父块划分的并且视频块的左侧部分也以垂直BT而划分,则比特流不包括块的右侧部分的垂直BT的码字。

在一些实施例中,如果视频块包括用水平三叉树(TT)分割从父块划分的中心部分,则比特流不包括块的中心部分的水平BT的码字。

在一些实施例中,如果视频块包括用垂直三叉树(TT)分割从父块划分的中心部分,则比特流不包括块的中心部分的垂直BT的码字。

在一些实施例中,如果视频块包括用水平三叉树(TT)分割从父块划分的中心部分,则比特流不包括块的中心部分的垂直BT的码字。

在一些实施例中,如果视频块包括用垂直三叉树(TT)分割从父块划分的中心部分,则比特流不包括块的中心部分的水平BT的码字。在一些实施例中,视频区域包括一个或多个视频块。

在一些实施例中,对于图14A中示出的方法,视频块的编码表示是使用来自包括码字和分割类型之间的映射的表的码字而表示的。

在一些实施例中,表如下所示:

Figure BDA0002183132610000221

Figure BDA0002183132610000231

在一些实施例中,第一标志和第二标志被包括在视频块的编码表示中,第一标志指示EQT分割或BT分割被应用于视频块,第二标志指示水平分割或垂直分割被应用于视频块,并且在视频块的编码表示中第一标志在第二标志之前。

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平二叉树(BT)
3 0101 水平EQT
4 0110 垂直BT
5 0111 垂直EQT

在一些实施例中,第一标志和第二标志被包括在视频块的编码表示中,第一标志指示水平分割或垂直分割被应用于视频块,第二标志指示EQT分割或BT分割被应用于视频块,并且在视频块的编码表示中第一标志在第二标志之前。

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 水平EQT
3 0110 垂直二叉树(BT)
4 0111 垂直EQT

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 垂直二叉树(BT)
3 0110 水平EQT
4 0111 垂直EQT

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平二叉树(BT)
3 0101 垂直EQT
4 0110 水平EQT

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平二叉树(BT)
3 0101 水平EQT
4 011 垂直EQT

在一些实施例中,表如下所示:

Figure BDA0002183132610000241

Figure BDA0002183132610000251

在一些实施例中,第一标志、第二标志和第三标志被包括在视频块的编码表示中,第一标志指示EQT分割或BT分割被应用于视频块,响应于EQT分割被应用,第二标志指示相等EQT分割或非相等分割被应用于视频块,第三标志指示水平分割或垂直分割被应用于视频块,并且在视频块的编码表示中,第一标志在第二标志之前并且第二标志在第三标志之前。

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 0100 水平二叉树(BT)
3 01010 相等水平EQT
4 01011 非相等水平EQT
5 0110 垂直BT
6 01110 相等垂直EQT
7 01111 非相等垂直EQT

在一些实施例中,第一标志、第二标志和第三标志被包括在视频块的编码表示中,第一标志指示水平分割或垂直分割被应用于视频块,第二标志指示EQT分割或BT分割被应用于视频块,响应于EQT分割被应用,第三标志指示相等EQT分割或非相等分割被应用于视频块,并且在视频块的编码表示中,第一标志在第二标志之前并且第二标志在第三标志之前。

在一些实施例中,表如下所示:

Figure BDA0002183132610000252

Figure BDA0002183132610000261

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 垂直二叉树(BT)
3 01100 相等水平EQT
4 01101 相等垂直EQT
5 01110 非相等水平EQT
6 01111 非相等垂直EQT

在一些实施例中,表如下所示:

码字 二进制位串 分割类型
0 1 四叉树
1 00 不划分
2 010 水平二叉树(BT)
3 01100 相等水平EQT
4 01101 相等垂直EQT
5 01110 非相等水平EQT
6 01111 非相等垂直EQT

在一些实施例中,表如下所示:

Figure BDA0002183132610000262

Figure BDA0002183132610000271

在一些实施例中,视频区域包括一个或多个视频块。在一些实施例中,执行转换包括生成视频块的编码表示。在一些实施例中,执行转换包括生成视频块。

在一些实施例中,对于图14A中示出的方法,视频块的编码表示包括使用上下文自适应二进制算术编码(CABAC)技术而编码的二进制位串的一个或多个比特,并且二进制位串指示分割的视频块的分割类型。

在一些实施例中,CABAC技术对二进制位串进行编码以指示无划分模式作为被分割的视频块的一种分割类型。

在一些实施例中,一个或多个比特包括第一比特集合和第二比特集合,其中第一比特集合是用CABAC技术而编码的,第二比特集合是用旁路模式而没有利用上下文而编码的,并且第一比特集合与第二比特集合不同。

在一些实施例中,一个或多个比特是用利用一个或多个上下文的CABAC技术而编码的。在一些实施例中,用于编码的一个或多个上下文取决于以下中的至少一个:(a)比特的位置或索引,(2)空域或时域相邻视频块的分割,(3)视频块的当前分割,(4)空域或时域相邻视频块的分割深度或者空域或时域非邻近视频块的分割深度,(5)空域或时域相邻视频块的编码模式,(6)视频块的条带类型或图片类型,(7)视频块的颜色分量,或者(8)根据先前编码的视频块的、分割类型的统计结果。在一些实施例中,视频区域包括一个或多个视频块。在一些实施例中,执行转换包括生成视频块的编码表示。在一些实施例中,执行转换包括生成视频块。

图14B是处理视频数据的示例方法1420的流程图。视频数据可以是例如数字视频或数字图像。方法1420包括:对于视频区域的视频块的编码表示和视频块之间的转换,基于规则确定(1422)是否对视频区域的至少一个视频块启用了扩展四叉树(EQT)分割和/或是否使用二叉树(BT)分割来分割了视频区域的视频块。方法1420还包括基于该确定来执行(1424)转换。

在一些实施例中,该规则指定在视频块的一个或多个父视频块通过BT分割而划分之后,对于视频块不允许EQT分割。在一些实施例中,响应于视频块是以一个或多个深度使用BT分割而从一个或多个父视频块划分的,视频块的编码表示不包括EQT分割的码字。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过BT分割而划分之后,对于视频块允许EQT分割。

在一些实施例中,该规则指定在视频块的一个或多个父视频块通过三叉树(TT)划分而划分之后,对于视频块不允许EQT分割。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过三叉树(TT)划分而划分之后,对于视频块允许EQT分割。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过四叉树(QT)划分而划分之后,对于视频块不允许EQT分割。

在一些实施例中,该规则指定在视频块的一个或多个父视频块通过四叉树(QT)划分而划分之后,对于视频块允许EQT分割。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块不允许四叉树(QT)划分。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块允许四叉树(QT)划分。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块不允许三叉树(TT)划分。

在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块允许三叉树(TT)划分。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块不允许BT分割。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块允许BT分割。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块不允许EQT分割。在一些实施例中,该规则指定在视频块的一个或多个父视频块通过EQT分割而划分之后,对于视频块允许EQT分割。

在一些实施例中,该规则基于视频块是亮度块或色度块。在一些实施例中,该规则是在视频参数集(Video Parameter Set,VPS)、序列参数集(SPS)、图片参数集(PPS)、条带报头、编码树单元(CTU)、编码单元(CU)、CTU组或CU组中信令通知的。

在一些实施例中,该规则指定如果视频块的维度满足以下条件之一,则不允许EQT分割:(a)如果W>=T1且H>=T2,则不允许EQT;(b)如果W>=T1或H>=T2,则不允许EQT;(c)如果W<=T1且H<=T2,则不允许EQT;(d)如果W<=T1或H<=T2,则不允许EQT;(e)如果W×H<=T,则不允许EQT;(f)如果W×H>=T,则不允许EQT;(g)如果H<=T,则不允许水平EQT;(h)如果H>=T,则不允许水平EQT;(i)如果W<=T,则不允许垂直EQT;以及(j)如果W>=T,则不允许垂直EQT,其中视频块以像素为单位的宽度和高度分别为W和H,并且其中T1、T2和T是整数。

在一些实施例中,该规则指定如果视频块的形状或尺寸满足以下条件之一,则允许EQT分割:(a)如果W>=T1且H>=T2,则允许EQT;(b)如果W>=T1或H>=T2,则允许EQT;(c)如果W<=T1且H<=T2,则允许EQT;(d)如果W<=T1或H<=T2,则允许EQT;(e)如果W×H<=T,则允许EQT;(f)如果W×H>=T,则允许EQT;(g)如果H<=T,则允许水平EQT;(h)如果H>=T,则允许水平EQT;(i)如果W<=T,则允许垂直EQT;以及(j)如果W>=T,则允许垂直EQT,其中视频块以像素为单位的宽度和高度分别为W和H,并且其中T1、T2和T是整数。

在一些实施例中,该规则指定如果视频块的深度满足以下条件之一,则不允许EQT分割:(a)如果划分深度<=T,则不允许EQT;(b)如果划分深度>=T,则不允许EQT;(c)如果QT划分深度<=T,则不允许EQT;(d)如果QT划分深度>=T,则不允许EQT;(e)如果BT划分深度>=T,则不允许EQT;(f)如果BT划分深度<=T,则不允许EQT;(g)如果TT划分深度<=T,则不允许EQT;(h)如果TT划分深度>=T,则不允许EQT;(i)如果EQT划分深度<=T,则不允许EQT;以及(j)如果EQT划分深度>=T,则不允许EQT,其中T是整数。

在一些实施例中,该规则指定如果视频块的深度满足以下条件之一,则允许EQT分割:(a)如果划分深度<=T,则允许EQT;(b)如果划分深度>=T,则允许EQT;(c)如果QT划分深度<=T,则允许EQT;(d)如果QT划分深度>=T,则允许EQT;(e)如果BT划分深度>=T,则允许EQT;(f)如果BT划分深度<=T,则允许EQT;(g)如果TT划分深度<=T,则允许EQT;(h)如果TT划分深度>=T,则允许EQT;(i)如果EQT划分深度<=T,则允许EQT;以及(j)如果EQT划分深度>=T,则允许EQT,其中T是整数。

在一些实施例中,视频区域包括一个或多个视频块。在一些实施例中,对视频区域中的一个视频块或视频区域中的多个视频块启用EQT分割。在一些实施例中,EQT分割将视频块划分成多个子块,使得多个子块中的至少一个子块具有与视频块的一半宽度乘以视频块的一半高度不同的尺寸。在一些实施例中,EQT分割将视频块划分成具有与视频块的高度相同的高度的四个子块。在一些实施例中,EQT分割将视频块划分成具有与视频块的宽度相同的宽度的四个子块。在一些实施例中,执行转换包括生成视频块的编码表示。在一些实施例中,执行转换包括生成视频块。

在一些实施例中,确定操作1402、1422可以包括经由网络连接或比特流的本地存储副本接收比特流,其中比特流包括视频块的编码表示。在一些实施例中,例如,在编码期间,可以以先前编码的比特的形式接收比特流,并且可以从编码器的本地存储器重构比特流。

在一些实施例中,例如,在可视媒体解码器装置中,该执行1404、1424可以包括生成未压缩的可视数据(例如,视频或图像)并将其存储在显示存储器中或显示到用户接口。

在一些实施例中,例如,在可视媒体编码器装置中,执行转换1404、1424可以包括生成可视媒体的压缩比特流表示并存储压缩比特流,以用于将来使用或通过通信连接将压缩比特流传递到存储器或另一设备。

在一些实施例中,一种可视媒体解码器装置,包括:处理器,被配置为实施(多个)上述方法1400、1420及其附加特征。在一些实施例中,一种可视媒体编码器装置,包括:处理器,被配置为实施(多个)上述方法1400、1420及其附加特征。

在一些实施例中,计算机可读程序介质可以具有存储在其上的代码。该代码包括指令,该指令在由处理器运行时使得处理器实施贯穿本文档描述的(多个)方法1400、1420及其附加特征。

从前述内容可以理解,本文已经出于说明的目的描述了目前所公开的技术的特定实施例,但是在不脱离本发明的范围的情况下可以进行各种修改。因此,除了所附权利要求之外,目前所公开的技术不受限制。

关于本文描述的方法,可以在表示编码视频的比特流的字段中指示最小允许的叶节点尺寸或最大允许的四叉树深度。可以基于给定块被编码的条件选择性地执行给定块的分割过程。该条件可以与用于编码给定块的编码模式或与给定块相关联的尺寸参数相关。

使用所公开的技术,在一些实施例中,连续地分割视频块的方法可以包括使用包括BT、TT、QT或EQT的多种分割可能之一来分割块。本文描述的各种规则可以用于控制在块的分割的哪个深度处使用哪种分割可能。此外,避免了分割的重复最终结果,从而允许基于更少数量的比特来信令通知最终分割。

图16是可以在其中实施所公开的技术的示例视频处理系统的框图。图16是示出可以在其中实施本文公开的各种技术的示例视频处理系统1600的框图。各种实施方式可以包括系统1600的一些或所有组件。系统1600可以包括用于接收视频内容的输入1602。视频内容可以以例如8或10比特多分量像素值的原始或未压缩的格式而接收,或者可以是压缩或编码格式。输入1602可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光纤网络(Passive Optical Network,PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1600可以包括可以实施本文档中描述的各种编码方法的编码组件1604。编码组件1604可以将视频的平均比特率从输入1602减小到编码组件1604的输出,以产生视频的编码表示。因此,编码技术有时被称为视频压缩或视频转码技术。编码组件1604的输出可以被存储,或者经由如组件1606所表示的连接的通信而发送。在输入1602处接收的视频的存储或通信传送的比特流(或编码)表示可以由组件1608用于生成传送到显示接口1610的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编码”操作或工具,但是应该理解,编码工具或操作在编码器处使用,并且反转编码结果的对应的解码工具或操作将由解码器执行。

***总线接口或显示器接口的示例可以包括通用串行总线(Universal SerialBus,USB)或高清晰度多媒体接口(High Definition Multimedia Interface,HDMI)或Displayport等。存储接口的示例包括SATA(Serial Advanced Technology Attachment,串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型电脑、智能电话或能够执行数字数据处理和/或视频显示的其他设备。

本文档中描述的所公开的和其他实施例、模块和功能操作可以在数字电子电路中实施,或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中实施,或者在它们中的一个或多个的组合中实施。所公开的和其他实施例可以实施为一个或多个计算机程序产品,即,在计算机可读介质上编码的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理装置”囊括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或者多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建运行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号,例如机器生成的电信号、光学信号或电磁信号。

计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。

本文档中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以实施为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(Application Specific Integrated Circuit,专用集成电路)。

适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可换式磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

虽然本专利文档包含许多细节,但这些细节不应被解释为对任何发明或可能要求保护的范围的限制,而是作为特定于特定发明的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。

类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为要求以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。

仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

58页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于酒店的用户数据分布式存储方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类