具体实施方式

在本文件中使用小节标题来促进容易理解，并且不将在小节中公开的实施例仅限于该小节。此外，尽管参考多功能视频编解码或其他特定视频编解码器描述了某些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是将理解，将由解码器执行撤销编码的对应步骤解码。此外，术语视频处理涵盖视频编码或压缩，视频解码或解压缩以及视频转码，其中视频像素从一种压缩格式表示为另一种压缩格式或以不同的压缩比特率表示。

1.概述

该专利文件涉及视频编解码技术。具体地，它与视频编解码中的相关变换有关。它可以应用于现有的视频编解码标准，例如HEVC，或待完成的标准(多功能视频编解码)。它也可以适用于未来的视频编解码标准或视频编解码器。

2.初步讨论

视频编解码标准主要是通过开发著名的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4Visual，这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测和变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采纳了许多新方法并将其引入到名为“联合探索模型”(JEM)的参考软件中。2018年4月，VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立以致力于VVC标准，与HEVC相比，其比特率降低50％。

2.1典型视频编解码器的编解码流程

图1示出了VVC的编码器框图示例，其包含三个环路滤波块：去块滤波器(DF)，样点自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点通过分别增加偏移和应用有限脉冲响应(FIR)滤波器来减少原始样点和重建样点之间的均方误差，其中编解码的辅助信息信令通知偏移和滤波器系数。ALF位于每个图片的最后处理阶段，并且可以视为试图捕获和修复由先前阶段产生的伪像的工具。

2.2用67个帧内预测模式进行帧内模式编解码

为了捕获自然视频中呈现的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个。附加的定向模式在图6中用红色虚线箭头表示，平面和DC模式保持不变。这些较密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

如图2中所示，常规角帧内预测方向从顺时针方向上的45度-135度定义。在VTM2中，几个常规角帧内预测模式被用于非正方形块的广角帧内预测模式自适应地替换。替换的模式使用原始方法信令通知，并在解析后重新映射到广角模式的索引。帧内预测模式的总数量不变，即67，并且帧内模式编解码不变。

在HEVC中，每个帧内编解码块具有正方形形状，并且其每侧的长度是2的幂。因此，不需要除法运算即可使用DC模式生成帧内预测器。在VVV2中，块可以具有矩形形状，这在通常情况下需要对每个块使用除法运算。为了避免DC预测的除法运算，仅较长侧用于计算非正方形块的平均值。

2.3非正方形块的广角帧内预测

常规角帧内预测方向从顺时针方向上的45度到-135度定义。在VTM2中，几个常规角帧内预测模式被用于非正方形块的广角帧内预测模式自适应地替换。替换的模式使用原始方法信令通知，并在解析后重新映射到广角模式的索引。某个块的帧内预测模式的总数量不变，即67，并且帧内模式编解码不变。

为了支持这些预测方向，如图3A-3B中所示定义了长度为2W+1的顶参考和长度为2H+1的左参考。

广角方向模式下的替换模式的模式数量取决于块的纵横比。在表1中示出了替换的帧内预测模式。

表1-由广角模式替换的帧内预测模式

如图4中所示，在广角帧内预测的情况下，两个竖直相邻的预测样点可以使用两个不相邻的参考样点。因而，将低通参考样点滤波器和侧平滑应用于广角预测以减小增加的间隙Δp_α的负面影响。

2.4位置相关帧内预测组合

在VTM2中，通过位置相关帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测的结果。PDPC是一种帧内预测方法，其涉及未滤波边界参考样点和HEVC式帧内预测与滤波边界参考样点的组合。PDPC适用于以下帧内模式而没有信令：平面，DC，水平，竖直，左下角模式及其八个相邻的角模式，以及右上角模式及其八个相邻的角模式。

根据如下方程使用帧内预测模式(DC，平面，角)和参考样点的线性组合来预测预测样点pred(x,y)：

其中R_x,-1，R_-1,y分别代表位于当前样点(x,y)的顶部和左侧的参考样点，并且R_-1,-1代表位于当前块的左上角的参考样点。

如果将PDPC应用于DC，平面，水平和竖直帧内模式，则不需要附加的边界滤波器，其在HEVC DC模式边界滤波器或水平/竖直模式边缘滤波器的情况下是需要的。

图5A-5D示出了在各种预测模式上应用的针对PDPC的参考样点(R_x,-1，R_-1,y和R_-1,-1)的定义。预测样点pred(x’,y’)位于预测块内的(x’,y’)处。参考样点R_x,-1的坐标x由下式给出：x＝x’+y’+1，并且参考样点R_-1,y的坐标y类似地由下式给出：y＝x’+y’+1。

图5A至5D提供了由应用于对角和相邻角帧内模式的PDPC使用的样点的定义。

PDPC权重取决于预测模式并在表2中示出。

表2-根据预测模式的PDPC权重的示例

2.5.多参考行

多参考行(MRL)帧内预测使用更多参考行进行帧内预测。在图6中，描绘了4个参考行的示例，其中段A和F的样点不是从重建相邻样点获取的，而是分别填充有来自段B和E的最接近的样点。HEVC帧内图片预测使用最近的参考行(即，参考行0)。在MRL中，使用2个附加行(参考行1和参考行3)。

选定参考行的索引(mrl_idx)被信令通知并用于生成帧内预测器。针对大于0的参考行索引，仅包括MPM列表中的附加参考行模式并且仅信令通知MPM索引而没有其余模式。在帧内预测模式之前信令通知参考行索引，并且在信令通知非零参考行索引的情况下从帧内预测模式排除平面和DC模式。

针对CTU内部的第一行块禁用MRL以防止使用在当前CTU行的外部的扩展参考样点。同样，当使用附加行时禁用PDPC。

2.6帧内子块分割(ISP)

提出了ISP，其将亮度帧内预测块根据块尺寸维度竖直或水平地划分为2个或4个子分区，如表中所示。图7和图8示出了两个可能性的示例。图7示出了4×8和8×4块的划分的示例。图8示出了除4×8、8×4和4×4以外的所有块的划分的示例。所有子分区都满足至少有16个样点的条件。对于块尺寸，如果允许4×N或N×4(N>8)，则可能存在1×N或N×1子分区。

表3：取决于块尺寸的子分区的数量

对于这些子分区的每一个，通过对由编码器发送的系数进行熵解码，然后对它们进行逆量化和逆变换来生成残差信号。然后，对该子分区进行帧内预测，并最终通过将残差信号与预测信号相加来获得相应的重建样点。因此，每个子分区的重建值将可用于生成下一个分区的预测，其将重复该过程，依此类推。所有子分区共享相同的帧内模式。

表4示出了基于(一个或多个)帧内预测模式的示例变换类型。

表4：取决于predModeIntra的trTypeHor和trTypeVer的规范

2.6.1示例语法和语义

表5示出了示例编解码单元语法。

表5：编解码单元语法

表6示出了示例变换单元语法。一些示例变量包括：

等于1的intra_subpartitions_mode_flag[x0][y0]表示当前帧内编解码单元被分割为NumIntraSubPartitions[x0][y0]个矩形变换块子分区。intra_subpartitions_mode_flag[x0][y0]等于0表示当前帧内编解码单元未被分割为矩形变换块子分区。

当intra_subpartitions_mode_flag[x0][y0]不存在时，推断其等于0。

intra_subpartitions_split_flag[x0][y0]指定帧内子分区划分类型是水平还是竖直。当不存在intra_subpartitions_split_flag[x0][y0]时，如下推断：

如果cbHeight大于MaxTbSizeY，则推断intra_subpartitions_split_flag[x0][y0]等于0。

否则(cbWidth大于MaxTbSizeY)，推断intra_subpartitions_split_flag[x0][y0]等于1。

变量IntraSubPartitionsSplitType指定用于当前亮度编解码块的划分类型，如表7 9中所示。IntraSubPartitionsSplitType如下推导：

如果intra_subpartitions_mode_flag[x0][y0]等于0，则IntraSubPartitionsSplitType设置为等于0。

否则，将IntraSubPartitionsSplitType设置为等于1+intra_subpartitions_split_flag[x0][y0]。

表6转换单元语法

表7示出了与IntraSubPartitionsSplitType的示例名称关联

表7与IntraSubPartitionsSplitType的名称关联

变量NumIntraSubPartitions指定将帧内亮度编解码块划分为的变换块子分区的数量。NumIntraSubPartitions如下推导：

如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，则NumIntraSubPartitions设置为等于1。

否则，如果满足以下条件之一，则NumIntraSubPartitions设置为等于2：cbWidth等于4并且cbHeight等于8，cbWidth等于8并且cbHeight等于4。

否则，NumIntraSubPartitions设置为等于4。

2.7仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测)

提出了仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测(MIP))。

2.7.1通过矩阵矢量乘法生成缩减预测信号

首先通过平均对相邻的参考样点进行下采样以生成缩减参考信号bdry_red。然后，通过计算矩阵矢量乘积并加上偏移来计算出缩减预测信号pred_red。

pred_red＝A·bdry_red+b。

这里，A是矩阵，其具有W_red·H_red行，如果W＝H＝4，则其具有4列，在所有其他情况下其具有8列。b是尺寸W_red·H_red的矢量。

2.7.2.整个ALWIP过程的图示

在图9至图12中针对不同形状示出了平均，矩阵矢量乘法和线性插值的整个过程。请注意，其余形状按所示情况之一处理。

给定4×4块，如图9中所示，ALWIP沿着边界的每个轴线取两个平均值。所得的四个输入样点进入矩阵矢量乘法。矩阵取自集合S_0。在加入偏移后，这产生16个最终预测样点。线性插值对于生成预测信号不是必需的。因此，每个样点总共执行(4·16)/(4·4)＝4次乘法。

给定8×8块，如图10中所示，ALWIP沿着边界的每个轴线取四个平均值。所得的八个输入样点进入矩阵矢量乘法。矩阵取自集合S_1。这在预测块的奇数位置上产生16个样点。因此，每个样点总共执行(8·16)/(8·8)＝2次乘法。在加入偏移后，通过使用缩减顶边界对这些样点进行竖直插值。接着通过使用原始左边界进行水平插值。

给定8×4块，如图11中所示，ALWIP沿着边界的水平轴线取四个平均值并且在左边界上取四个原始边界值。所得的八个输入样点进入矩阵矢量乘法。矩阵取自集合S_1。这在预测块的奇数水平和每个竖直位置上产生16个样点。因此，每个样点总共执行(8·16)/(8·4)＝4次乘法。在加入偏移后，通过使用原始左边界对这些样点进行水平插值。相应地处理转置情况。

给定16×16块，如图12中所示，ALWIP沿着边界的每个轴线取四个平均值。所得的八个输入样点进入矩阵矢量乘法。矩阵取自集合S_2。这在预测块的奇数位置上产生64个样点。因此，每个样点总共执行(8·64)/(16·16)＝2次乘法。在加入偏移后，通过使用顶边界的八个平均值对这些样点进行竖直插值。接着通过使用原始左边界进行水平插值。在该情况下，插值过程不会加入任何乘法。因此，总的来说，每个样点需要两次乘法才能计算ALWIP预测。

对于较大的形状，过程本质上是相同的，并且容易校验每个样点的乘法次数小于四。

对于W>8的W×8块，仅需要水平插值，原因是在奇数水平和每个竖直位置给出了样点。

最后，对于W>8的W×4块，令A_kbe为矩阵，其通过舍去对应于沿着下采样块的水平轴线的奇数项的每一行而产生。因此，输出尺寸为32，并且再次，仅需执行水平插值。

相应地处理转置情况。

2.7.1语法和语义示例

表8示出了示例编解码单元语法

表8编解码单位语法

2.8VVC中的多变换集(MTS)

2.8.1显式多变换集(MTS)

在VTM4中，启用尺寸达到64×64的大块尺寸变换，其主要有用于较高分辨率视频，例如1080p和4K序列。对于尺寸(宽度或高度，或者宽度和高度两者)等于64的变换块，将高频变换系数归零，使得仅保留低频系数。例如，对于M×N的变换块，其中M为块宽度并且N为块高度，当M等于64时，仅保留变换系数的左32列。类似地，当N等于64时，仅保留变换系数的顶32行。当将转换跳过模式用于大块时，将使用整个块而不将任何值归零。

除了已在HEVC中采用的DCT-II之外，还使用多变换选择(MTS)方案对帧间和帧内编解码块进行残差编解码。其使用来自DCT8/DST7的多个选定变换。新引入的变换矩阵是DST-VII和DCT-VIII。下表示出了选定DST/DCT的基函数。

为了保持变换矩阵的正交性，与HEVC中的变换矩阵相比，对变换矩阵进行更精确的量化。为了将变换系数的中间值保持在16比特范围内，在水平和竖直变换之后，所有系数都应具有10比特。

为了控制MTS方案，在SPS级别分别为帧内和帧间指定单独的启用标志。当在SPS处启用MTS时，信令通知CU级标志以指示是否应用MTS。这里，MTS仅应用于亮度。当满足以下条件时信令通知MTS CU级标志。

-宽度和高度都小于或等于32

-CBF标志等于一

如果MTS CU标志等于零，则在两个方向上应用DCT2。然而，如果MTS CU标志等于一，则附加地信令通知其他两个标志以分别指示水平方向和竖直方向的变换类型。变换和信令映射表如表3-10中所示。当涉及到变换矩阵精度时，使用8比特一次变换核。因此，HEVC中使用的所有变换核都保持不变，包括4点DCT-2和DST-7，8点，16点和32点DCT-2。而且，其他变换核，包括64点DCT-2，4点DCT-8，8点，16点，32点DST-7和DCT-8，都使用8比特一次变换核。

为了降低大尺寸DST-7和DCT-8的复杂性，将尺寸(宽度或高度，或者宽度和高度都两者)等于32的DST-7和DCT-8的高频变换系数归零。仅保留16x16低频区域内的系数。

如在HEVC中一样，可以用变换跳过模式对块的残差进行编解码。为了避免语法编解码的冗余，当CU级MTS_CU_flag不等于0时，不信令通知变换跳过标志。变换跳过的块尺寸限制与JEM4中的MTS相同，这指示当块宽度和高度都等于或小于32时，变换跳过适用于CU。

2.8.1.1示例语法和语义

可以在比特流中信令通知MTS索引，并且这种设计称为显式MTS。另外，还支持根据变换块尺寸直接推导矩阵的替代方法，即隐式MTS。

对于显式MTS，其支持所有编解码模式。而对于隐式MTS，仅支持帧内模式。表9示出了示例图片参数集语法。

表9图片参数集RBSP语法。

表10示出了示例变换单元语法。

表10变换单元语法

示例变量中的一些包括：

transform_skip_flag[x0][y0]指定是否将变换应用于亮度变换块。数组索引x0，y0指定所考虑的变换块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。transform_skip_flag[x0][y0]等于1表示没有变换应用于亮度变换块。transform_skip_flag[x0][y0]等于0表示是否将变换应用于亮度变换块的决定取决于其他语法元素。当不存在transform_skip_flag[x0][y0]时，则推断其等于0。

tu_mts_idx[x0][y0]指定哪些变换核沿着相关的亮度变换块的水平和竖直方向应用于残余样点。数组索引x0，y0指定所考虑的变换块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。

当不存在tu_mts_idx[x0][y0]时，推断其等于0。

在CABAC解码过程中，一个上下文用于解码transform_skip_flag，截断一元码用于对tu_mts_idx进行二值化。tu_mts_idx的每个bin(二进制位)经过上下文编解码，对于对于第一bin，使用四叉树深度(即cqtDepth)来选择一个上下文；对于其余bin，使用一个上下文。

表11示出了ctxInc对语法元素的示例分配。

表11将ctxInc分配给具有上下文编解码bin的语法元素

2.8.2隐式多变换集(MTS)

应当注意，启用ISP，SBT和MTS但具有隐式信令的都被视为隐式MTS。

implicitMtsEnabled用于定义是否启用隐式MTS。变量implicitMtsEnabled如下推导：

如果sps_mts_enabled_flag等于1并且以下条件之一为真，则implicitMtsEnabled设置为等于1：

-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT

-cu_sbt_flag等于1并且Max(nTbW,nTbH)小于或等于32

-sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag都等于0并且CuPredMode[xTbY][yTbY]等于MODE_INTRA

否则，implicitMtsEnabled设置为等于0。

指定水平变换核的变量trTypeHor和指定竖直变换核的变量trTypeVer如下推导：

如果cIdx大于0，则trTypeHor和trTypeVer设置为等于0。

否则，如果implicitMtsEnabled等于1，则以下适用：

-如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，则根据intraPredMode在表8 15中指定trTypeHor和trTypeVer。

-否则，如果cu_sbt_flag等于1，则根据cu_sbt_horizontal_flag和cu_sbt_pos_flag在表8 14中指定trTypeHor和trTypeVer。

-否则(sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag等于0)，trTypeHor和trTypeVer如下推导：

trTypeHor＝(nTbW>＝4&&nTbW<＝16&&nTbW<＝nTbH)？1:0(8 1030)

trTypeVer＝(nTbH>＝4&&nTbH<＝16&&nTbH<＝nTbW)？1:0(8 1031)

否则，根据tu_mts_idx[xTbY][yTbY]在表12中指定trTypeHor和trTypeVer。

表12取决于tu_mts_idx[x][y]的trTypeHor和trTypeVer的规范

表13示出了取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的示例规范。

表13取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的规范

2.9缩减二次变换(RST)

2.9.1JEM中的不可分二次变换(NSST)

在JEM中，在正一次变换和量化之间(在编码器处)以及在去量化和逆一次变换之间(在解码器侧)应用二次变换。如图10中所示，执行4x4(或8x8)二次变换取决于块尺寸。例如，对于小块(即，min(宽度，高度)<8)应用4x4二次变换，对于较大块(即，min(宽度，高度)>4)每8x8块应用8x8二次变换。

图13示出了JEM中的二次变换的示例。

使用输入作为示例如下描述不可分变换的应用。为了应用不可分变换，4x4输入块X

首先表示为矢量

不可分变换计算为其中指示变换系数矢量，并且T是16x16变换矩阵。随后使用该块的扫描顺序(水平，竖直或对角)将16x1系数矢量重新组织为4x4块。索引较小的系数将以较小的扫描索引放置在4x4系数块中。总共有35个变换集，并且使用每个变换集使用3个不可分变换矩阵(核)。从帧内预测模式到变换集的映射是预先定义的。对于每个变换集，通过显式信令通知的二次变换索引进一步指定选定的不可分二次变换候选。在变换系数之后每个帧内CU在比特流中信令通知索引。

2.9.2缩减二次变换(RST)

介绍了RST并介绍了4个变换集(而不是35个变换集)映射。对于8x8和4x4块，分别采用16x64(可以进一步缩减到16x48)和16x16矩阵。为方便起见，将16x64(可能进一步缩减到16x48)变换表示为RST8x8并且将16x16变换表示为RST4x4。图11示出了RST的示例。

图14示出了提出的缩减二次变换(RST)的示例。

2.10子块变换

对于cu_cbf等于1的帧间预测的CU，可以信令通知cu_sbt_flag以指示是对整个残差块还是残差块的子部分进行解码。在前一种情况下，进一步解析帧间MTS信息以确定CU的变换类型。在后一种情况下，残差块的一部分通过推断的自适应变换进行编解码，而残差块的另一部分被归零。SBT不应用于组合帧间-帧内模式。

在子块变换中，将位置相关变换应用于SBT-V和SBT-H(始终使用DCT-2的色度TB)中的亮度变换块。SBT-H和SBT-V的两个位置与不同的核变换关联。更具体地，在图15中指定每个SBT位置的水平和竖直变换。例如，SBT-V位置0的水平和竖直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，相应的变换设置为DCT-2。因此，子块变换共同指定TU砖块，cbf，以及残差块的水平和竖直变换，对于块的主要残差在块的一侧的情况，可以将其视为语法快捷方式。

2.10.1示例语法和语义

表14示出了示例编解码单元语法。

表14编解码单位语法

表15示出了示例残余编解码语法。

表15残差编解码语法。

3.实施例解决的问题的示例

当前的设计具有以下问题：

1.当启用多参考行(MRL)时无法启用ISP。

2.当使用ISP时无法启用变换跳过(TS)。然而，同时启用ISP和TS可以实现与BDPCM类似的功能，而无需添加用于处理BDPCM的附加模块。

3.每个子分区信令通知Delta QP，其导致针对ISP编解码块多次信令通知它。

4.当一个块的宽度或高度不大于MaxTbSizeY时，信令通知启用ISP模式(例如，intra_subpartitions_mode_flag)，而当宽度和高度都不大于MaxTbSizeY时信令通知分割方向(即，划分类型，水平/竖直方向)。如果它们中的一个大于MaxTbSizeY，则以下适用：

a.如果高度大于MaxTbSizeY，则使用水平划分(即，将intra_subpartitions_split_flag[x0][y0]推断为等于0)。

b.否则(宽度大于MaxTbSizeY)，将使用竖直划分(即，将intra_subpartitions_split_flag[x0][y0]推断为等于1)。

这样的设计基于以下假设：仅宽度或高度可以是MaxTbSizeY的两倍，这限制了灵活性。当最大变换尺寸设置为例如32x32，并且CU尺寸例如为128x128时，根据规则，它将被划分为4个128x32子分区。然而，当最大变换尺寸为32x32时，不允许在VVC中编解码一个128x32子分区。如何处理该情况是未知的。

5.ISP和子块变换都被视为隐式MTS，原因是不需要信令通知变换矩阵。当MaxSbtSize时子块变换可以支持高达64x64的块尺寸。然而，隐式MTS的设置仅校验Max(宽度，高度)是否小于或等于32。另外，当cu_sbt_flag等于1时，隐式MTS会自动设置为1，因此无需校验变换尺寸。

6.TS是MTS的一部分。然而，在PPS中信令通知启用/禁用TS和最大TS尺寸的信令。在SPS中信令通知MTS启用/禁用标志。

7.在当前VVC设计中确定块尺寸的冗余校验以用于信令通知transform_skip_flag和tu_mts_idx。

4.示例实施例和技术

以下实施例的列表应被视为示例以解释一般概念。这些实施例不应以狭义的方式解释。此外，这些实施例可以以任何方式组合。

在下面的描述中，一个块尺寸由W*H表示，其中W是块宽度并且H是块高度。最大变换块尺寸由MaxTbW*MaxTbH表示，其中MaxTbW和MaxTbH分别是最大变换块的宽度和高度。最小变换块的尺寸由MinTbW*MinTbH表示，其中MinTbW和MinTbH分别是最小变换块的宽度和高度。应当注意，MRL可以代表使用当前图片中的非相邻参考行来预测当前块的那些技术，而ALWIP可以代表使用基于矩阵的帧内预测方法的那些技术。它们不限于现有技术中提到的那些。

关于ISP：

1.建议可以同时启用帧内子块分割(ISP)模式和多参考行(MRL)模式(例如，参考行可能不是最接近的一个)以对一个块进行编解码。

a.在一个示例中，所有子分区使用相同的参考行索引进行帧内预测。

b.替代地，仅第一K(例如，K＝1)子分区跟随参考行索引(例如，在比特流中被信令通知)。其余子分区仍使用最接近的参考行进行帧内预测。

c.在一个示例中，是否将MRL应用于其余子分区(例如，除了第一子分区之外的子分区)可以取决于ISP中的划分方向或/和帧内预测模式或/和块的维度。

i.例如，如果在ISP中在水平方向上划分块，则仅当块的左下或/和左或/和左上/或/和上相邻参考(重建)样点在第一子分区的帧内预测中使用时，MRL才可以应用于其余子分区。例如，在图2中预测模式小于或等于50。

ii.例如，如果在ISP中在水平方向上划分块，则当块的右上相邻参考(重建)样点在第一子分区的帧内预测中使用时，MRL可以不应用于其余子分区。例如，在图2中预测模式大于50。

iii.例如，如果在ISP中在竖直方向上划分块，则仅当块的左或/和左上或/和上/或/和右上相邻参考(重建)样点在第一子分区的帧内预测中使用时，MRL才可以应用于其余子分区。例如，在图2中预测模式大于或等于18。

iv.例如，如果在ISP中在竖直方向上划分块，则当块的左下相邻参考(重建)样点在第一子分区的帧内预测中使用时，MRL可以不应用于其余子分区。例如，在图2中预测模式小于18。

2.可以在信令通知MRL相关信息之前信令通知ISP模式信息的指示(例如，开/关，划分方向)。

a.在一个示例中，当针对一个块启用ISP模式时，可以跳过MRL相关信息的信令，例如参考行索引。

i.替代地，此外，参考行索引被认为是0。

3.一个块可以同时启用ALWIP和ISP。

a.替代地，此外，一个子分区的矩阵选择可以取决于帧内模式和/或子分区的维度。

b.替代地，此外，ALWIP模式的指示(例如，intra_lwip_flag和相关帧内模式)和ISP模式的指示(例如，intra_subpartitions_mode_flag和intra_subpartitions_split_flag)

4.一个块可以同时启用变换跳过(TS)和ISP。

a.替代地，此外，即使在启用ISP模式(例如，IntraSubPartitionsSplitType不等于ISP_NO_SPLIT)时，也可以进一步信令通知启用/禁用变换跳过模式的指示。

b.替代地，此外，是否信令通知启用/禁用变换跳过模式的指示可以取决于视频内容是否是屏幕内容。

i.在一个示例中，它可以取决于在图片/条带/片组/片/砖块级中信令通知的标志。

ii.在一个示例中，如果视频内容是屏幕内容，则可以信令通知启用/禁用变换跳过模式的指示。替代地，如果视频内容是相机内容，则可以跳过启用/禁用变换跳过模式的指示并且针对ISP编解码块禁用TS模式。

5.建议针对ISP编解码块可以仅允许一个量化参数和/或一个量化步距和/或一个缩放矩阵。即，所有子分区共享相同的量化信息。

a.在一个示例中，一个量化参数可以由cu_qp_delta_abs和cu_qp_delta_sign_flag表示。

b.在一个示例中，仅当在至少一个子分区中存在至少一个不等于零的系数时，才可以针对ISP编解码块信令通知量化参数信息。

c.在一个示例中，可以针对整个ISP编解码块信令通知一次量化参数和/或一个量化步距和/或一个缩放矩阵，而不是针对每个子分区信令通知。

i.在一个示例中，仅当在第m个子分区中存在至少一个不等于零的系数时，才用第m个子分区来信令通知信息。

ii.在一个示例中，可以按照编码/解码顺序将信息与第一子分区一起信令通知。

iii.在一个示例中，可以按照编码/解码顺序将信息与最后子分区一起信令通知。

iv.在一个示例中，可以按照编码/解码顺序将信息与第m个子分区一起信令通知，其中m不大于允许子分区的总数量。

6.建议位于第一子分区中以预测ISP编解码块中的第二子分区的参考样点在用作预测之前可以被进一步修改(例如，可以被滤波)。

a.在一个示例中，参考样点在用作预测之前是否被修改(例如，滤波)可以取决于块的宽度和/或高度。

b.在一个示例中，参考样点在用作预测之前是否被修改(例如，滤波)可以取决于帧内预测模式。

7.MaxTbW和/或MaxTbH的指示可以在序列/图片/条带/片组/片/砖块级中信令通知。

a.在一个示例中，它们可以在SPS/VPS/PPS/图片标头/条带标头/片组标头等中信令通知。

b.MaxTbW和/或MaxTbH可以在视频编解码标准的不同简档/水平/等级中设置为不同数字。

8.MinTbW和/或MinTbH可以在序列/图片/条带/片组/片/砖块级中信令通知。

a.在一个示例中，它们可以在SPS/VPS/PPS/图片标头/条带标头/片组标头等中信令通知。

b.MaxTbW和/或MaxTbH可以在视频编解码标准的不同简档/水平/等级中设置为不同数字。

9.可以针对ISP编解码块启用混合划分方向，其中可以针对水平和竖直方向划分块。

a.在一个示例中，针对ISP模式编解码的划分方向的二进制值(例如，intra_subpartitions_split_flag)可以由划分方向的索引代替。

b.在一个示例中，允许划分方向的集合可以取决于块维度。

i.替代地，可以信令通知允许划分方向的集合的指示。

c.在一个示例中，允许划分方向的集合可以取决于帧内预测模式。

d.在一个示例中，当W/MaxTbW和H/MaxTbH都大于M(例如，M＝1)时，可以启用混合划分方向，其中可以进行水平和竖直划分。

i.混合划分方向的示例在图12中示出。

ii.替代地，当W/MaxTbW或H/MaxTbH大于M(例如，M＝1)时，可以启用混合划分方向。

iii.在一个示例中，当应用混合ISP时，可以首先水平划分块，然后竖直划分。

1)替代地，可以在应用混合ISP时先竖直划分块，然后水平划分。图17示出了混合划分(也称为四叉树划分)的示例。

10.是否和/或如何在块上应用ISP可以取决于块维度W×H和/或最大和/或最小变换块维度之间的关系。

a.在一个示例中，如果W/MinTbW和H/MinTbH都等于1，则禁用ISP。

b.在一个示例中，如何划分块可以取决于最小变换块尺寸。

i.在一个示例中，如果W/MinTbW等于K(K>1)并且H/MinTbH等于1，则可以启用ISP并且应用竖直划分。

ii.在一个示例中，如果W/MinTbW等于1并且H/MinTbH等于K(K>1)，则可以启用ISP并且应用水平划分。替代地，此外，不需要信令通知预测方向。

iii.替代地，此外，不需要信令通知预测方向。

iv.替代地，此外，块可以划分为K个子分区。

c.在一个示例中，当W/MaxTbW大于1或H/MaxTbH大于1时，禁用ISP模式。

i.替代地，当W*H/(MaxTbW*MaxTbH)大于阈值(例如4)时，禁用ISP模式。

ii.替代地，当W/MaxTbW和H/MaxTbH都大于1时，禁用ISP模式。

iii.替代地，当W/MaxTbW或H/MaxTbH大于阈值(例如2或4)时，禁用ISP模式。

iv.替代地，当W/MaxTbW和H/MaxTbH都大于阈值(例如2或4)时，禁用ISP模式。

d.在一个示例中，当W/MaxTbW和H/MaxTbH都大于(或不小于)第一阈值且不大于(或小于)第二阈值时，可以启用ISP模式。

i.替代地，当W/MaxTbW和H/MaxTbH都大于第一阈值且小于第二阈值时，可以启用ISP模式。

ii.在一个示例中，第一阈值和第二阈值分别是1和4。

iii.替代地，此外，可以跳过划分方向的信令(例如，intra_subpartitions_split_flag)，并且可以根据某些规则来划分块。

1)在一个示例中，可以首先应用四叉树划分，然后进行水平二叉树划分，然后进行竖直二叉树划分。

2)在一个示例中，一旦宽度达到MaxTbW或高度达到MaxTbH，就可以终止一个分区树的划分。

a.替代地，一旦宽度达到MaxTbW并且高度达到MaxTbH，就可以终止一个分区树的划分。

b.替代地，一旦宽度达到MaxTbW/M并且高度达到MaxTbH/N，就可以终止一个分区树的划分，其中M和N是两个正整数。

e.当禁用ISP模式时，跳过诸如intra_subpartitions_mode_flag的相关信息的信令。

11.在一个示例中，可以启用多于4个以上的子分区和/或一个以上的划分方向(例如，进行水平和竖直划分)。

i.替代地，可以在某些条件下启用上述方法。

ii.在一个示例中，当W/MaxTbW>4和/或H/MaxTbH>4时。

关于MTS：

12.建议仅保留用于显式MTS设计的两个变换(和对应的逆变换)。例如，这两个变换可以是DCT-II和DST-VII(和对应的逆变换)。

a.在一个示例中，在变换选择方面只有两个选择。替代地，此外，如果适用，TS模式可以是第三选择。

i.在一个示例中，针对水平和竖直变换，DCT-II是一个选择；并且另一个是DST-VII。

ii.可以对一比特进行编解码以指示是否使用了两个中的哪个变换。

b.替代地，在变换选择方面有四个选择。替代地，此外，如果适用，TS模式可以是第四选择。

i.选择包括：用于水平和竖直变换的DCT-II/DST-VII；DCT-II和DST-VII的联合使用，每个用于水平或竖直变换。

ii.在一个示例中，可以利用固定长度编解码来对四个选择进行编解码。

iii.替代地，可以利用截断一元码来对四个选择进行编解码。

1)用于四个选择的bin字符串的一些示例制表如下：

13.建议允许的变换集和/或显式MTS中的变换索引的信令可以取决于块维度。

a.在一个示例中，针对宽度和/或高度不大于(或小于)阈值的块，可以允许DCT-II和DST-VII。

b.在一个示例中，针对宽度和/或高度大于(或不小于)阈值的块，可以允许DCT-II，DST-VII和DCT-VIII。

c.替代地，此外，可以启用变换跳过模式。

d.在一个示例中，允许的变换集可以取决于编解码模式。

i.在一个示例中，针对IBC编解码块，可以允许两个变换基础(TS和DST-VII)。

ii.在一个示例中，针对非IBC编解码的块，可以允许两个变换基础(DCT-II和DST-VII)，或者可以允许三个变换基础(TS，DCT-II和DST-VII)。

e.可以根据允许的变换集来改变如何信令通知变换索引。

14.可以信令通知MTS中使用的最大允许变换尺寸(非TS模式)指示。

a.在一个示例中，它们可以在序列/图片/条带/片组/片/砖块级或其他类型的视频单元级中信令通知。

i.在一个示例中，它们可以在SPS/VPS/PPS/图片标头/条带标头/片组标头等中信令通知。

b.在一个示例中，它们可以未信令通知，而是从允许最大TS尺寸推导。

c.在一个示例中，最大允许变换尺寸(非TS模式)的指示可以控制最大TS尺寸和在其他变换矩阵中使用的最大尺寸。

i.替代地，此外，不需要单独用于非TS模式和TS模式的信号最大尺寸。

d.在一个示例中，最大允许变换尺寸的指示可以控制隐式和显式MTS变换尺寸。

i.替代地，此外，是否应用隐式MTS可以取决于信号尺寸。

15.建议将MTS中使用的最大允许变换尺寸(非TS模式)与TS模式中使用的最大允许块尺寸对齐。

a.在一个示例中，在MTS中使用的最大允许变换尺寸(非TS模式)和在TS模式中使用的最大允许块尺寸可以是相同数字。

16.建议隐式MTS启用标志的推导与块维度无关。

a.替代地，此外，跳过隐式MTS启用标记的推导中的块尺寸的校验。

17.可以去除在信令通知MTS信息(例如transform_skip_flag和tu_mts_idx)之前对块尺寸的共享条件校验。

a.在一个示例中，如果以下所有共享条件都为真，则可以进一步信令通知MTS信息。否则，无需信令通知MTS信息。

-tu_cbf_luma[x0][y0]

-treeType！＝DUAL_TREE_CHROMA

-！cu_sbt_flag

b.替代地，此外，当其他规则(例如，上述)的共享条件校验返回真时，可以在信令通知transform_skip_flag之前应用与允许最大TS尺寸相比的块维度的条件校验；并且信令通知tu_mts_idx之前应用与允许最大允许MTS尺寸(例如固定为32x32)相比的块维度的条件校验。

18.信令通知MTS信息之前的块维度的共享条件校验(例如，transform_skip_flag和tu_mts_idx)保持不变，而信令通知变换矩阵索引(非TS模式)之前的块维度的条件校验可以被去除。

4.1隐式MTS标志的示例设置

在该示例中描述了对VVC工作草案版本5JVET_N1001_v2的一些建议更改。带下划线的部分表示工作草案的增加，而删除线部分表示建议的删除。

通常，用于缩放变换系数的变换过程的输入是：

-指定当前亮度变换块的左上样点相对于当前图片的左上亮度样点的亮度位置(xTbY，yTbY)，

-指定当前变换块的宽度的变量nTbW，

-指定当前变换块的高度的变量nTbH，

-指定当前块的颜色分量的变量cIdx，

-具有x＝0..nTbW-1，y＝0..nTbH-1的缩放变换系数的(nTbW)x(nTbH)数组d[x][y]。

该过程的输出是残差样点的(nTbW)x(nTbH)数组r[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。

变量implicitMtsEnabled如下推导：

-如果sps_mts_enabled_flag等于1并且满足以下条件之一，则implicitMtsEnabled设置为等于1：

-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT

-cu_sbt_flag等于1并且Max(nTbW,nTbH)小于或等于MaxSBTSize 即，将Max(nTbW,nTbH)与MaxSBTSize进行比较，而不是固定数字32。

-sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag都等于0并且CuPredMode[xTbY][yTbY]等于MODE_INTRA

-否则，implicitMtsEnabled设置为等于0。

指定水平变换核的变量trTypeHor和指定竖直变换核的变量trTypeVer如下推导：

-如果cIdx大于0，则trTypeHor和trTypeVer设置为等于0。

-否则，如果implicitMtsEnabled等于1，则以下适用：

-如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，则根据intraPredMode指定trTypeHor和trTypeVer。

-否则，如果cu_sbt_flag等于1，则根据cu_sbt_horizontal_flag和cu_sbt_pos_flag指定trTypeHor和trTypeVer。

-否则(sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag等于0且CuPredMode[xTbY][yTbY]等于MODE_INTRA)，trTypeHor和trTypeVer如下推导：

trTypeHor＝(nTbW>＝4&&nTbW<＝16&&nTbW<＝nTbH)？1:0(8 1030)

trTypeVer＝(nTbH>＝4&&nTbH<＝16&&nTbH<＝nTbW)？1:0(8 1031)

-否则，根据tu_mts_idx[xTbY][yTbY]在表8 13中指定trTypeHor和trTypeVer。

替代地，在确定implicitMtsEnabled时条件校验‘cu_sbt_flag等于1且Max(nTbW,nTbH)小于或等于32’可以由‘cu_sbt_flag等于1’代替。

4.2显式MTS标志的示例设置

在该示例中描述了对VVC工作草案版本5JVET_N1001_v2的一些建议更改。带下划线的部分表示工作草案的增加，而删除线部分表示建议的删除。本小节提供了MTS信令过程期间的冗余校验去除的示例。

替代地，以下可以适用：

图16是视频处理装置1600的框图。装置1600可以用于实现本文描述的一种或多种方法。装置1600可以体现在智能手机，平板电脑，计算机，物联网(IoT)接收器等中。装置1600可以包括一个或多个处理器1602，一个或多个存储器1604和视频处理硬件1606。(一个或多个)处理器1602可以配置成实现本文件中描述的一种或多种方法。存储器(多个存储器)1604可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1606可以用于在硬件电路中实现本文件中描述的一些技术。

图18是根据本技术的一个或多个示例的视频处理方法1800的流程图。方法1800包括在操作1802处，使用分割模式将视频数据块分割为子块。方法1800包括在操作1804处，使用与当前子块不相邻的至少一行参考视频数据执行一个子块的预测。方法1800还包括在操作1806处，基于预测生成子块的残差信号。

图19是根据本技术的一个或多个示例的视频处理方法1900的流程图。方法1900包括在操作1902处，使用分割模式将视频数据块分割为子块。方法1900包括在操作1904处，通过基于每个子块的参考信号计算矩阵矢量积执行子块的预测。方法1900还包括在操作1906处，基于预测生成子块的残差信号。

图20是根据本技术的一个或多个示例的视频处理方法2000的流程图。方法2000包括在操作2002处，执行视频数据块的预测以生成残余信号。方法2000包括在操作2004处，使用两个变换中的一个来执行残差信号的显式变换。方法2000包括在操作2006处，对来自隐式变换的输出进行编码。

在以下示例中描述了附加的实施例和技术。

1.一种视频处理方法，其包括：使用分割模式将视频数据块分割为子块；使用与当前子块不相邻的至少一行参考视频数据执行子块中的当前子块的预测；以及基于所述预测生成当前子块的残差信号。

2.根据示例1所述的方法，其中所有子块使用参考视频数据的相同参考行索引进行预测。

3.根据示例1所述的方法，其中所述子块的第一子块使用参考数据的第一行索引，并且其余子块使用参考视频数据的第二行索引，所述第二行索引与最接近所述子块的参考视频数据行对应。

4.根据示例1所述的方法，其中所述子块的第一子块使用参考数据的第一行索引，并且其余子块使用参考视频数据的第二行索引，所述第二行索引基于子块的分割方向，预测模式或块的维度确定。

在第4小节的项目1和2中描述了示例1-4的其他实施例。

5.一种视频处理方法，其包括：使用分割模式将视频数据块分割为子块；通过基于每个子块的参考信号计算矩阵矢量积来执行子块的预测；以及基于所述预测生成子块的残差信号。

6.根据示例5所述的方法，其中基于帧内模式或子块的维度来选择子块的矩阵矢量。

在第4小节的项目3-4中描述了示例5-6的其他实施例。

7.一种视频处理方法，其包括：接收使用分割模式分割为子块的视频数据块；使用与当前子帧不相邻的至少一行参考视频数据执行子块中的当前子块的预测；以及使用所述预测重建当前子块。

8.根据示例7所述的方法，其中所有子块使用参考视频数据的相同参考行索引进行预测。

9.根据示例7所述的方法，其中所述子块的第一子块使用参考数据的第一行索引，并且其余子块使用参考视频数据的第二行索引，所述第二行索引与最接近所述子块的参考视频数据行对应。

10.根据示例7所述的方法，其中所述子块的第一子块使用参考数据的第一行索引，并且其余子块使用参考视频数据的第二行索引，所述第二行索引基于子块的分割方向，预测模式或块的维度确定。

在第4小节的项目1和2中描述了示例7-10的其他实施例。

11.一种视频处理方法，其包括：接收使用分割模式分割为子块的视频数据块；通过基于每个子块的参考信号计算矩阵矢量积来执行子块的预测；以及使用所述预测重建子块。

12.根据示例11所述的方法，其中基于帧内模式或子块的维度来选择子块的矩阵矢量。

在第4小节的项目3-4中描述了示例1-4的其他实施例。

13.一种视频处理方法，其包括：对使用分割模式分割为子块的视频数据块执行预测；以及基于所述预测变换子块的残差信号，其中在表示视频数据块的比特流中的序列，图片，条带，片组，片或砖块的级别中指示最大变换块维度或最小变换块维度。

14.一种视频处理方法，其包括：接收表示使用分割模式分割为子块的视频数据块的比特流；对子块的残差信号执行逆变换，其中在比特流中的序列，图片，条带，片组，片或砖块的级别中指示最大变换块维度或最小变换块维度；以及使用来自逆变换的输出重建子块。

15.根据示例13或14所述的方法，其中最大变换块维度或最小变换块维度设置为不同简档、水平或等级中的不同值。

在第4小节的项目7-8中描述了示例13-15的其他实施例。

16.一种视频处理方法，其包括：接收或传输表示用于执行视频处理的视频数据块的比特流，其中使用分割模式将视频数据块分割为子块，并且在比特流中量化子块的残差信号，并且其中子块共享相同的量化信息。

17.根据示例16所述的方法，其中量化信息包括量化参数，量化步距或缩放矩阵。

18.根据示例16所述的方法，其中视频数据块中的所有子块的量化信息在比特流中编解码一次。

在第4小节的项目5中描述了示例16-18的其他实施例。

19.一种视频处理方法，其包括：对使用分割模式分割为子块的视频数据块执行预测，其中第一子块中的参考样点在用于执行第二子块的预测之前被修改；以及基于所述预测编码或重建视频数据块。

在第4小节的项目6中描述了示例19的其他实施例。

20.一种视频处理方法，其包括：对使用分割模式分割为子块的视频数据块执行预测，其中在多个分割方向上分割子块；以及基于所述预测编码或重建视频数据块。

21.根据示例20所述的方法，所述多个分割方向由块的维度确定。

在第4小节的项目9中描述了示例20-21的其他实施例。

22.根据示例1至21中的任一示例所述的方法，其中基于最小变换块维度或最大变换块维度来分割子块。

在第4小节的项目10和11中描述了示例22的其他实施例。

23.一种视频处理方法，其包括：执行视频数据块的预测以生成残差信号；使用两个变换中的一个执行残差信号的显式变换；以及编码来自隐式变换的输出。

24.根据示例23所述的方法，其包括：基于所述两个变换的变型在表示视频数据块的比特流中编解码变换选项。

在第4小节的项目12-13中描述了示例23-24的其他实施例。

25.根据示例22或23所述的方法，其包括：在不校验视频数据块的维度的情况下信令通知关于显式变换的信息。

在第4小节的项目16-18中描述了示例25的其他实施例。

26.一种视频处理方法，其包括：接收分割为一个或多个子块的视频数据块；使用两个逆变换中的一个执行视频数据块的显式变换；以及基于隐式变换重建视频数据块。

27.根据示例23至26中的任一示例所述的方法，其中在包括水平方向和竖直方向的一个或多个变换方向上执行显式变换。

28.根据示例27所述的方法，其中不同变换方向使用不同变换。

29.根据示例27所述的方法，其中不同变换方向使用相同变换。

在第4小节的项目12-13中描述了示例27-29的其他实施例。

30.根据示例23至29中的任一示例所述的方法，其中在表示视频数据块的比特流中的序列，图片，条带，片或砖块的级别中编解码最大允许变换尺寸。

31.根据示例23至30中的任一示例所述的方法，其包括：基于允许最大变换跳过尺寸推导最大允许的变换尺寸。

在第4小节的项目14-15中描述了示例30的其他实施例。

32.一种视频处理装置，其包括配置成执行示例1至31中的一个或多个的处理器。

33.一种其上存储有代码的计算机可读介质，所述代码在由处理器执行时使所述处理器执行示例1至31中的任何一个或多个所述的方法。

图21是根据本技术的一个或多个示例的视频处理方法2100的流程图。方法2100包括在2102处，针对视频的块和该块的比特流表示之间的转换，启用该块的帧内子块分割(ISP)模式，其中基于ISP模式将该块划分为多个子分区；在2104处，启用不同于该块的ISP模式的第二模式；以及在2106处，基于ISP模式和第二模式执行转换。

在一些示例中，第二模式是多参考行(MRL)模式。

在一些实例中，在MRL模式下，不是多个参考行中的最接近参考行的参考行可用于块的帧内预测。

在一些示例中，块的所有子分区使用相同参考行索引进行块的帧内预测。

在一些示例中，块的所有子分区的仅前K个子分区使用相同参考行索引进行帧内预测，并且其余子分区使用最接近的参考行进行块的帧内预测，K是整数。

在一些示例中，K＝1。

在一些示例中，参考行索引在比特流中被信令通知。

在一些示例中，是否将MRL模式应用于其余子分区取决于ISP模式下的划分方向或/和帧内预测模式或/和块的尺寸。

在一些示例中，如果在ISP模式下在水平方向上划分块，则仅当在第一子分区的帧内预测中使用块的左下或/和左或/和左上/或/和上相邻参考样点时，将MRL模式应用于其余子分区。

在一些示例中，如果在ISP模式下在水平方向上划分块，则当在第一子分区的帧内预测中使用块的右上相邻参考样点时，不将MRL模式应用于其余子分区。

在一些实例中，如果在ISP模式下在竖直方向上划分块，则仅当在第一子分区的帧内预测中使用块的左或/和左上或/和上或/和右上相邻参考样点时，将MRL模式应用于其余子分区。

在一些示例中，如果在ISP模式下在竖直方向上划分块，则当在第一子分区的帧内预测中使用块的左下相邻参考样点时，不将MRL模式应用于其余子分区。

在一些示例中，在MRL模式相关信息的信令之前信令通知ISP模式信息的指示。

在一些示例中，ISP模式信息包括开/关标志和划分方向中的至少一个，并且MRL模式相关信息包括参考行索引。

在一些示例中，当针对块启用ISP模式时，跳过MRL相关信息的信令。

在一些示例中，当针对块启用ISP模式时，参考行索引被认为是0。

在一些示例中，第二模式是基于矩阵的帧内预测(MIP)模式。

在一些示例中，一个子分区的矩阵选择取决于帧内模式和/或子分区的尺寸。

在一些示例中，针对块信令通知MIP模式的指示和ISP模式的指示。

在一些示例中，第二模式是变换跳过(TS)模式。

在一些示例中，即使启用ISP模式，也进一步信令通知启用/禁用TS模式的指示。

在一些示例中，是否信令通知启用/禁用TS模式的指示取决于视频的视频内容是否为屏幕内容。

在一些示例中，是否信令通知启用/禁用TS模式的指示取决于在图片，条带，片组，片和砖块级别中的至少一个中信令通知的标志。

在一些示例中，如果视频内容是屏幕内容，则信令通知启用/禁用变换跳过模式的指示。

在一些示例中，如果视频内容是相机内容，则跳过启用/禁用变换跳过模式的指示并且针对块禁用TS模式。

在一些示例中，所有子分区共享相同量化信息，包括量化参数，量化步距和缩放矩阵中的至少一个。

在一些示例中，量化参数由cu_qp_delta_abs和cu_qp_delta_sign_flag表示。

在一些示例中，仅当在至少一个子分区中存在至少一个不等于零的系数时，才针对块信令通知量化信息。

在一些示例中，针对整个块信令通知一次量化信息，而不是针对每个子分区信令通知量化信息。

在一些示例中，仅当在第m个子分区中存在至少一个不等于零的系数时，才用第m个子分区信令通知量化信息，其中m是整数。

在一些示例中，按照编码或解码顺序将量化信息与第一子分区一起信令通知。

在一些示例中，按照编码或解码顺序将量化信息与最后子分区一起信令通知。

在一些示例中，按照编码或解码顺序将量化信息与第m个子分区一起信令通知，其中m是不大于允许子分区的总数量的整数。

图22是根据本技术的一个或多个示例的视频处理方法2200的流程图。方法2200包括在2202处，针对视频的块和该块的比特流表示之间的转换，启用该块的帧内子块分割(ISP)模式，其中基于ISP模式将该块划分为多个子分区，并且位于第一子分区中以预测块中的第二子分区的参考样点在用作预测之前被进一步修改；在2204处，基于ISP模式执行转换。

在一些示例中，参考样点在用作预测之前被滤波。

在一些示例中，参考样点在用作预测之前是否被修改取决于块的宽度和/或高度。

在一些示例中，参考样点在用作参考之前是否被修改取决于块的帧内预测模式。

在一些示例中，块的块尺寸由W*H表示，其中W是块宽度并且H是块高度，块的最大变换块尺寸由MaxTbW*MaxTbH表示，其中MaxTbW和MaxTbH分别是最大变换块宽度和最大变换块高度，并且块的最小变换块尺寸由MinTbW*MinTbH表示，其中MinTbW和MinTbH分别是最小变换块宽度和最小变换块高度。

在一些示例中，在序列，图片，条带，片组，片和砖块级别中的至少一个中信令通知MaxTbW和/或MaxTbH的指示。

在一些示例中，在视频参数集(VPS)，序列参数集(SPS)和图片参数集(PPS)，图片标头，条带标头和片组标头中的至少一个中信令通知MaxTbW和/或MaxTbH的指示。

在一些示例中，在视频编解码标准的不同简档水平或等级中将MaxTbW和/或MaxTbH设置为不同数字。

在一些示例中，在序列，图片，条带，片组，片和砖块级别中的至少一个中信令通知MinTbW和/或MinTbH的指示。

在一些示例中，在视频参数集(VPS)，序列参数集(SPS)和图片参数集(PPS)，图片标头，条带标头和片组标头中的至少一个中信令通知MinTbW和/或MinTbH的指示。

在一些示例中，在视频编解码标准的不同简档水平或等级中将MinTbW和/或MinTbH设置为不同数字。

图23是根据本技术的一个或多个示例的视频处理方法2300的流程图。方法2200包括在2302处，针对视频的块和该块的比特流表示之间的转换，启用该块的帧内子块分割(ISP)模式，其中在ISP模式下启用混合划分方向，并且在水平和竖直方向上将该块划分为多个子分区；在2304处，基于ISP模式执行转换。

在一些示例中，针对ISP模式编解码的划分方向的二进制值由划分方向的索引代替。

在一些示例中，允许划分方向的集合取决于块尺寸。

在一些示例中，信令通知允许划分方向的集合的指示。

在一些示例中，允许划分方向的集合取决于块的帧内预测模式。

在一些示例中，当W/MaxTbW和H/MaxTbH都大于M时，启用混合划分方向，M是整数。

在一些示例中，当W/MaxTbW或H/MaxTbH大于M时，启用混合划分方向，M是整数。

在一些示例中，M＝1。

在一些示例中，通过使用四叉树划分来划分块。

在一些示例中，当应用混合划分方向时，首先水平地划分块，然后竖直地划分块。

在一些示例中，当应用混合划分方向时，首先竖直地划分块，然后水平地划分块。

在一些示例中，是否和/或如何在块上应用ISP模式取决于块W×H的块尺寸和/或最大变换块尺寸MaxTbW*MaxTbH和/或最小变换块尺寸MinTbW*MinTbH之间的关系。

在一些示例中，如果W/MinTbW和H/MinTbH都等于1，则针对块禁用ISP模式。

在一些示例中，如何划分块取决于块的最小变换块尺寸。

在一些示例中，如果W/MinTbW等于K并且H/MinTbH等于1，则针对块启用ISP模式，并且将竖直划分应用于块，K是大于1的整数。

在一些示例中，如果W/MinTbW等于1并且H/MinTbH等于K，则针对块启用ISP模式，并且将水平划分应用于块，K是大于1的整数。

在一些示例中，不需要信令通知预测方向。

在一些示例中，块被划分为K个子分区。

在一些示例中，当W/MaxTbW大于1或H/MaxTbH大于1时，针对块禁用ISP模式。

在一些示例中，当W*H/(MaxTbW*MaxTbH)大于阈值时，针对块禁用ISP模式，其中阈值是4。

在一些示例中，当W/MaxTbW和H/MaxTbH都大于1时，针对块禁用ISP模式。

在一些示例中，当W/MaxTbW或H/MaxTbH大于阈值时，针对块禁用ISP模式，其中阈值是2或4。

在一些示例中，当W/MaxTbW和H/MaxTbH都大于或等于阈值时，针对块禁用ISP模式，其中阈值是2或4。

在一些示例中，当W/MaxTbW和H/MaxTbH都大于或等于第一阈值并且小于或等于第二阈值时，针对块禁用ISP模式。

在一些示例中，当W/MaxTbW和H/MaxTbH都大于第一阈值并且小于第二阈值时，针对块禁用ISP模式。

在一些示例中，第一阈值是1并且第二阈值是4。

在一些示例中，跳过划分方向的信令并且根据某些规则来划分块。

在一些示例中，首先将四叉树划分应用于块，然后应用水平二叉树划分，然后应用竖直二叉树划分。

在一些示例中，一旦宽度达到MaxTbW或高度达到MaxTbH，就终止一个分区树的划分。

在一些示例中，一旦宽度达到MaxTbW并且高度达到MaxTbH，就终止一个分区树的划分。

在一些示例中，一旦宽度达到MaxTbW/M并且高度达到MaxTbH/N，就终止一个分区树的划分，其中M和N是两个正整数。

在一些示例中，当针对块禁用ISP模式时，跳过包括intra_subpartitions_mode_flag的相关信息的信令。

在一些示例中，当W/MaxTbW>4和/或H/MaxTbH>4时，启用4个以上的子分区和/或一个以上的划分方向。

图24是根据本技术的一个或多个示例的视频处理方法2400的流程图。方法2400包括，在2402处，针对视频的块和该块的比特流表示之间的转换，确定与该块关联的多变换选择(MTS)方案，其中修正MTS方案以允许部分变换和对应的逆变换；在2404处，基于确定的MTS方案执行转换。

在一些示例中，MTS方案是显式MTS，其中在块的比特流中信令通知MTS的变换索引。

在一些示例中，修正MTS方案以仅允许两个变换，其中两个变换是DCT-II和DST-VII。

在一些示例中，在变换选择方面MTS方案包括两个模式。

在一些示例中，当TS模式适用时，除了变换选择的两个模式之外，MTS方案还包括变换跳过(TS)模式的第三模式。

在一些示例中，两个模式的第一模式是用于块的水平和竖直变换的DCT-II，并且两个模式的第二模式是用于块的水平和竖直变换的DST-VII。

在一些示例中，对一个比特进行编解码以指示使用两个模式中的哪个模式。

在一些示例中，在变换选择方面MTS方案包括四个模式。

在一些示例中，当TS模式适用时，除了变换选择的两个模式之外，MTS方案还包括变换跳过(TS)模式的第五模式。

在一些示例中，四个模式的第一模式是用于块的水平和竖直变换的DCT-II，四个模式的第二模式是用于块的水平和竖直变换的DST-VII，四个模式的第三模式是用于块的水平变换的DCT-II和用于块的竖直变换的DST-VII，并且四个模式的第四模式是用于块的水平变换的DST-VII和用于块的竖直变换的DCT-II。

在一些示例中，利用固定长度编解码来编解码四个模式。

在一些示例中，利用截断一元码来编解码四个模式。

在一些示例中，允许的变换集和/或显式MTS中的变换索引的信令取决于块尺寸。

在一些示例中，针对宽度和/或高度小于或等于阈值的块，允许DCT-II和DST-VII。

在一些示例中，针对宽度和/或高度大于或等于阈值的块，允许DCT-II，DST-VII和DCT-VIII。

在一些示例中，允许变换跳过(TS)模式。

在一些示例中，允许的变换集取决于块的编解码模式。

在一些示例中，针对帧内块复制(IBC)模式编解码的块，允许包括TS模式和DST-VII的两个变换基础的变换集。

在一些示例中，非IBC模式编解码的块，允许包括DCT-II和DST-VII的两个变换基础的变换集，或允许包括TS模式，DCT-II和DST-VII的三个变换基础的变换集。

在一些示例中，如何信令通知变换索引根据允许的变换集而改变。

在一些示例中，信令通知在MTS方案的非TS模式下使用的最大允许变换尺寸的指示。

在一些示例中，在序列，图片，条带，片组，片，砖块级别或其他类型的视频单元级别中的至少一个中信令通知指示。

在一些示例中，在视频参数集(VPS)，序列参数集(SPS)和图片参数集(PPS)，图片标头，条带标头和片组标头中信令通知指示。

在一些示例中，从允许最大TS尺寸推导指示。

在一些示例中，指示用于控制最大TS尺寸和在其他变换矩阵中使用的最大尺寸。

在一些示例中，不需要单独地信令通知非TS和TS模式的最大尺寸。

在一些示例中，最大允许变换尺寸的指示用于控制隐式MTS变换尺寸和显式MTS变换尺寸。

在一些示例中，是否应用隐式MTS取决于信令通知的最大允许变换尺寸。

在一些示例中，在MTS方案的非TS模式下使用的最大允许变换尺寸与在TS模式下使用的最大允许变换尺寸对齐。

在一些示例中，在MTS方案的非TS模式下使用的最大允许变换尺寸与在TS模式下使用的最大允许变换尺寸相同。

在一些示例中，MTS方案是隐式MTS，其中根据块的变换块尺寸直接推导MTS的变换矩阵。

在一些示例中，指示是否启用隐式MTS的隐式MTS启用标志的推导与块的块尺寸无关。

在一些示例中，跳过隐式MTS启用标志的推导中的块尺寸的校验。

在一些示例中，去除信令通知MTS信息之前的块尺寸的共享条件校验，MTS信息包括transform_skip_flag和tu_mts_idx。

在一些示例中，如果所有以下共享条件都为真，则进一步信令通知MTS信息：

-tu_cbf_luma[x0][y0]

-treeType！＝DUAL_TREE_CHROMA

-！cu_sbt_flag，

否则，不信令通知MTS信息。

在一些示例中，当某些规则的共享条件校验返回真时，在信令通知transform_skip_flag之前应用与允许最大TS尺寸相比的块尺寸的条件校验；并且在信令通知tu_mts_idx之前应用与允许最大允许MTS尺寸相比的块尺寸的条件校验。

在一些示例中，在信令通知MTS信息之前的块尺寸的共享条件校验保持不变，而在信令通知在MTS的非TS模式下使用的变换矩阵索引之前的块尺寸的条件校验被去除。

在一些示例中，转换从比特流表示生成视频的块。

在一些示例中，转换从视频的块生成比特流表示。

将领会，所公开的技术可以体现在视频编码器或解码器中以使用包括使用降维二次变换的技术来改善压缩效率。

本文件中描述的公开的和其他解决方案，示例，实施例，模块和功能操作可以在数字电子电路或计算机软件，固件或硬件中实现，包括本文件中公开的结构及其结构等效物，或其中一个或多个的组合。公开的和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备，机器可读存储基板，存储设备，影响机器可读传播信号的物质组成或其中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置，设备和机器，例如包括可编程处理器，计算机或多个处理器或计算机。除硬件外，装置还可以包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件的代码，协议栈，数据库管理系统，操作系统或其中的一个或多个的组合。传播信号是人工生成的信号，例如机器生成的电，光或电磁信号，其被生成以对信息进行编码以传输到合适的接收器装置。

计算机程序(也称为程序，软件，软件应用，脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块，组件，子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分(例如，存储在标记语言文档中的一个或多个脚本)中，专用于所述程序的单个文件中，或多个协调文件(例如，存储一个或多个模块，子程序或部分代码的文件)中。计算机程序可以部署成在一个或多个计算机上执行，所述计算机位于一个站点上或分布在多个站点上并通过通信网络互连。

本文件中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，所述处理器执行一个或多个计算机程序以通过对输入数据操作并生成输出来执行功能。处理和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作联接到一个或多个大容量存储设备来从其接收数据或向其传送数据，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器，介质和存储器设备，包括例如半导体存储器设备，例如EPROM，EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

尽管本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求的范围的限制，而应解释为针对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文中描述的一些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实施，或在任何合适的子组合中实施。而且，尽管特征可以在上面描述为在一些组合中起作用，甚至最初要求是这样，但在一些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以涉及子组合或子组合的变型。

类似地，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现方式和示例，并且基于该专利文件中描述和示出的内容可以做出其他实现方式，增强和变型。