具体实施方式

本文档可以以各种方式修改并且可以具有各种实施方式，并且特定的实施方式将在附图中例示并详细地描述。然而，这并不旨在将本文档限制于特定实施方式。本说明书中通常使用的术语用于描述特定的实施方式，而不是用来限制本文档的技术精神。除非在上下文中另外明确表示，否则单数的表述包括复数的表述。该说明书中的诸如“包括”或“具有”这样的术语应该被理解为指示存在本说明书中描述的特性、数字、步骤、操作、元件、组件或其组合，而没有排除存在或添加一个或更多个特性、数字、步骤、操作、元件、组件或其组合的可能性。

此外，为了便于与不同特征功能相关的描述，独立地例示了本文档中描述的附图中的元件。这并不意指各个元件被实现为单独的硬件或单独的软件。例如，至少两个元件可以被组合，以形成单个元件，或者单个元件可以被划分成多个元件。其中元件被组合和/或分开的实施方式也被包括在本文档的权利范围内，除非它偏离了本文档的实质。

在本文档中，术语“A或B”可以意指“仅A”、“仅B”或“A和B这二者”。换句话说，在本文档中，术语“A或B”可以被解释为指示“A和/或B”。例如，在本文档中，术语“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。

本文档中使用的斜线“/”或逗号可以意指“和/或”。例如，“A/B”可以意指“A和/或B”。因此，“A/B”可以意指“仅A”、“仅B”或“A和B这二者”。例如，“A、B、C”可以意指“A、B或C”。

在本文档中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B这二者”。此外，在本文档中，表达“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为“A和B中的至少一个”。

此外，在本文档中，“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。

此外，本文档中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示将“帧内预测”作为“预测”的示例提出。换句话说，本文档中的术语“预测”不限于“帧内预测”，并且可以指示将“帧内预测”作为“预测”的示例提出。此外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示将“帧内预测”作为“预测”的示例提出。

该文档涉及视频/图像编译。例如，本文档中公开的方法/实施例可以应用于通用视频编码(VVC)中公开的方法。此外，本文档中公开的方法/实施例可以应用于在基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中公开的方法。

本文档提出视频/图像编译的各种实施例，并且除非相反地提及，否则这些实施例可以被彼此组合地执行。

在本文档中，视频可以意指根据时间的流逝的一系列图像的集合。图片通常意指表示特定时间段的一个图像的单元，并且切片/图块(tile)是在编译中构成图片的一部分的单元。切片/图块可以包括一个或更多个编译树单元(CTU)。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是CTU的高度等于图片的高度并且宽度由图片参数集中的语法元素指定的矩形区域。图块行是CTU的高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的矩形区域。图块扫描是以下的分割图片的CTU的特定顺序排序：可以在图块中按CTU光栅扫描对CTU进行连续排序，而可以按图片的图块的光栅扫描对图片中的图块进行连续排序。切片包括可以排他地包含在单个NAL单元中的图片的图块内的整数个完整图块或整数个连续的完整CTU行。

同时，一个图片可以被划分成两个或更多子图片。子图片可以是图片内一个或多个切片的矩形区域。

像素或像元(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。

单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，M×N块可以包括由M列和N行组成的样本(或样本阵列)或变换系数的集合(或阵列)。

此外，在此文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当省略量化/解量化时，量化的变换系数可以被称为变换系数。当省略变换/逆变换时，变换系数可以称为系数或残差系数，或者为了表达的统一性，仍可以称为变换系数。

在此文档中，量化变换系数和变换系数可以分别称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编译语法用信号发送关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)导出变换系数，并且可以通过对变换系数进行逆变换(缩放)来导出缩放变换系数。残差样本可以基于经缩放的变换系数的逆变换来导出。这也可以在本文档的其他部分应用/表达。

在本文档中，在一个附图中单独解释的技术特征可以单独实施，或者可以同时实施。

在下文中，将参考附图更具体地描述本文档的优选实施例。在下文中，在附图中，相同的附图标记在相同的元件中使用，并且可以省略相同元件的重复描述。

图1示意性地例示了可以应用本文档的实施方式的视频/图像编译系统的示例。

参考图1，视频/图像编译系统可以包括第一设备(源设备)和第二设备(接收设备)。源设备可以经由数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据传递到接收设备。

源设备可以包括视频源、编码装置和发送器。接收设备可以包括接收器、解码装置和渲染器。编码装置可以被称为视频/图像编码装置，并且解码装置可以被称为视频/图像解码装置。发送器可以被包括在编码装置中。接收器可以被包括在解码装置中。渲染器可以包括显示器，并且显示器可以被配置成单独的设备或外部组件。

视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成设备可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。

编码装置可以对输入视频/图像进行编码。编码装置可以执行诸如针对压缩和编译效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。

发送器可以通过数字存储介质或网络以文件或流传输的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收设备的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码装置。

解码装置可以通过执行与编码装置的操作对应的诸如解量化、逆变换、预测等这样的一系列过程来解码视频/图像。

渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。

图2是示意性地描述可以应用本文档的视频/图像编码装置的配置的图。下文中，编码装置可以包括图像编码装置和/或视频编码装置。

参考图2，编码装置200可以包括图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234、逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施方式，上面已描述的图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由一个或更多个硬件组件(例如，编码器芯片组或处理器)构成。另外，存储器270可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器270作为内部/外部组件。

图像分割器210将输入到编码装置200的输入图像(或图片或帧)分割成一个或更多个处理单元。作为一个示例，处理单元可以被称为编译单元(CU)。在这种情况下，从编译树单元(CTU)或最大编译单元(LCU)开始，可以根据四叉树二叉树三叉树(QTBTTT)结构来递归地分割编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元划分成深度更深的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于没有被进一步分割的最终编译单元来执行根据本文档的编译过程。在这种情况下，基于根据图像特性的编译效率，可以将最大编译单元直接用作最终编译单元。另选地，可以按需要将编译单元递归地分割成深度进一步更深的编译单元，使得可以将最佳大小的编译单元用作最终编译单元。这里，编译过程可以包括随后将描述的诸如预测、变换和重构这样的过程。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述的最终编译单元划分或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于根据变换系数导出残差信号的单元。

根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在常规情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。样本可以被用作与一个图片(或图像)的像素或像元(pel)对应的术语。

在编码装置200中，从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示出的，在编码器200中从输入图像信号(原始块、原始样本阵列)中减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(下文中，被称为“当前块”)执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以确定以当前块或CU为基础应用帧内预测还是帧间预测。如随后在对每种预测模式的描述中所讨论的，预测器可以生成诸如预测模式信息这样的与预测相关的各种信息，并且将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式被输出。

帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，并且根据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于参考图片上的运动矢量所指定的参考块(参考样本阵列)来导出针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示哪个候选被用于导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，不能发送残差信号。在运动信息预测(运动矢量预测、MVP)模式的情况下，邻近块的运动矢量可以被用作运动矢量预测项，并且可以通过用信号发送运动矢量差来指示当前块的运动矢量。

预测器220可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编译(SCC)这样的游戏等的内容图像/视频编译。尽管IBC基本上在当前图片中执行预测，但是其执行方式与帧间预测的相似之处在于，它导出当前图片中的参考块。即，IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板索引和调色板表的信息来用信号发送图片中的样本值。

通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT意指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换过程可以被应用于大小相同的正方形像素块，或者可以应用于大小可变的块而非正方形的块。

量化器233可以对变换系数进行量化并且将它们发送到熵编码器240，并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流中的编码后的信号。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化的变换系数重新布置成一维矢量形式，并且基于一维矢量形式的量化的变换系数来生成关于量化的变换系数的信息。熵编码器240可以执行诸如例如指数哥伦布(exponential Golomb)、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等这样的各种编码方法。熵编码器240可以对除了量化的变换系数(例如，语法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式在网络抽象层(NAL)的单元基础上进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文档中，从编码装置发送到/用信号发送给解码装置的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。可以通过网络传输比特流，或者将其存储在数字存储介质中。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储其的存储器(未示出)可以被配置成编码装置200的内部/外部元件，或者发送器可以被包括在熵编码器240中。

从量化器233输出的量化的变换系数可以被用于生成预测信号。例如，通过利用解量化器234和逆变换器235矢量化的变换系数应用解量化和逆变换，可以重构残差信号(残差块或残差样本)。加法器155将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳过模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前图片中的下一处理目标块的帧内预测，并且如随后描述的，可以被用于通过滤波进行的下一图片的帧间预测。

此外，在图片编码和/或重构处理中，可以应用亮度映射与色度缩放(LMCS)。

滤波器260可以通过向重构信号应用滤波来改善主观/客观视频质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片存储在存储器270中，尤其是存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环形滤波、双边滤波等。如随后在对每种滤波方法的描述中所讨论的，滤波器260可以生成与滤波相关的各种信息，并且将所生成的信息发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式被输出。

已发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。据此，编码装置可以避免在应用帧间预测时编码装置100和解码装置中的预测失配，并且还可以提高编码效率。

存储器270DPB可以存储修改后的重构图片，以便使用它作为帧间预测器221中的参考图片。存储器270可以存储从中已导出(或编码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器221，以被用作邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器222。

图3是示意性地描述可以应用本文档的视频/图像解码装置的配置的图。在下文中，解码装置可以包括图像解码装置和/或视频解码装置。

参考图3，视频解码装置300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器322。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器360可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。

当输入包括视频/图像信息的比特流时，解码装置300可以与据此已在图2的编码装置中处理视频/图像信息的处理对应地重构图像。例如，解码装置300可以基于与从比特流获得的与块分割相关的信息来导出单元/块。解码装置300可以通过使用在编码装置中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编译单元，可以从编译树单元或最大编译单元顺着四叉树结构、二叉树结构和/或三叉树结构对其进行分割。可以用编译单元导出一个或更多个变换单元。并且，可以通过再现装置来再现通过解码装置300解码并输出的重构图像信号。

解码装置300可以以比特流的形式接收从图2的编码装置输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码装置可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。在本文档中，随后将描述的用信号发送/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编译、CAVLC、CABAC等这样的编译方法对比特流中的信息进行解码，并且可以输出图像重构所需的语法元素的值和关于残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的各语法元素对应的bin，使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中已对其执行了熵解码的残差值(即，量化的变换系数)和关联的参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，接收从编码装置输出的信号的接收器(未示出)还可以将解码装置300构成为内部/外部元件，并且接收器可以是熵解码器310的组件。此外，根据本文档的解码装置可以被称为视频/图像/图片解码装置，并且解码装置可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。

解量化器321可以通过对量化的变换系数进行解量化来输出变换系数。解量化器321可以将量化的变换系数重新布置为二维块的形式。在这种情况下，可以基于已在编码装置中执行的系数扫描的顺序来执行重新布置。解量化器321可以使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化，并且获得变换系数。

逆变换器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。

预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且具体地可以确定帧内/帧间预测模式。

预测器320可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编译(SCC)这样的游戏等的内容图像/视频编译。尽管IBC基本上在当前图片中执行预测，但是其执行方式与帧间预测的相似之处在于，它导出当前图片中的参考块。即，IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被用信号发送。

帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本阵列)来导出针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。

加法器340将所获得的残差信号与从预测器(帧间预测器332或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳过模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。

加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中的要处理的下一块的帧内预测，可以通过如下所述的滤波而输出，或者可以用于下一图片的帧间预测。

此外，亮度映射与色度缩放(LMCS)可以被应用于图片解码处理。

滤波器350可以通过向重构后的信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。

存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器332，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并且将重构样本传送到帧内预测器331。

在本公开中，在编码装置200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码装置300的滤波器350、帧间预测器332和帧内预测器331相同或者被分别对应于解码装置300的滤波器350、帧间预测器332和帧内预测器331进行应用。

如上所述，在执行视频编译时，执行预测以提高压缩效率。可以通过预测生成包括当前块的预测样本的预测块，即，目标编译块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。在编码装置和解码装置中同样地导出预测块。编码装置可以通过向解码装置用信号发送关于原始块而非原始块的原始样本值本身与预测块之间的残差的信息(残差信息)来提高图像编译效率。解码装置可以基于残差信息来导出包括残差样本的残差块，可以通过将残差块与预测块相加来生成包括重构样本的重构块，并且可以生成包括重构块的重构图片。

可以通过变换和量化过程来生成残差信息。例如，编码装置可以导出原始块与预测块之间的残差块，可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来导出变换系数，可以通过对变换系数执行量化过程来导出量化变换系数，并且可以(通过比特流)向解码装置用信号发送相关残差信息。在这种情况下，残差信息可以包括诸如值信息、位置信息、变换方案、变换核以及量化变换系数的量化参数这样的信息。解码装置可以基于残差信息执行解量化/逆变换过程，并且可以导出残差样本(或残差块)。解码装置可以基于预测块和残差块来生成重构图片。此外，编码装置可以通过对量化的变换系数进行解量化/逆变换来导出残差块以供后续图片的帧间预测参考，并且可以生成重构图片。

帧内预测可以指示基于当前块所属于的图片(在下文中，称为当前图片)中的参考样本生成用于当前块预测样本的预测。当对当前块应用帧内预测时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括作为与大小为nWxnH的当前块的左边界相邻的样本和与大小为nWxnH的当前块的左上角邻近的样本的总共2xnH个样本、作为与当前块的上边界相邻的样本和与当前块的右上角邻近的样本的总共2xnH个样本、以及邻近当前块的左上角的一个样本。可替选地，当前块的邻近参考样本可以包括多列的上邻近样本和多行的左邻近样本。此外，当前块的邻近参考样本可以包括与大小为nWxnH的当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的共nW个样本以及邻近当前块的右下角的一个样本。

然而，当前块的邻近参考样本中的一些尚未被解码或可能不可用。在这种情况下，解码装置可以通过用可用样本替换不可用样本来构造将用于预测的邻近参考样本。可替选地，可以通过可用样本的插值来配置将用于预测的邻近参考样本。

如果导出邻近参考样本，则(i)可以基于当前块的邻近参考样本的平均值或插值来导出预测样本，并且(ii)可以基于当前块的邻近参考样本当中的关于预测样本的特定(预测)方向上存在的参考样本来导出预测样本。(i)的情况可以被称为是非定向模式或非角度模式，并且(ii)的情况可以被称为定向模式或角度模式。

另外，可以通过邻近参考样本当中的基于当前块的预测样本的位于当前块的帧内预测模式的预测方向的第一邻近样本和位于与预测方向相反的方向的第二邻近样本的插值来生成预测样本。上述情况可以被称为线性内插帧内预测(LIP)。此外，可以使用线性模型基于亮度样本来生成色度预测样本。这种情况可以被称为LM模式或CCLM(色度分量LM)模式。

此外，可基于经滤波的邻近参考样本导出当前块的临时预测样本，并且还可通过对根据帧内预测模式在常规邻近参考样本(即，未经滤波的邻近参考样本)当中导出的至少一个参考样本与临时预测样本进行加权求和来导出当前块的预测样本。前述情况可被称作位置相关的帧内预测(PDPC)。

此外，可通过在当前块的邻近多参考样本线当中选择具有最高预测准确度的参考样本线来使用位于对应线中的预测方向上的参考样本导出预测样本，并且可通过用于向解码装置指示(用信号发送)此时使用的参考样本线的方法来执行帧内预测编码。前述情况可被称为多参考线(MRL)帧内预测或基于MRL的帧内预测。

此外，可通过将当前块划分成垂直或水平子分区而基于相同帧内预测模式执行帧内预测，并且可以子分区为单位来导出并使用邻近参考样本。也就是说，在此情况下，当前块的帧内预测模式同等地应用于子分区，并且可以子分区为单位来导出并使用邻近参考样本，由此在一些情况下增强帧内预测性能。这种预测方法可以被称为帧内子分区(ISP)帧内预测或基于ISP的帧内预测。

前述帧内预测方法可称为与帧内预测模式分开的帧内预测类型。帧内预测类型可称为诸如帧内预测技术或附加帧内预测模式之类的各种术语。例如，帧内预测类型(或附加帧内预测模式等)可包括前述LIP、PDPC、MRL及ISP中的至少一者。不同于诸如LIP、PDPC、MRL及ISP之类的特定帧内预测类型的一般帧内预测方法可被称作正常帧内预测类型。如果不应用特定帧内预测类型，那么通常可应用正常帧内预测类型，并且可基于前述帧内预测模式执行预测。此外，如果必要的话，也可针对导出的预测样本执行后处理滤波。

具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤和基于帧内预测模式/类型的预测样本导出步骤。此外，如有必要，可以对导出的预测样本执行后滤波步骤。

当应用帧内预测时，可以通过使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，编码装置可以基于接收到的MPM索引，在MPM(最可能模式)列表中选择MPM候选之一，该MPM(最可能模式)列表是基于当前块的邻近块(例如，左和/或上邻近块)的帧内预测模式和附加候选模式导出的，或者可以基于剩余的帧内预测模式信息选择未包括在MPM候选(和平面模式)中的剩余帧内预测模式之一。MPM列表可以被配置成包括或不包括平面模式作为候选。例如，当MPM列表包括平面模式作为候选时，MPM列表可以具有6个候选，并且当MPM列表不包括平面模式作为候选时，MPM列表可以具有5个候选。当MPM列表不包括平面模式作为候选时，可以用信号发送指示当前块的帧内预测模式是否不是平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可以首先用信号发送MPM标志，并且当MPM标志的值为1时可以用信号发送MPM索引和非平面标志。此外，当非平面标志的值为1时可以用信号发送MPM索引。这里，配置MPM列表不包括平面模式作为候选的原因是由于平面模式始终被视为MPM因此通过首先用信号发送标志(非平面标志)来首先检查MPM是否处于平面模式，而不是说平面模式不是MPM。

例如，可以基于MPM标志(例如，intra_luma_mpm_flag)指示应用于当前块的帧内预测模式是在MPM候选(和平面模式)之中还是在剩余模式之中。MPM标志值1可以指示当前块的帧内预测模式在MPM候选(和平面模式)内，而MPM标志值0可以指示当前块的帧内预测模式不在MPM候选(和平面模式)。非平面标志(例如，intra_luma_not_planar_flag)值0可以指示当前块的帧内预测模式是平面模式，并且非平面标志值1可以指示当前块的帧内预测模式不是平面模式。MPM索引可以以mpm_idx或intra_luma_mpm_idx语法元素的形式用信号发送，并且剩余的帧内预测模式信息可以以rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素的形式被用信号发送。例如，剩余帧内预测模式信息可以通过按照预测模式编号的顺序索引来指示所有帧内预测模式当中未包括在MPM候选(和平面模式)中的剩余帧内预测模式之一。帧内预测模式可以是亮度分量(样本)的帧内预测模式。在下文中，帧内预测模式信息可以包括MPM标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_planar_flag)、MPM索引(例如，mpm_idx或intra_luma_mpm_idx)和剩余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本文档中，MPM列表可以通过诸如MPM候选列表和candModeList的多种术语来指代。当MIP应用于当前块时，可以单独地用信号发送用于MIP的单独的MPM标志(例如，intra_mip_mpm_flag)、mpm索引(例如，intra_mip_mpm_idx)和剩余的帧内预测模式信息(例如，intra_mip_mpm_remainder)，并且不用信号发送非平面标志。

换言之，通常，当图像被划分为块时，待编译的当前块和邻近块具有相似的图像特性。因此，当前块和邻近块具有相同或相似的帧内预测模式的可能性很高。因此，编码装置可以使用邻近块的帧内预测模式以对当前块的帧内预测模式进行编码。

例如，编码器/解码器可以为当前块配置最可能模式(MPM)列表。MPM列表可以被称为MPM候选列表。这里，MPM可以指的是用于在帧内预测模式编译期间考虑当前块和邻近块之间的相似性来改进编译效率的模式。如上所述，MPM列表可以被配置成包括平面模式，或者可以被配置成排除平面模式。例如，当MPM列表包括平面模式时，MPM列表中的候选数目可以是六个。并且，当MPM列表不包括平面模式时，MPM列表中的候选数量可以是五个。编码器/解码器可以配置包括5或6个MPM的MPM列表。

为了配置MPM列表，可以考虑三种模式：默认帧内模式、邻近帧内模式和导出帧内模式。在这种情况下，对于邻近帧内模式，可以考虑两个邻近块，即，左邻近块和上邻近块。

如上所述，如果MPM列表被配置成不包括平面模式，则平面模式从列表中被排除，并且MPM列表候选的数目可以被设置为五个。

此外，在帧内预测模式当中，非定向模式(或非角度模式)是基于当前块的邻近参考样本的平均值的DC模式或邻近参考样本的基于插值的平面模式。

当应用帧间预测时，编码装置/解码装置的预测器可以通过以块为单位执行帧间预测来导出预测样本。当对当前块执行预测时可以应用帧间预测。即，编码/解码装置的预测器(更具体地，帧间预测器)可以通过以块为单位执行帧间预测来导出预测样本。帧间预测可以表示通过依赖于除当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法导出的预测。当对当前块应用帧间预测时，可以基于由参考图片索引指示的参考图片上的运动矢量指定的参考块(参考样本阵列)导出用于当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息可以进一步包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。在应用帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置CU(colCU)等的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且可以用信号发送指示选择(使用)哪个候选的标志或索引信息以便导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与选择的邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动矢量预测(MVP)模式的情况下，所选择的邻近块的运动矢量可以用作运动矢量预测子并且可以用信号发送运动矢量差。在这种情况下，可以通过使用运动矢量预测子和运动矢量差的和来导出当前块的运动矢量。

运动信息可以进一步包括根据帧间预测类型(L0预测、L1预测、Bi预测等)的L0运动信息和/或L1运动信息。L0方向运动矢量可被称为L0运动矢量或MVL0，而L1方向运动矢量可以被称为L1运动矢量或MVL1。基于L0运动矢量的预测可以称为L0预测，基于L1运动矢量的预测可以称为L1预测，并且基于L0运动矢量和L1运动矢量这两者的预测可以称为双向预测。这里，L0运动矢量可以指示与参考图片列表L0相关联的运动矢量，并且L1运动矢量可以指示与参考图片列表L1相关联的运动矢量。参考图片列表L0可以包括按照输出顺序在当前图片之前的图片，并且参考图片列表L1可以包括按照输出顺序在当前图片之后的图片作为参考图片。先前的图片可以被称为前向(参考)图片并且随后的图片可以被称为反向(参考)图片。参考图片列表L0可以进一步包括按照输出顺序在当前图片之后的图片作为参考图片。在这种情况下，可以首先在参考图片列表L0中对先前图片进行索引，并且然后可以对后续图片进行索引。参考图片列表L1可以进一步包括按照输出顺序在当前图片之前的图片作为参考图片。在这种情况下，可以首先在参考图片列表L1中对后续图片进行索引，并且然后可以对先前图片进行索引。这里，输出顺序可以对应于图片顺序计数(POC)顺序。

图4图示本发明的实施例可适用的示意性视频/图像编码方法的示例。

图4中公开的方法可以由上述图2的编码装置200执行。具体地，S400可以由编码装置200的帧间预测器221或帧内预测器222执行，S410、S420、S430和S440中的每个可以由编码装置200的减法器231、变换器232、量化器233以及熵编码器240执行。

参考图4，编码装置可以通过对当前块的预测来导出预测样本(S400)。编码装置可以确定对当前块执行帧间预测还是帧内预测，并且可以基于RD成本确定特定帧间预测模式或者特定帧内预测模式。根据确定的模式，编码装置可以导出当前块的预测样本。

编码装置可以通过比较当前块的原始样本和预测样本来导出残差样本(S410)。

编码装置可以通过用于残差样本的变换过程来导出变换系数(S420)，并且通过对导出的变换系数进行量化来导出量化的变换系数(S430)。

编码装置可以对包括预测信息和残差信息的图像信息进行编码，并且可以以比特流的形式输出编码的图像信息(S440)。预测信息是与预测过程相关的信息并且可以包括预测模式信息和运动信息(例如，当应用帧间预测时)。残差信息可以包括关于量化的变换系数的信息。残差信息可以被熵编译。

输出比特流可以被存储在存储介质中或经由网络传输到解码装置。

图5示出本文档的实施例可适用于的示意性视频/图像解码方法的示例。

在图5中公开的方法可以由上述图3的解码装置500执行。具体地，S500可以由解码装置300的帧间预测器332或帧内预测331执行。在S500中通过解码比特流中包括的预测信息来导出相关语法元素的值的过程可以由解码装置300的熵解码器310执行。S510、S520、S530和S540可以分别由解码装置300的熵解码器310、解量化器321、逆变换器322和加法器340执行。

参考图5，解码装置可以执行与由编码装置执行的操作相对应的操作。解码装置可以基于接收到的预测信息对当前块执行帧间预测或帧内预测并导出预测样本(S500)。

解码装置可以基于接收到的残差信息导出当前块的量化的变换系数(S510)。解码装置可以通过熵解码从残差信息导出量化的变换系数。

解码装置可以对量化的变换系数进行解量化以导出变换系数(S520)。

解码装置通过用于变换系数的逆变换过程来导出残差样本(S530)。

解码装置可以基于预测样本和残差样本来生成用于当前块的重构样本，并且基于生成的重构样本来生成重构图片(S540)。此后，环内滤波过程可以进一步应用于如上所述的重构图片。

同时，如上所述，编码装置的量化器可以对变换系数应用量化以导出量化的变换系数，并且编码装置的解量化器或解码装置的解量化器可以通过将解量化应用到量化的变换系数来导出变换系数。

通常，在视频/图像编码中，量化率可以被改变，并且压缩可以使用改变的量化率来被调整。从实现的角度考虑，考虑到复杂度，可以使用量化参数(QP)来代替直接使用量化率。例如，可以使用0到63的整数值的量化参数，并且每个量化参数值可以对应实际的量化率。用于亮度分量(亮度样本)的量化参数(QP_Y)和用于色度分量(色度样本)的量化参数(QP_C)可以被不同地设置。

量化过程将变换系数(C)作为输入，并将其除以量化率(Qstep)以获得基于此的量化变换系数(C’)。在这种情况下，考虑到计算复杂度，量化率乘以缩放以形成整数，并且可以通过与缩放值相对应的值来执行移位操作。可以基于量化率和缩放值的乘积来导出量化缩放(quantization scale)。也就是说，量化缩放可以根据QP被导出。量化缩放可以被应用于变换系数(C)以基于其导出量化变换系数(C’)。

解量化过程是量化过程的逆过程，并且将量化的变换系数(C’)乘以量化率(Qstep)，并且基于此可以获得重构变换系数(C”)。在这种情况下，可以根据量化参数导出等级缩放(level scale)，并且可以将等级缩放应用于量化的变换系数(C’)以基于此导出重构的变换系数(C”)。由于变换和/或量化过程中的损失，重构的变换系数(C”)可能与原始变换系数(C)略有不同。因此，编码装置以与解码装置相同的方式执行解量化。

此外，可以应用根据频率调整量化强度的自适应频率加权量化技术。自适应频率加权量化技术是一种对每个频率应用不同量化强度的方法。自适应频率加权量化可以使用预定义的量化缩放矩阵为每个频率不同地应用量化强度。即，可以进一步基于量化缩放矩阵来执行上述量化/解量化过程。例如，可以根据当前块的大小和/或应用于当前块的预测模式是帧间预测还是帧内预测，使用不同的量化缩放矩阵以便于生成当前块的残差信号。量化缩放矩阵可以被称为量化矩阵或缩放矩阵。量化缩放矩阵可以是预定义的。此外，对于频率自适应缩放，可以在编码装置中配置/编码关于量化缩放矩阵的频率量化缩放信息，并用信号发送给解码装置。频率量化缩放信息可以被称为量化缩放信息。频率量化缩放信息可以包括缩放列表数据(scaling_list_data)。可以基于缩放列表数据导出(修改的)量化缩放矩阵。此外，频率量化缩放信息可以包括指示缩放列表数据是否存在的存在标志信息。可替选地，当缩放列表数据在更高级别(例如，SPS)被用信号发送时，可以进一步包括指示缩放列表数据是否在更低级别(例如，PPS或图块组报头等)被修改的信息。

如上所述，可以用信号发送缩放列表数据以指示用于量化/解量化的(基于频率的量化)缩放矩阵。

HEVC标准中存在对默认和用户定义的缩放矩阵的信令支持，并且目前在VVC标准中采用。但是，对于VVC标准，已并入对以下功能的信令的附加支持。

-缩放矩阵的三种模式：OFF、DEFAULT、USER_DEFINED

-更大的块大小范围(亮度为4x4到64x64，色度为2x2到32x32)

-矩形变换块(TB)

-相关量化

-多重变换选择(MTS)

-将高频系数归零的大型变换

-帧内子块分区(ISP)

-帧内块复制(IBC)(也称为当前图片参考(CPR))

-所有TB大小的默认缩放矩阵，默认值为16

应该注意的是，缩放矩阵不应应用于所有大小的变换跳过(TS)和二次变换(ST)。

在下文中，将详细描述用于支持VVC标准中的缩放列表的高级语法(HSL)结构。首先，可以通过序列参数集(SPS)用信号发送标志以指示缩放列表可用于正在解码的当前编译的视频序列(CVS)。然后，如果该标志可用，则可以解析附加标志以指示特定数据是否存在于SPS的缩放列表中。这可以在表1中示出。

表1是来自于SPS的摘录，以描述CVS的缩放列表。

[表1]

在表1的SPS语法中包括的语法元素的语义可以在下面的表2中被示出。

[表2]

参考上面的表1和表2，可以从SPS用信号发送scaling_list_enabled_flag。例如，如果scaling_list_enabled_flag的值为1，则可以指示在变换系数的缩放过程中使用了缩放列表，并且如果scaling_list_enabled_flag的值为0，则可以指示在变换系数的缩放过程中没有使用缩放列表。在这种情况下，当scaling_list_enabled_flag的值为1时，sps_scaling_list_data_present_flag可以进一步从SPS用信号发送。例如，当sps_scaling_list_data_present_flag的值为1时，可能指示在SPS中存在scaling_list_data()语法结构，而当sps_scaling_list_data_present_flag的值为0时，则可以指示scaling_list_data()语法结构不存在于SPS中。如果sps_scaling_list_data_present_flag不存在，则可以推断sps_scaling_list_data_present_flag的值为0。

此外，标志(例如，pps_scaling_list_data_present_flag)可以首先在图片参数集(PPS)中被解析。如果此标志可用，则可以在PPS中解析scaling_list_data()。如果scaling_list_data()最初存在于SPS中并且稍后在PPS中解析，则PPS中的数据可能优先于SPS中的数据。下面的表3是来自于PPS的摘录以描述缩放列表数据。

[表3]

在表3的PPS语法中包括的语法元素的语义可以在下面的表4中示出。

[表4]

参考表3和表4，可以从PPS用信号发送pps_scaling_list_data_present_flag。例如，当pps_scaling_list_data_present_flag的值为1时，可以指示被用于参考PPS的图片的缩放列表数据是基于由活动的SPS指定的缩放列表和PPS指定的缩放列表导出的。当pps_scaling_list_data_present_flag的值为0时，可以指示用于参考PPS的图片的缩放列表数据被推断为与由活动SPS指定的缩放列表相同。此时，当scaling_list_enabled_flag的值为0时，pps_scaling_list_data_present_flag的值应为0。当scaling_list_enabled_flag的值为1时，sps_scaling_list_data_present_flag的值为0，并且pps_scaling_list_data_present_flag的值为0，可以使用默认缩放列表数据以导出如在缩放列表数据语义中描述的扫描因子。

可以在VVC标准中为以下量化矩阵大小定义缩放列表。这可以在下表5中示出。量化矩阵的支持范围已扩展到包括HEVC标准中的2x2和64x64以及4x4、8x8、16x16和32x32。

[表5]

表5定义所有使用的量化矩阵大小的sizeId。可以使用上述组合为sizeId、编译单元的预测模式(CuPredMode)和颜色分量的不同组合指配matrixId。这里可以考虑的CuPredMode可以是帧间、帧内和IBC(帧内块复制)。帧内模式和IBC模式可以被同等对待。因此，对于给定的颜色分量可以共享相同的matrixId。这里，可以考虑的颜色分量可以是亮度(Luma(Y))和两种颜色分量(Cb和Cr)。分配的matrixId可以表示如下表6所示。

表6根据sizeId、预测模式和颜色分量示出matrixId。

[表6]

下面的表7示出用于缩放列表数据的语法结构的示例(例如，scaling_list_data())。

[表7]

包括在表7的语法中的语法元素的语义可以在下面的表8中示出。

[表8]

参考表7和表8，为了提取缩放列表数据(例如，scaling_list_data())，对于从1到6的所有sizeId和从0到5的matrixId，缩放列表数据可以应用于2x2色度分量和64x64亮度分量。然后，可以解析标志(例如，scaling_list_pred_mode_flag)以指示缩放列表的值是否与参考缩放列表的值相同。参考缩放列表可以由scaling_list_pred_matrix_id_delta[sizeId][matrixId]表示。然而，当scaling_list_pred_mode_flag[sizeId][matrixId]为1时，可以显式地用信号发送缩放列表数据。当scaling_list_pred_matrix_id_delta为0时，可以使用带有默认值的DEFAULT模式，如表9至表12中所示。对于scaling_list_pred_matrix_id_delta的其他值，如表8的语义所示，可以首先确定refMatrixId。

在显式信令中，即，在USER_DEFINED模式中，可以首先确定用信号发送的系数的最大数量。在量化块大小为2x2、4x4和8x8的情况下，可以用信号发送所有系数。对于大于8x8的大小，即，16x16、32x32和64x64，只能用信号发送64个系数。即，可以用信号发送8x8基本矩阵并且可以从基本矩阵对剩余系数进行上采样。

下面的表9是示例，其示出ScalingList[1][matrixId][i](i＝0..3)的默认值。

[表9]

下面的表10是示例，其示出ScalingList[2][matrixId][i](i＝0..15)的默认值。

[表10]

下面的表11是示例，其示出ScalingList[3..5][matrixId][i](i＝0..63)的默认值。

[表11]

下面的表12是示例，其示出ScalingList[6][matrixId][i](i＝0..63)的默认值。

[表12]

如上所述，默认缩放列表数据可以被用于导出缩放因子(ScalingFactor)。

5-维数组的缩放因子ScalingFactor[sizeId][sizeId][matrixId][x][y](其中x，y＝0..(1＜＜sizeId)-1)可以表示根据表5中所示的变量sizeId和上表6中所示的变量matrixId的缩放因子的数组。

下表13示出基于上述默认缩放列表根据量化矩阵的大小导出缩放因子的示例。

[表13]

对于矩形大小的量化矩阵，5维数组的ScalingFactor[sizeIdW][sizeIdH][matrixId][x][y]的缩放因子(其中x＝0..(1<<sizeIdW)-1，y＝0..(1<<sizeIdH)-1,sizeIdW！＝sizeIdH)可以根据下表15中所示的变量sizeIdW和sizeIdH表示缩放因子数组，并且可以如下表14中所示导出。

[表14]

对于满足以下条件的样本，方形大小的量化矩阵应归零。

-x>32

-y>32

-解码的TU未使用默认变换模式进行编译，(1<<sizeIdW)＝＝32和x>16

-解码的TU未使用默认变换模式进行编译，(1<<sizeIdH)＝＝32且y>16

下面的表15示出根据量化矩阵的大小的sizeIdW和sizeIdH的示例。

[表15]

在下文中，此文档提出一种用于在量化/解量化过程中应用自适应频率加权量化技术时有效地用信号发送缩放列表数据的方法。

图6示例性地示出编译的图像/视频的分层结构。

参考图6，编译的图像/视频被划分为处理图像/视频解码过程和自身的VCL(视频编译层)、发送和存储编译的信息的子系统、以及存在于VCL和子系统这两者之间的网络抽象层(NAL)，并且负责网络自适应功能。

VCL可以生成包括压缩图像数据(切片数据)的VCL数据，或者生成包括图片参数集(Picture Parameter Set：PPS)、序列参数集(Sequence Parameter Set：SPS)、视频参数集(Video Parameter Set：VPS)等的参数集或图像解码过程额外必要的补充增强信息(SEI)消息。

在NAL中，可以通过将报头信息(NAL单元报头)添加到在VCL中生成的原始字节序列有效载荷(RBSP)来生成NAL单元。在这种情况下，RBSP指的是在VCL中生成的切片数据、参数集、SEI消息等。NAL单元报头可以包括根据相应NAL单元中包括的RBSP数据指定的NAL单元类型信息。

此外，NAL单元可以根据在VCL中生成的RBSP被划分为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像的信息(切片数据)的NAL单元，并且非VCL NAL单元可以意指包含解码图像所必要的信息(参数集或SEI消息)的NAL单元。

上述VCL NAL单元和非VCL NAL单元可以通过根据子系统的数据标准附加报头信息而通过网络发送。例如，可以将NAL单元转换为诸如H.266/VVC文件格式、实时传输协议(RTP)、传输流(TS)等预定标准的数据形式，并且通过各种网络进行发送。

如上所述，在NAL单元中，可以根据相应NAL单元中包括的RBSP数据结构来指定NAL单元类型，并且可以在NAL单元报头中存储和用信号发送关于该NAL单元类型的信息。

例如，取决于NAL单元是否包括关于图像(切片数据)的信息，NAL单元可以被粗略地分类成VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据VCL NAL单元中包括的图片的属性和类型进行分类，并且非VCL NAL单元类型可以根据参数集的类型进行分类。

以下是根据非VCL NAL单元类型中包括的参数集的类型指定的NAL单元类型的示例。

-APS(自适应参数集)NAL单元：用于包括APS的NAL单元的类型

-DPS(解码参数集)NAL单元：用于包括DPS的NAL单元的类型

-VPS(视频参数集)NAL单元：用于包括VPS的NAL单元的类型

-SPS(序列参数集)NAL单元：用于包括SPS的NAL单元的类型

-PPS(图片参数集)NAL单元：用于包括PPS的NAL单元的类型

-PH(图片报头)NAL单元：用于包括PH的NAL单元的类型

上述NAL单元类型具有用于NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元报头中并用信号发送。例如，语法信息可以是nal_unit_type，并且NAL单元类型可以由nal_unit_type值指定。

同时，如上所述，一个图片可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，一个图片报头可以被进一步添加到一个图片中的多个切片(切片报头和切片数据集)。图片报头(图片报头语法)可以包括通常适用于图片的信息/参数。在本文档中，切片可以与图块组混合或替换为图块组。此外，在本文档中，切片报头可以与类型组报头混合或替换为类型组报头。

切片报头(切片报头语法)可以包括通常适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括通常适用于一个或多个切片或图片的信息/参数。SPS(SPS语法)可以包括通常适用于一个或多个序列的信息/参数。VPS(VPS语法)可以包括通常适用于多个层的信息/参数。DPS(DPS语法)可以包括通常适用于整个视频的信息/参数。DPS可以包括与编译的视频序列(CVS)的级联相关的信息/参数。在本文档中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片报头语法和切片报头语法中的至少一个。

在本文档中，在编码装置中编码并以比特流的形式用信号发送给解码装置的图像/视频信息可以包括切片报头中包括的信息、图片报头中包括的信息、APS中包括的信息、PPS中包括的信息、SPS中包括的信息、在VPS中包括的信息和/或在DPS中包括的信息、以及图片中的图片分区相关信息、帧内/帧间预测信息、残差信息、环内滤波信息等。另外，图像/视频信息可以进一步包括NAL单元报头的信息。

另一方面，在VVC标准中使用APS(自适应参数集)来发送用于ALF(自适应环路滤波器)和LMCS(色度缩放与亮度映射)过程的信息。此外，APS具有可扩展的结构，使得其可用于发送其他数据结构(即，不同的语法结构)。因此，该文档提出一种通过APS解析/用信号发送用于频率加权量化的缩放列表数据的方法。

缩放列表数据是可以在如上所述的量化/解量化过程中应用的用于频率加权量化的量化缩放信息，并且可以是将缩放因子与每个频率索引相关联的列表。

作为实施例，下表16示出用于发送缩放列表数据的自适应参数集(APS)结构的示例。

[表16]

包括在表16的APS语法中的语法元素的语义可以在下面的表17中被示出。

[表17]

参考表16和表17，adaptation_parameter_set_id语法元素可以在APS中被解析/用信号发送。adaptation_parameter_set_id为APS提供标识符以供其他语法元素参考。即，可以基于adaptation_parameter_set_id语法元素来识别APS。adaptation_parameter_set_id语法元素可以称为APS ID信息。APS可以在图片之间共享并且可以在图片内的不同图块组中不同。

此外，aps_params_type语法元素可以在APS中被解析/用信号发送。aps_params_type可以指示从APS发送的APS参数的类型，如下表18所示。aps_params_type语法元素可以被称为APS参数类型信息或APS类型信息。

例如，下表18是示出可以通过APS发送的APS参数的类型的示例，并且可以与aps_params_type的值相对应地指示每个APS参数类型。

[表18]

参考表18，aps_params_type可以是用于对相应APS的类型进行分类的语法元素。当aps_params_type的值为0时，相应APS类型可以是ALF_APS，相应APS可以携带ALF数据，并且ALF数据可以包括用于导出滤波器/滤波器系数的ALF参数。当aps_params_type的值为1时，相应APS类型可以是LMCS_APS，相应APS可以携带LMCS数据，并且LMCS数据可以包括用于导出LMCS模型/bins/映射索引的LMCS参数。当aps_params_type的值为2时，相应APS类型可以是SCALING_APS，相应APS可以携带SCALING列表数据，并且SCALING列表数据可以包括用于导出基于频率的量化缩放矩阵/缩放因子/缩放列表的值的缩放列表数据参数。

例如，如上表16中所示，aps_params_type语法元素可以在APS中解析/用信号发送，并且在这种情况下，当aps_params_type指示值为0时(即，aps_params_type指示ALF_APS)ALF数据(即，alf_data())可以被解析/用信号发送。可替选地，当aps_params_type的值为1(即，aps_params_type指示LMCS_APS)时，LMCS数据(即，lmcs_data())可被解析/用信号发送。可替选地，当aps_params_type的值为2(即，aps_params_type指示SCALING_APS)时，可以解析/用信号发送缩放列表数据(即，scaling_list_data())。

此外，参考表16和17，aps_extension_flag语法元素可以在APS中被解析/用信号发送。aps_extension_flag可以指示是否存在APS扩展数据标志(aps_extension_data_flag)语法元素。例如，可以使用aps_extension_flag以为VVC标准的更高版本提供扩展点。aps_extension_flag语法元素可以称为APS扩展标志。例如，当aps_extension_flag的值为0时，可以指示APS RBSP语法结构中不存在APS扩展数据标志(aps_extension_data_flag)。可替选地，当aps_extension_flag的值为1时，可以指示APS RBSP语法结构中存在APS扩展数据标志(aps_extension_data_flag)。

aps_extension_data_flag语法元素可以基于aps_extension_flag语法元素被解析/用信号发送。aps_extension_data_flag语法元素可以称为APS扩展数据标志。例如，当aps_extension_flag的值为1时，可以解析/用信号发送aps_extension_data_flag，并且在这种情况下，aps_extension_data_flag可以具有任意值。

如上所述，根据本文档的实施例，可以通过分配用于指示缩放列表数据的数据类型(例如，SCALING_APS)和解析/用信号发送指示数据类型的语法元素(例如，aps_params_type)来承载有效的缩放列表数据。即，根据本文档的实施例，可以使用其中集成缩放列表数据的APS的结构。

另一方面，在当前的VVC标准中，可以基于指示缩放列表数据是否是在SPS(序列参数集)中可用来指示缩放列表数据(即，scaling_list_data())的使用。如果标志(即，sps_scaling_list_enabled_flag)被启用(即，1或真作为指示缩放列表数据可用的情况)，则可以解析另一个标志(即，sps_scaling_list_data_present_flag)。此外，当sps_scaling_list_data_present_flag被启用时(即，当其指示在SPS中存在缩放列表数据，并且为1或真时)，可以解析缩放列表数据(即，scaling_list_data())。也就是说，在当前的VVC标准中，SPS用信号发送缩放列表数据。在这种情况下，因为SPS启用会话协商并且通常被带外发送，所以可以不必将缩放列表数据作为与确定变换块的缩放因子有关的信息进行发送，并且可以在解码过程中使用。如果编码器在SPS中发送缩放列表数据，解码器需要保留大量内存来存储从缩放列表数据获得的信息，并且还需要保留该信息直到用于变换块解码。因此，这个过程在SPS级别处可能是不必要的，并且在更低级别处解析/用信号发送可能更有效。因此，该文档提出一种分层结构来有效地解析/用信号发送缩放列表数据。

在一个实施例中，缩放列表数据不是从更高级别语法SPS解析/用信号发送的，而是从更低级别语法PPS、图块组报头、切片报头和/或其他适当报头解析/用信号发送的。

例如，SPS语法可以如下表19所示进行修改。下面的表19示出用于描述针对CVS的缩放列表的SPS语法示例。

[表19]

包括在表19的SPS语法中的语法元素的语义可以在下面的表20中被示出。

[表20]

参考表19和20，可以在SPS中解析/用信号发送scaling_list_enabled_flag语法元素。该scaling_list_enabled_flag语法元素可以基于其值为0还是1来指示缩放列表是否可用。例如，当scaling_list_enabled_flag的值为1时，其指示缩放列表用于变换系数的缩放过程，并且当scaling_list_enabled_flag的值为0时，可以指示在变换系数的缩放过程中没有使用缩放列表。

即，scaling_list_enabled_flag语法元素可以称为缩放列表可用标志，并且可以在SPS(或SPS级别)处用信号发送。换言之，基于在SPS级别处用信号发送的scaling_list_enabled_flag的值，可以确定缩放列表对于参考相应SPS的CVS中的图片基本上可用。此外，可以通过在比SPS更低的级别(例如，PPS、图块组报头、切片报头和/或其他适当报头)用信号发送附加可用标志来获得缩放列表。

如上所述，根据本文档的实施例，缩放列表(scaling_list_data())不是在SPS级别处直接用信号发送的，并且仅缩放列表可用标志(scaling_list_enabled_flag)可以被配置成被显式地用信号发送。此后，可以基于SPS中的可用标志(scaling_list_enabled_flag)在更低级别语法中单独解析缩放列表(scaling_list_data())。因此，根据本文档的实施例，由于可以根据分层结构解析/用信号发送缩放列表数据，所以可以进一步改进编译效率。

另一方面，缩放列表数据的存在或不存在以及缩放列表数据的使用以工具启用标志的存在为条件。这里，工具启用标志可以是指示是否启用相应工具的信息，并且可以包括例如scaling_list_enabled_flag语法元素。即，scaling_list_enabled_flag语法元素可以被用于通过指示缩放列表数据是否可用来指示是否启用缩放列表。然而，此工具应该对解码器具有句法限制。也就是说，必须存在约束标志来通知解码器此工具当前未用于解码编译的视频序列(CVS)。因此，此文档提出一种方法，其中应用用于缩放列表数据的约束标志。

作为实施例，下表21示出用于使用约束标志用信号发送缩放列表数据的语法(例如，通用约束信息语法)的示例。

[表21]

包括在表21的语法中的语法元素的语义可以在下面的表22中被示出。

[表22]

参考表21和22，可以通过general_constraint_info()解析/用信号发送约束标志。general_constraint_info()可以被称为关于一般约束信息字段或约束标志的信息。例如，no_scaling_list_constraint_flag语法元素可以用作约束标志。此处，约束标志可用于指定一致性比特流属性。例如，当no_scaling_list_constraint_flag语法元素的值为1时，scaling_list_enabled_flag指示必须指定为0的比特流一致性要求，并且当no_scaling_list_constraint_flag语法元素的值为0时，可以指示不存在限制。

同时，如上所述，根据本文档的实施例，可以通过分层结构来递送缩放列表数据。因此，该文档提出一种可以通过切片报头解析/用信号发送的缩放列表数据的结构。这里，切片报头可以被称为图块组报头，或者可以与图片报头混合或被替换为图片报头。

作为实施例，下面的表23示出用于用信号发送缩放列表数据的切片报头语法的示例。

[表23]

包括在表23的切片报头语法中的语法元素的语义可以如下面的表24所表达。

[表24]

参考表23和24，slice_pic_parameter_set_id语法元素可以在切片报头中被解析/用信号发送。slice_pic_parameter_set_id语法元素可以指示正在使用的PPS的标识符。即，slice_pic_parameter_set_id语法元素是用于识别在相应切片中参考的PPS的信息，并且可以指示pps_pic_parameter_set_id的值。slice_pic_parameter_set_id的值必须在0到63的范围内。slice_pic_parameter_set_id语法元素可以称为切片参考的PPS识别信息或PPS ID信息。

此外，slice_scaling_list_enabled_flag语法元素可以在切片报头中被解析/用信号发送。slice_scaling_list_enabled_flag语法元素可以指示缩放列表在当前切片中是否可用。例如，当slice_scaling_list_enabled_flag的值为1时，可以指示当前切片中缩放列表可用，并且当slice_scaling_list_enabled_flag的值为0时，可以指示当前切片中缩放列表不可用。可替选地，如果slice_scaling_list_enabled_flag不存在于切片报头中，则可以推断其值为0。

在这种情况下，是否解析slice_scaling_list_enabled_flag语法元素可以基于在更高级别语法(即，SPS)中用信号发送的scaling_list_enabled_flag语法元素来确定。例如，当从SPS用信号发送的scaling_list_enabled_flag的值为1时(即，当确定在更高级别处缩放列表数据可用时)，从切片报头解析slice_scaling_list_enabled_flag，并且使用相应切片中的缩放列表确定是否执行缩放过程。

此外，slice_scaling_list_aps_id语法元素可以在切片报头中被解析/用信号发送。slice_scaling_list_aps_id语法元素可以指示相应切片中参考的APS的标识符。即，slice_scaling_list_aps_id语法元素可以指示包括由相应切片所参考的缩放列表数据的APS的ID信息(adaptation_parameter_set_id)。另一方面，与slice_scaling_list_aps_id具有相同APS ID信息(adaptation_parameter_set_id)的APS NAL单元(即，包括缩放列表数据的APS NAL单元)的TemporalId(即，临时ID)必须小于或等于要编译的切片NAL单元的TemporalId(即，临时ID)。

此外，可以基于slice_scaling_list_enabled_flag语法元素来确定是否解析slice_scaling_list_aps_id语法元素。例如，当slice_scaling_list_aps_id的值为1时(即，当确定在切片报头中缩放列表可用时)，可以解析slice_scaling_list_aps_id。此后，可以从解析的slice_scaling_list_aps_id所指示的APS获得缩放列表数据。

此外，当具有相同值的APS ID信息(adaptation_parameter_set_id)的多个缩放数据APS(包括缩放列表数据的多个APS)被同一图片中的两个或更多个切片参考时，多个具有相同值(adaptation_parameter_set_id)的APS ID信息的缩放数据APS必须包括相同的内容。

此外，当存在上面所提及的语法元素时，切片报头语法元素slice_pic_parameter_set_id、slice_pic_order_cnt_lsb和slice_temporal_mvp_enabled_flag中的每个的值在编译的图片的所有切片报头中必须相同。

如上所述，根据本文档的实施例，可以使用分层结构来有效地用信号发送缩放列表数据。即，可以通过首先用信号发送指示缩放列表数据在更高级别处是否可用(SPS语法)的启用标志(例如，scaling_list_enabled_flag)，并且然后在更低级别(例如，切片报头、图片报头等)处用信号发送附加可用标志(例如，slice_scaling_list_enabled_flag)来确定是否在每个更低级别处使用缩放列表数据。此外，由相应切片或图块组所参考的APS ID信息(例如，slice_scaling_list_aps_id)通过更低级别(例如，切片报头、图片报头等)用信号发送，并且缩放列表数据可以从由APS ID信息识别的APS导出。

此外，本文档可以在根据分层结构用信号发送缩放列表数据中应用诸如上面表23和24中提出的方法，并且缩放列表数据可以通过切片报头的结构被递送，如下表25中所示。

作为实施例，下表25示出用于用信号发送缩放列表数据的切片报头语法的示例。这里，切片报头可以被称为图块组报头，或者可以与图片报头混合或被替换为图片报头。

[表25]

包括在表25的切片报头语法中的语法元素的语义可以在下面的表26中被示出。

[表26]

参考上面的表25和26，可以在切片报头中解析/用信号发送slice_pic_parameter_set_id语法元素。slice_pic_parameter_set_id语法元素可以指示正在使用的PPS的标识符。即，slice_pic_parameter_set_id语法元素是用于识别在相应的切片中参考的PPS的信息，并且可以指示pps_pic_parameter_set_id的值。slice_pic_parameter_set_id的值必须在0至63的范围内。slice_pic_parameter_set_id语法元素可以称为由切片参考的PPS识别信息或PPS ID信息。

此外，slice_scaling_list_aps_id语法元素可以在切片报头中被解析/用信号发送。slice_scaling_list_aps_id语法元素可以指示相应切片中参考的APS的标识符。也就是说，slice_scaling_list_aps_id语法元素可以指示包括由相应切片所参考的缩放列表数据的APS的ID信息(adaptation_parameter_set_id)。例如，与slice_scaling_list_aps_id具有相同APS ID信息(adaptation_parameter_set_id)的APS NAL单元(即，包括缩放列表数据的APS NAL单元)的TemporalId(即，临时ID)必须小于或等于要编译的切片NAL单元的TemporalId(即，临时ID)。

在这种情况下，是否解析slice_scaling_list_aps_id语法元素可以基于在更高级别语法(即，SPS)中用信号发送的scaling_list_enabled_flag语法元素来被确定。例如，当由SPS用信号发送的scaling_list_enabled_flag的值为1时(即，当确定在更高级别处缩放列表数据可用时)，可以从切片报头解析slice_scaling_list_aps_id。此后，可以从解析的slice_scaling_list_aps_id所指示的APS获取缩放列表数据。

即，根据本实施例，因为在SPS中的相应标志(例如，scaling_list_enabled_flag)被启用时可以解析包括缩放列表数据的APS ID，如上表25所示，基于在更高级别语法(即，SPS)中用信号发送的scaling_list_enabled_flag语法元素，可以解析包括要在更低级别(例如，切片报头或图片报头)中参考的缩放列表数据的APS ID(例如，slice_scaling_list_aps_id)信息。

此外，该文档提出一种使用多个APS来用信号发送缩放列表数据的方法。在下文中，将描述根据本文档的实施例的有效地用信号发送包括缩放列表数据的多个APS ID的方法。这种方法在比特流合并期间很有用。

作为实施例，下面的表27示出用于使用多个APS用信号发送缩放列表数据的切片报头语法的示例。这里，切片报头可以被称为图块组报头，或者可以与图片报头混合或被替换为图片报头。

[表27]

包括在表27的切片报头语法中的语法元素的语义可以如下表28所示来表达。

[表28]

参考上面的表27和28，slice_pic_parameter_set_id语法元素可以在切片报头中被解析/用信号发送。slice_pic_parameter_set_id语法元素可以指示在slice_pic_parameter_set_id语法元素中使用的PPS的标识符。即，slice_pic_parameter_set_id语法元素是用于识别在相应的切片中参考的PPS的信息，并且可以指示pps_pic_parameter_set_id的值。slice_pic_parameter_set_id的值必须在0至63的范围内。slice_pic_parameter_set_id语法元素可以被称为由切片参考的PPS识别信息或PPS ID信息。

此外，slice_scaling_list_enabled_flag语法元素可以在切片报头中被解析/用信号发送。slice_scaling_list_enabled_flag语法元素可以指示缩放列表在当前切片中是否可用。例如，当slice_scaling_list_enabled_flag的值为1时，可以指示当前切片中缩放列表可用，并且当slice_scaling_list_enabled_flag的值为0时，可以指示当前切片中缩放列表不可用。可替选地，当切片报头中不存在slice_scaling_list_enabled_flag时，可以推断其值为0。

在这种情况下，是否解析slice_scaling_list_enabled_flag语法元素可以基于在更高级别语法(即，SPS)中用信号发送的scaling_list_enabled_flag语法元素来确定。例如，当从SPS用信号发送的scaling_list_enabled_flag的值为1时(即，当确定在更高层处缩放列表数据可用时)，从切片报头解析slice_scaling_list_enabled_flag，并且可以使用相应切片中的缩放列表确定是否执行缩放过程。

此外，num_scaling_list_aps_ids_minus1语法元素可以在切片报头中被解析/用信号发送。num_scaling_list_aps_ids_minus1语法元素可以是用于指示包括由相应切片所参考的缩放列表数据的APS的数量的信息。例如，num_scaling_list_aps_ids_minus1语法元素的值加1而获得的值可以是APS的数量。num_scaling_list_aps_ids_minus1的值必须在0到7的范围内。

这里，可以基于slice_scaling_list_enabled_flag语法元素来确定是否解析num_scaling_list_aps_ids_minus1语法元素。例如，当slice_scaling_list_enabled_flag的值为1时(即，确定在相应切片中缩放列表数据可用时)，可以解析num_scaling_list_aps_ids_minus1。在这种情况下，slice_scaling_list_aps_id[i]语法元素可以基于num_scaling_list_aps_ids_minus1的值来被解析/用信号发送。

即，slice_scaling_list_aps_id[i]可以指示包括第i个缩放列表数据(即，第i个缩放数据APS)的APS的标识符(adaptation_parameter_set_id)。换言之，可以用信号发送APS ID信息与由num_scaling_list_aps_ids_minus1语法元素所指示的APS的数量一样多。另一方面，具有与slice_scaling_list_aps_id[i]相同的APS ID信息(adaptation_parameter_set_id)的APS NAL单元(即，包括缩放列表数据的APS NAL单元)的TemporalId(即，临时ID)必须小于或等于要编译的切片NAL单元的TemporalId(即，临时ID)。

此外，当具有相同值的APS ID信息(adaptation_parameter_set_id)的多个缩放数据APS(包括缩放列表数据的多个APS)被同一图片中的两个或更多个切片参考时，具有相同值(adaptation_parameter_set_id)的APS ID信息的多个缩放数据APS必须包括相同的内容。

下面的图被创建来解释本文档的具体示例。附图中描述的特定设备的名称或特定术语或名称(例如，语法/语法元素的名称等)仅作为示例提供，使得本文档的技术特征不限于在下面的图中所使用的特定名称。

图7是示意性地图示根据本文档的实施例的视频/图像编码方法的示例的流程图。

图7中公开的方法可以由图2中图示的编码装置200执行。具体地，图7的步骤S700可以由图2中图示的减法器231执行，并且图7的步骤S710可以由图2中图示的变换器232执行，图7的步骤S720和S730可以由图2所图示的量化器233执行，并且图7的步骤S740可以由图2中所图示的熵编码器240执行。另外，可以执行图7中所公开的方法，包括本文档中的上述实施例。因此，在图7中，与上述实施例重叠的内容的详细描述将被省略或简化。

参考图7，编码装置可以导出当前块的残差样本(S700)。

作为实施例，首先，编码装置可以确定当前块的预测模式并导出预测样本。例如，编码装置可以确定对当前块执行帧间预测还是帧内预测，也可以根据RD成本确定具体的帧间预测模式或具体的帧内预测模式。编码装置可以通过根据确定的预测模式执行预测来导出当前块的预测样本。在这种情况下，可以应用本文档中公开的各种预测方法，诸如帧间预测或帧内预测。此外，编码装置可以生成和编码与应用于当前块的预测有关的信息(例如，预测模式信息)。

并且，编码装置可以通过比较当前块的原始样本和预测样本来导出残差样本。

编码装置可以基于残差样本来生成变换系数(S710)。

在实施例中，编码装置可以通过对残差样本的变换过程来导出变换系数。在这种情况下，编码装置可以考虑到编译效率来确定是否将变换应用于当前块。也就是说，编码装置可以确定是否对残差样本应用变换。例如，当没有对残差样本应用变换时，编码装置可以将残差样本导出为变换系数。可替选地，当对残差样本应用变换时，编码装置可以通过对残差样本执行变换来导出变换系数。在这种情况下，编码装置可以基于变换是否被应用于当前块来生成和编码变换跳过标志信息。变换跳过标志信息可以是指示相对于当前块是应用变换还是跳过变换的信息。

编码装置可以基于变换系数导出量化的变换系数(S720)。

作为实施例，编码装置可以通过对变换系数应用量化过程来导出量化的变换系数。在这种情况下，编码装置可以应用根据频率调整量化强度的频率加权量化。在这种情况下，可以进一步基于用于每个频率的量化比例值来执行量化过程。用于频率加权量化的量化缩放值可以使用缩放矩阵导出。例如，编码装置/解码装置可以使用预定义的缩放矩阵，并且编码装置可以配置和编码关于缩放矩阵的频率量化缩放信息，并且可以将其用信号发送给解码装置。频率量化缩放信息可以包括缩放列表数据。可以基于缩放列表数据导出(修改的)缩放矩阵。

此外，编码装置可以以与解码装置相同的方式执行解量化过程。在这种情况下，编码装置可以基于缩放列表数据导出(修改的)缩放矩阵，并且可以通过基于其对量化的变换系数应用解量化来导出重构的变换系数。在这种情况下，由于变换/量化过程中的损失，重构的变换系数可能不同于原始变换系数。

这里，缩放矩阵可以指上述基于频率的量化缩放矩阵，并且为了便于描述可以互换使用或替换为量化缩放矩阵、量化矩阵、缩放矩阵、缩放列表等，并且不限于在本文档中使用的具体名称。

也就是说，编码装置可以在执行量化过程时进一步应用频率加权量化，并且在这种情况下，可以生成缩放列表数据作为关于缩放矩阵的信息。因为此过程已经以表5至表15为例进行了详细描述，所以在本实施例中将省略冗余的内容或详细描述。

编码装置可以生成包括关于量化的变换系数的信息的残差信息(S730)。

这里，残差信息可以包括关于量化变换系数的值的信息、位置信息、变换技术、变换核、量化参数等。

编码装置可以对图像信息(或视频信息)进行编码(S740)。这里，图像信息可以包括残差信息。此外，图像信息可以包括预测相关信息(例如，预测模式信息)。此外，图像信息可以包括关于缩放列表数据的信息。即，图像信息可以包括从编码过程导出的各种信息，并且可以通过包括这样的各种信息来编码。

作为实施例，图像信息可以包括根据本文档中上述实施例的各种信息，并且可以包括在上述表1至28中的至少一个中公开的信息。

例如，图像信息可以包括自适应参数集(APS)。APS可以包括APS识别信息(APS ID信息)和APS参数的类型信息。此外，APS可以包括基于APS参数的类型信息的缩放列表数据。缩放列表数据可以包括用于导出在如上所述的量化/解量化过程中使用的缩放列表/缩放矩阵/缩放因子的缩放列表参数。换言之，缩放列表数据可以包括用于构建缩放列表的语法元素。

作为示例，APS可以如上表16所示进行配置。APS识别信息可以是上面表16和17中描述的adaptation_parameter_set_id。APS参数的类型信息可以是上述表16至表18中描述的aps_params_type。例如，当APS参数的类型信息(例如，aps_params_type)为与指示其为包括缩放列表数据的APS相关的SCALING_APS类型时(或当APS参数的类型信息(例如，aps_params_type)的值等于2时)，APS可以包括缩放列表数据(例如，scaling_list_data())。即，编码装置可以基于指示其是包括缩放列表数据的APS的SCALING_APS类型信息通过APS用信号发送缩放列表数据(例如，scaling_list_data())。

此外，例如，图像信息可以包括报头信息。报头信息可以是与包括当前块的图片或切片有关的报头信息，并且可以包括例如图片报头或切片报头。报头信息可以包括与缩放列表数据相关的APS识别信息。包括在报头信息中的与缩放列表数据相关的APS识别信息可以指示包括缩放列表数据的APS的识别信息。举例来说，包括在报头信息中的与缩放列表数据相关的APS识别信息可以是上面表23至26中描述的slice_scaling_list_aps_id，并且可以是由包括当前块的切片/图片参考的APS(包括缩放列表数据)的识别信息。即，可以基于与缩放列表数据相关的APS识别信息来识别包括缩放列表数据的APS。

此外，例如，图像信息可以包括序列参数集(SPS)。SPS可以包括与指示缩放列表数据是否可用有关的第一可用标志信息。例如，SPS可以如表19中所示进行配置，并且第一可用标志信息可以是上面表19和表20中描述的scaling_list_enabled_flag。

此时，基于与指示缩放列表数据可用相关的第一可用标志信息(例如，scaling_list_enabled_flag)(例如，当第一可用标志信息(例如，scaling_list_enabled_flag)的值等于1或者真时)，报头信息可以包括与缩放列表数据相关的APS识别信息(例如，slice_scaling_list_aps_id)。作为示例，编码装置可以基于如上面的表23和25中所示的第一可用标志信息(例如，scaling_list_enabled_flag)通过报头信息来用信号发送包括缩放列表数据的APS的识别信息(例如，slice_scaling_list_aps_id)。

报头信息可以包括与指示缩放列表数据在图片或切片中是否可用有关的第二可用标志信息。例如，第二可用标志信息可以是上面表23和24中描述的slice_scaling_list_enabled_flag。

此时，基于与指示缩放列表数据可用有关的第一可用标志信息(例如，scaling_list_enabled_flag)(例如，当第一可用标志信息(例如，scaling_list_enabled_flag)的值等于1或真时)，报头信息可以包括第二可用标志信息(例如，slice_scaling_list_enabled_flag)。并且，基于第二可用标志信息(例如，slice_scaling_list_enabled_flag)(例如，当第二可用标志信息(例如，slice_scaling_list_enabled_flag)的值等于1或真时)，报头信息可以包括与缩放列表数据(例如，slice_scaling_list_aps_id)有关的APS识别信息。作为示例，编码装置可以基于从上表23中所示的SPS用信号发送的第一可用标志信息(例如，scaling_list_enabled_flag)通过报头信息来用信号发送第二可用标志信息(例如，slice_scaling_list_enabled_flag)，并且然后可以基于第二可用标志信息(例如，slice_scaling_list_enabled_flag)通过报头信息用信号发送与缩放列表数据(例如，slice_scaling_list_aps_id)相关的APS识别信息。

此外，例如，图像信息可以包括关于第一可用标志信息的使用的约束标志信息。例如，约束标志信息可以是上面表21和22中描述的no_scaling_list_constraint_flag。约束标志信息(例如，no_scaling_list_constraint_flag)可以通过被包括在通用约束信息语法(例如，general_constraint_info())中来用信号发送。例如，当约束标志信息(例如，no_scaling_list_constraint_flag)的值等于1时，通过通用约束信息语法(例如，general_constraint_info())进行限制，使得第一可用标志信息(例如，scaling_list_enabled_flag)的值被设置为0。可替选地，当约束标志信息(例如，no_scaling_list_constraint_flag)的值等于0时，可以指示对第一可用标志信息(例如，scaling_list_enabled_flag)不存在约束。

此外，例如，图像信息可以包括与包括当前块的图片或切片有关的报头信息。例如，报头信息可以包括图片报头或切片报头。报头信息可以包括指示与缩放列表数据相关的APS识别信息的数量的APS数量信息。在这种情况下，报头信息可以包括与基于APS数量信息导出的APS识别信息的数量一样多的与缩放列表数据相关的APS识别信息。

作为示例，APS数量信息可以是上面表27和28中描述的num_scaling_list_aps_ids_minus1。如表27中所述，num_scaling_list_aps_ids_minus1的值加1而获得的值可以是APS识别信息的数量。因此，与APS识别信息的数量(num_scaling_list_aps_ids_minus1的值加1)一样多的slice_scaling_list_aps_id可以被包括在报头信息中。

包括如上所述的各种信息的图像信息可以被编码并以比特流的形式输出。比特流可以经由网络或(数字)存储介质被发送到解码装置。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD以及SSD。

图8是示意性地图示根据本文档的实施例的视频/图像解码方法的示例的流程图。

图8中公开的方法可以由图3所图示的解码装置300执行。具体地，图8的步骤S800和S810可以由图3中图示的熵解码器310执行，图8的步骤S820可以由图3中所图示的解量化器321执行，图8的步骤S830可以由图3中所图示的逆变换器322执行，并且图8的步骤840可以由图3所图示的加法器340执行。另外，可以执行图8中公开的方法，包括本文档中的上述实施例。因此，在图8中，与上述实施例重叠的内容的详细描述将被省略或简化。

参考图8，解码装置可以从比特流接收图像信息(或视频信息)(S800)。

作为实施例，解码装置可以通过解析比特流来导出图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。在这种情况下，图像信息可以包括残差信息，并且残差信息可以包括诸如关于量化变换系数的值的信息、位置信息、变换技术、变换核和量化参数的信息。此外，图像信息可以包括与预测有关的信息(例如，预测模式信息)。此外，图像信息可以包括关于缩放列表数据的信息。即，图像信息可以包括解码过程中需要的各种信息，并且可以基于诸如指数哥伦布编译、CAVLC、CABAC等编译方式进行解码。

作为实施例，图像信息可以包括根据本文档中上述实施例的各种信息，并且可以包括在上述表1至28中的至少一个中公开的信息。

例如，图像信息可以包括自适应参数集(APS)。APS可以包括APS识别信息和APS参数的类型信息。此外，APS可以包括基于APS参数的类型信息的缩放列表数据。缩放列表数据可以包括用于导出在如上所述的量化/解量化过程中使用的缩放列表/缩放矩阵/缩放因子的缩放列表参数。换言之，缩放列表数据可以包括用于构建缩放列表的语法元素。

作为示例，APS可以如上表16中所示进行配置。APS识别信息可以是上面表16和17中描述的adaptation_parameter_set_id。APS参数的类型信息可以是上述表16至表18中描述的aps_params_type。例如，当APS参数的类型信息(例如，aps_params_type)是与指示其为包括缩放列表数据的APS相关的SCALING_APS类型时(或当APS参数的类型信息(例如，aps_params_type)的值等于2时)，APS可以包括缩放列表数据(例如，scaling_list_data())。即，解码装置可以基于指示其是包括缩放列表数据的APS的SCALING_APS类型信息，通过APS获得并解析缩放列表数据(例如，scaling_list_data())。

此外，例如，图像信息可以包括报头信息。报头信息可以是与包括当前块的图片或切片有关的报头信息，并且可以包括例如图片报头或切片报头。此外，报头信息可以包括与缩放列表数据相关的APS识别信息。包括在报头信息中的与缩放列表数据相关的APS识别信息可以指示包括缩放列表数据的APS的识别信息。举例来说，包括在报头信息中的与缩放列表数据相关的APS识别信息可以是上面表23至26中描述的slice_scaling_list_aps_id，并且可以是由包括当前块的切片/图片参考的APS(包括缩放列表数据)的识别信息。即，解码装置可以基于报头信息中的APS识别信息(例如，slice_scaling_list_aps_id)来识别APS，并且可以获得来自APS的缩放列表数据。

此外，例如，图像信息可以包括序列参数集(SPS)。SPS可以包括与指示缩放列表数据是否可用有关的第一可用标志信息。例如，SPS可以如表19所示进行配置，并且第一可用标志信息可以是上面表19和表20中描述的scaling_list_enabled_flag。

此时，基于与指示缩放列表数据可用相关的第一可用标志信息(例如，scaling_list_enabled_flag)(例如，当第一可用标志信息(例如，scaling_list_enabled_flag)的值等于1或者真时)，报头信息可以包括与缩放列表数据相关的APS识别信息(例如，slice_scaling_list_aps_id)。作为示例，解码装置可以基于如上面的表23和25中所示的第一可用标志信息(例如，scaling_list_enabled_flag)通过报头信息获得包括缩放列表数据的APS的识别信息(例如，slice_scaling_list_aps_id)。

此外，例如，报头信息可以包括与指示缩放列表数据在图片或切片中是否可用有关的第二可用标志信息。例如，第二可用标志信息可以是上面表23和24中描述的slice_scaling_list_enabled_flag。

此时，基于与指示缩放列表数据可用有关的第一可用标志信息(例如，scaling_list_enabled_flag)(例如，当第一可用标志信息(例如，scaling_list_enabled_flag)的值等于1或真时)，报头信息可以包括第二可用标志信息(例如，slice_scaling_list_enabled_flag)。并且，基于第二可用标志信息(例如，slice_scaling_list_enabled_flag)(例如，当第二可用标志信息(例如，slice_scaling_list_enabled_flag)的值等于1或真时)，报头信息可以包括与缩放列表数据(例如，slice_scaling_list_aps_id)有关的APS识别信息。例如，解码装置可以基于从如上面的表23中所示的SPS用信号发送的第一可用标志信息(例如，scaling_list_enabled_flag)通过报头信息获得第二可用标志信息(例如，slice_scaling_list_enabled_flag)，并且然后可以基于第二可用标志信息(例如，slice_scaling_list_enabled_flag)通过报头信息获得与缩放列表数据(例如，slice_scaling_list_aps_id)相关的APS识别信息。

此外，例如，图像信息可以包括关于第一可用标志信息的使用的约束标志信息。例如，约束标志信息可以是上面表21和22中描述的no_scaling_list_constraint_flag。约束标志信息(例如，no_scaling_list_constraint_flag)可以通过被包括在通用约束信息语法(例如，general_constraint_info())中来用信号发送。例如，当约束标志信息(例如，no_scaling_list_constraint_flag)的值等于1时，通过通用约束信息语法(例如，general_constraint_info())进行限制，使得第一可用标志信息(例如，scaling_list_enabled_flag)的值被设置为0。可替选地，当约束标志信息(例如，no_scaling_list_constraint_flag)的值等于0时，可以指示对第一可用标志信息(例如，scaling_list_enabled_flag)不存在约束。

此外，例如，图像信息可以包括与包括当前块的图片或切片有关的报头信息。例如，报头信息可以包括图片报头或切片报头。此外，报头信息可以包括指示与缩放列表数据相关的APS识别信息的数量的APS数量信息。在这种情况下，报头信息可以包括与基于APS数量信息导出的APS识别信息的数量一样多的与缩放列表数据相关的APS识别信息。

作为示例，APS数量信息可以是上面表27和28中描述的num_scaling_list_aps_ids_minus1。如表27所述，num_scaling_list_aps_ids_minus1的值加1获得的值可以为APS识别信息的数量。因此，与APS识别信息的数量(num_scaling_list_aps_ids_minus1的值加1)一样多的slice_scaling_list_aps_id可以被包括在报头信息中。

解码装置可以导出当前块的量化变换系数(S810)。

作为实施例，解码装置可以获取包括在图像信息中的残差信息。残差信息可以包括诸如关于如上所述的量化变换系数的值的信息、位置信息、变换技术、变换核和量化参数的信息。解码装置可以基于包括在残差信息中的量化变换系数信息来导出当前块的量化变换系数。

解码装置可以基于量化的变换系数导出变换系数(S820)。

作为示例，解码装置可以通过对量化的变换系数应用解量化过程来导出变换系数。在这种情况下，解码装置可以应用根据频率调整量化强度的频率加权量化。在这种情况下，可以进一步基于用于每个频率的量化缩放值来执行解量化过程。可以使用缩放矩阵导出用于频率加权量化的量化缩放值。例如，解码装置可以使用预定义的缩放矩阵，或者可以使用关于从编码装置用信号发送的缩放矩阵的频率量化缩放信息。频率量化缩放信息可以包括缩放列表数据。可以基于缩放列表数据导出(修改的)缩放矩阵。

也就是说，解码装置可以进一步在执行解量化过程中应用频率加权量化。在这种情况下，解码装置可以基于缩放列表数据通过对量化的变换系数应用解量化过程来导出变换系数。

作为实施例，解码装置可以获取包括在图像信息中的APS，并且可以基于包括在APS中的APS参数的类型信息获取缩放列表数据。例如，解码装置可以基于与指示其是包括缩放列表数据的APS相关的SCALING_APS类型信息来获取包括在APS中的缩放列表数据。在这种情况下，解码装置可以基于缩放列表数据导出缩放矩阵，可以基于缩放矩阵导出缩放因子，并且可以基于缩放因子通过应用解量化来导出变换系数。因为已经以参考表5至表15为例详细描述了基于缩放列表数据执行缩放的过程，所以在本实施例中将省略冗余的内容或详细描述。

此外，解码装置可以确定是否在解量化过程中应用频率加权量化(即，是否在解量化过程中使用(基于频率的量化)缩放列表来导出变换系数)。例如，解码装置基于从图像信息中包括的SPS获得的第一可用标志和/或从图像信息中包括的报头信息获得的第二可用标志信息来确定是否使用缩放列表数据。如果基于第一可用标志和/或第二可用标志信息来确定使用缩放列表数据，则解码装置可以基于与报头信息中包括的缩放列表数据相关的APS识别信息来识别相应的APS，并且可以从识别出的APS获得缩放列表数据。

解码装置可以基于变换系数导出残差样本(S830)。

作为实施例，解码装置可以通过对当前块的变换系数执行逆变换来导出当前块的残差样本。在这种情况下，解码装置可以获得指示是否对当前块应用逆变换的信息(即，变换跳过标志信息)，并基于此信息(即，变换跳过标志信息)导出残差样本。

例如，当逆变换没有应用于变换系数时(在当前块的变换跳过标志信息的值等于1时)，解码装置可以导出变换系数作为当前块的残差样本。可替选地，当逆变换被应用于变换系数时(在当前块的变换跳过标志信息的值等于0时)，解码装置可以对变换系数执行逆变换以导出当前块的残差样本。

解码装置可以基于残差样本来生成重构样本(S840)。

作为实施例，解码装置可以基于图像信息中包括的预测信息(例如，预测模式信息)来确定是对当前块执行帧间预测还是帧内预测，并通过根据该确定执行预测来导出当前块的预测样本。并且，解码装置可以基于预测样本和残差样本生成重构样本。此时，解码装置可以根据预测模式直接将预测样本作为重构样本，或者可以通过将残差样本添加到预测样本中生成重构样本。此外，可以基于重构样本导出重构块或重构图片。此后，如上所述，如果必要，解码装置可以将诸如去块滤波和/或SAO过程的环内滤波过程应用于重构的图片以便于改进主观/客观图片质量。

在以上提到的实施方式中，虽然已基于以一系列步骤或单元的形式的流程图描述了这些方法，但是本文档的实施方式不限于这些步骤的顺序，并且这些步骤中的一些可以按照与其它步骤的顺序不同的顺序执行或者可以与其它步骤同时执行。此外，本领域技术人员将理解，在流程图中示出的步骤不是排它性的，并且在不影响本文档的权利范围的情况下，这些步骤可以包括附加步骤或者可以删除流程图中的一个或更多个步骤。

根据本文档的以上提到的方法可以用软件形式实现，并且根据本文档的编码装置和/或解码装置可以被包括在例如TV、计算机、智能电话、机顶盒或显示设备的用于执行图像处理的设备中。

在本文档中，当以软件形式实现实施方式时，以上提到的方法可以被实现为用于执行以上提到的功能的模块(程序、函数等)。模块可以被存储在存储器中并且由处理器来执行。存储器可以布置在处理器的内部或外部，并且通过各种公知手段连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储设备。即，本文档中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现并执行。例如，附图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。在这种情况下，用于这种实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。

此外，应用本文档的解码装置和编码装置可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、诸如视频通信这样的实时通信设备、移动流传输设备、存储介质、摄像机、视频点播(VoD)服务提供设备、过顶(OTT)视频设备、互联网流传输服务提供设备、三维(3D)视频设备、虚拟现实(VR)设备、增强现实(AR)设备、视频电话视频设备、运输工具终端(例如，车辆(包括自主车辆)终端、飞机终端和轮船终端)和医疗视频设备中，并且可以被用于处理视频信号或数据信号。例如，过顶(OTT)视频设备可以包括游戏控制台、Blueray播放器、互联网访问TV、家庭影院系统、智能电话、平板PC和数字录像机(DVR)。

此外，应用本文档的处理方法可以以由计算机执行的程序的形式生成，并且可以被存储在计算机可读记录介质中。根据本文档的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储设备。计算机可读记录介质可以包括例如Blueray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备。此外，计算机可读记录介质包括以载波(例如，通过互联网进行传输)的形式实现的介质。此外，使用编码方法而生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线和无线通信网络传输。

此外，本文档的实施方式可以使用程序代码被实现为计算机程序产品。可以由根据本文档的实施方式的计算机执行程序代码。程序代码可以被存储在可由计算机读取的载波上。

图9图示可以应用在本文档中公开的实施例的内容流传输系统的示例。

参考图9，应用本发明实施例的内容流媒体系统基本上可以包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。

编码服务器将从诸如智能电话、相机、摄像机等这样的多媒体输入设备输入的内容压缩成数字数据以生成比特流，并且将该比特流传输到流传输服务器。作为另一示例，当诸如智能电话、相机、摄像机等这样的多媒体输入设备直接生成比特流时，可以省略编码服务器。

可以通过应用本文档的实施方式的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。

流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，并且web服务器用作将服务告知用户的介质。当用户向web服务器请求所期望的服务时，web服务器将其传送到流传输服务器，流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统中的设备之间的命令/响应。

流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以存储比特流达预定时间。

用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器)、数字TV、台式计算机、数字标牌等。

内容流传输系统中的各个服务器可以作为分布式服务器操作，在这种情况下，从各个服务器接收到的数据可以被分发。

这里描述的权利要求可以以各种方式组合。例如，可以将本说明书的方法权利要求的技术特征组合实施为装置，并且将本说明书的装置权利要求的技术特征组合并实施为方法。此外，本说明书方法权利要求的技术特征和装置权利要求的技术特征可以组合实施为装置，并且本说明书的方法权利要求的技术特征和装置权利要求的技术特征可以组合和实施为方法。