基于包含不同模式组的模式列表以编码视频数据的设备及方法
阅读说明：本技术 基于包含不同模式组的模式列表以编码视频数据的设备及方法 (Apparatus and method for encoding video data based on mode list including different mode groups ) 是由 张耀仁 江蕙宇 于 2018-12-27 设计创作，主要内容包括：提供了一种通过一电子设备解码一比特流的方法。根据所述比特流从图像帧确定块单位。包括在模式列表的多个候选模式分离在第一模式组和第二模式组中。所述电子设备确定所述第一模式组中的所述多个候选模式中特定的一个是否被所述第二模式组的所述多个候选模式的一个取代。当所述第一模式组中的所述特定候选模式被取代时,从所述第二模式组中的所述多个候选模式确定出预测模式。当所述第一模式组中的所述特定候选模式维持不变时,将所述第一模式组中的所述特定候选模式确定为所述预测模式。然后,基于所述预测模式重建所述图像帧的所述块单元。(A method of decoding a bitstream by an electronic device is provided. Block units are determined from an image frame according to the bitstream. The plurality of candidate patterns included in the pattern list are separated in the first pattern group and the second pattern group. The electronic device determines whether a particular one of the plurality of candidate patterns in the first pattern group is replaced by one of the plurality of candidate patterns in the second pattern group. Determining a prediction mode from the plurality of candidate modes in the second mode group when the particular candidate mode in the first mode group is replaced. Determining the particular candidate mode in the first mode group as the prediction mode when the particular candidate mode in the first mode group remains unchanged. Then, the block units of the image frame are reconstructed based on the prediction mode.)
相关申请的交叉引用
本申请请求于2017年12月29日提交的美国临时申请No.62/611,932的权益及优先权，其发明名称为Chroma Prediction Method，其代理人卷号为US72978(以下称为US72978申请)，以及于2018年2月1日提交的美国临时申请No.62/625,180的权益及优先权，其发明名称为Intra Prediction Method，其代理人卷号为US73182(以下称为US73182申请)。US72978以及US73182申请的揭露内容在此通过引用完全并入本申请中。
技术领域
本揭露大体上系关于视频编码，且特别是用于基于调整的帧内模式列表的帧内预测的技术。
背景技术
帧内预测是用于视频编码的编码工具。在常见的视频编码方法中，编码器和解码器仅使用与编码块相邻的最近像素线中的先前重建的像素来生成参考像素和预测子，以沿着一定向预测或重建所述编码块。然而，从包括在预定义模式列表中的多个帧内模式中选择所述定向。因此，编码器需要调整预定义模式列表以适应不同的编码块。当编码器调整预定义模式列表以适应不同的编码块时，解码器需要以相同方式调整预定义模式列表以适应不同的编码块。
发明内容
本揭露针对一种用于基于多条参考线对视频数据进行编码的设备和方法。
附图说明
当与附图一起阅读时，示例性揭露的各方面可从以下详细描述被最佳地理解。为了清楚的讨论，各种特征没有按比例绘制，各种特征的尺寸可以任意增加或减小。
图1是根据本揭露的一种或多种技术的被配置为对视频数据进行编码和解码的系统的示例性实施方式的方框图。
图2是图1的系统中的目的地设备的解码器模块的示例性实施方式的方框图。
图3绘示根据用于帧内预测的模式列表调整的第一示例性实施方式的流程图。
图4是具有块单元的图像帧的一个示例性实施方式的示意图。
图5绘示根据用于帧内预测的模式列表调整的第二示例性实施方式的流程图。
图6A和6B分别示出根据用于帧内预测的模式列表调整的第三示例性实施方式和第四示例性实施方式的流程图。
图7A和7B是块单元和块单元的参考样本的示例性实施方式的示意图。
图8A和8B分别示出了根据用于色度预测的多参考线预测的第一示例性实施方式和第二示例性实施方式的两个流程图。
图9是块单元和多条参考线的一种示例性实施方式的示意图。
图10是图1的系统中的来源设备的编码器模块的示例性实施方式的方框图。
图11示出了根据用于帧内预测的模式列表调整的第五示例性实施方式的流程图。
图12A和12B分别示出了根据用于色度预测的多参考线预测的第三示例性实施方式和第四示例性实施方式的两个流程图。
具体实施方式
以下叙述含有与本揭露中的示例性实施例相关的特定信息。本揭露中的附图和其随附的详细叙述仅为示例性实施例。然而，本揭露并不局限于此些例示性实施例。本领域技术人员将会想到本揭露的其他变化与实施例。除非另有说明，否则附图中的相同或对应的组件可由相同或对应的附图标号指示。此外，本申请中的附图与例示通常不是按比例绘制的，且非旨在与实际的相对尺寸相对应。
出于一致性和易于理解的目的，在示例性附图中藉由标号以标示相同特征(虽在一些示例中并未如此标示)。然而，不同实施方式中的特征在其他方面可能不同，因此不应狭义地局限于附图所示的特征。
说明中所使用的词组「在一个实施方式中，」或「在一些实施方式中，」，其可各自参考相同或不同的一个或多个实施方式。术语「耦合」被定义为直接或通过中间组件间接连结且不必限于实体连结。在使用术语「包含，」时表示「包括，但不必要限于」；其明确指出开放式包含或所叙述的组合、组、系列和等同者的成员。
再者，出于解释和非限制的目的，阐述诸如功能实体、技术、协议、标准等的具体细节以提供对所叙述技术的理解。在其他示例中，省略了对众所周知的方法、技术、系统、架构和同等的详细叙述，以免不必要的细节模糊叙述。
本领域技术人员将立即认识到本揭露中叙述的任何编码功能或算法可由硬件、软件或软件和硬件的组合实施方式。所叙述的功能可对应于模块可为软件、硬件、固件或其任何组合。软件实施方式可包含存储在诸如存储器或其他类型的存储设备的计算机可读媒体上的计算机可执行指令。例如，具有通信处理能力的一个或多个微处理器或通用计算机可用对应的可执行指令编程和执行所叙述的网络功能或算法。微处理器或通用计算机可由专用集成电路(Applications Specific Integrated Circuitry，ASIC)、可编程化逻辑阵列和/或使用一个或多个数字信号处理器(Digital Signal Processor，DSP)形成。尽管在本说明书中叙述的若干示例性实施方式倾向在计算机硬件上安装和执行的软件，但是，实施方式以固件或硬件或硬件和软件的组合的替代示例性实施方式亦在本揭露的范围内。
计算机可读介质包括但不限于随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦可编程只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)、电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、闪存、光盘只读存储器(Compact Disc Read-Only Memory，CD ROM)、磁盒、磁带、磁盘存储器或任何其他能够存储计算机可读指令的等效介质。
图1是根据本揭露的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例性实施方式的方框图。在所述实施方式中，所述系统包括来源设备11、目的地设备12和通信介质13。在至少一种实施方式中，所述来源设备11可以包括被配置为对视频数据进行编码并将编码后的视频数据发送至所述通信介质13的任何设备。在至少一种实施方式中，所述目的地设备12可以包括被配置为经由所述通信介质13接收编码的视频数据并且对编码的视频数据进行解码的任何设备。
在至少一个实施方式中，所述来源设备11可以经由所述通信介质13与所述目的地设备12有线和/或无线地通信。所述来源设备11可包括来源模块111、编码器模块112和第一接口113。所述目的地设备12可包括显示模块121、解码器模块122和第二接口123。在至少一个实施方式中，所述来源设备11可为视频编码器，并且所述目的地设备12可为视频解码器。
在至少一个实施方式中，所述来源设备11和/或所述目的地设备12可为移动电话、平板电脑、台式计算机、笔记本计算机或其他电子设备。图1仅绘示所述来源设备11和所述目的地设备12的一个示例，并且在其他实施方式中的所述来源设备11和所述目的地设备12可以包括比所绘示的更多或更少的组件，或者具有各种组件的不同配置。
在至少一个实施方式中，所述来源设备11的所述来源模块111可以包括用于撷取新视频的视讯撷取设备、存储先前撷取的视频的视频存档和/或从视频内容提供商接收视频的视频馈送接口。在至少一种实施方式中，所述来源设备11的所述来源模块111可以生成基于计算机图形的数据作为来源视频，或者是实时视频，存档视频和计算机生成的视频的组合。在至少一个实施方式中，视讯撷取设备可以是电荷耦合器件(Charge-CoupledDevice，CCD)图像传感器、互补金属氧化物半导体(Complementary Metal–Oxide–Semiconductor，CMOS)图像传感器或照相机。
在至少一种实施方式中，所述编码器模块112和所述解码器模块122可各自被实现为多种合适的编码器/解码器电路中的任何一种，例如一个或多个微处理器、中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphic Processing Unit，GPU)、系统单芯片(System On Chip，SoC)、数字信号处理器(Digital Signal Processors，DSPs)、专用集成电路(Applications Specific Integrated Circuits，ASICs)、现场可编程门阵列(Field Programmable Gate Arrays，FPGAs)、离散逻辑、软件、硬件、固件或其任意组合。当技术部分地以软件实施时，设备可将用于软件的指令存储在合适的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本揭露的技术。在至少一个实施方式中，所述编码器模块112和所述解码器模块122中的每一个可以被包括在一个或多个编码器或解码器中，它们中的任何一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。
在至少一个实施方式中，所述第一接口113和所述第二接口123可以采用定制协议或遵循现有标准或事实标准。现有标准或事实标准包括但不限于以太网、IEEE 802.11或IEEE 802.15系列、无线USB或电信标准。电信标准包括但不限于GSM、CDMA2000、TD-SCDMA、WiMAX、3GPP-LTE或TD-LTE。在至少一个实施方式中，所述第一接口113和所述第二接口123的每个可以包括被配置为向所述通信介质13发送和/或存储兼容的视频比特流并且从所述通信介质13接收兼容的视频比特流的任何设备。在至少一个实施方式中，所述第一接口113和所述第二接口123可以包括计算机系统接口，该计算机系统接口可以使兼容的视频比特流能够被存储在存储设备上或从存储设备接收。例如，所述第一接口113和所述第二接口123可以包括支持外部组件互连(Peripheral Component Interconnect，PCI)和外部组件互连快速(Peripheral Component Interconnect Express，PCIe)总线协议、专有总线协议、通用串行总线(Universal Serial Bus，USB)协议、I2C或用于互连对等设备的其他逻辑和物理结构的一芯片组。
在至少一个实施方式中，尽管在其他实施方式中可以使用其他显示技术，所述显示模块121可以包括使用液晶显示器(Liquid Crystal Display，LCD)技术、等离子显示技术、有机发光二极管(Organic Light Emitting Diode，OLED)显示技术或发光聚合物显示(Light Emitting Polymer Display，LPD)技术的显示器。。在至少一个实施方式中，所述显示模块121可以包括高清晰度显示器或超高清晰度显示器。
图2是解码器模块222的方框图，所述解码器模块222表示图1的系统中的所述目的地设备12的所述解码器模块122的示例性实施方式。在至少一个实施方式中，所述解码器模块222包括熵解码单元2221、预测处理单元2222、逆量化/逆变换单元2223、第一加法器2224、滤波单元2225和解码图片缓冲器2226。在至少一种实施方式中，所述解码器模块222的所述预测处理单元2222还包括帧内预测单元22221和帧间预测单元22222。在至少一种实施方式中，所述解码器模块222接收比特流，并对比特流进行解码，输出解码的视频。
在至少一个实施方式中，所述熵解码单元2221可以从图1中的所述第二接口123接收包括多个语法元素的比特流，并对比特流执行解析操作以从比特流中提取语法元素。所述熵解码单元2221可以对比特流进行熵解码以生成量化的变换系数、量化参数、变换数据、运动向量、帧内模式、分割信息和其他语法信息，作为执行解析操作的一部分。在至少一个实施方式中，所述熵解码单元2221可以执行上下文自适应可变长度编码(ContextAdaptive Variable Length Coding，CAVLC)、上下文自适应二元算术编码(ContextAdaptive Binary Arithmetic Coding，CABAC)、基于语法的上下文自适应二进制算术编码(Syntax-based Context-Adaptive Binary Arithmetic Coding，SBAC)、概率区间划分熵(Probability Interval Partitioning Entropy，PIPE)编码或另一种熵编码技术来生成量化的变换系数。在至少一个实施方式中，所述熵解码单元2221将量化的变换系数、量化参数和变换数据提供给所述逆量化/逆变换单元2223，并提供运动向量、帧内模式、分割信息和其他语法信息发送给所述预测处理单元2222。
在至少一个实施方式中，所述预测处理单元2222可以从所述熵解码单元2221接收语法元素，诸如运动向量、帧内模式、分割信息和其他语法信息。在至少一个实施方式中，所述预测处理单元2222可以接收包括分割信息的语法元素，然后根据分割信息划分多个图像帧。在至少一个实施方式中，可以根据分割信息将每个图像帧划分为至少一个图像块。至少一个图像块可以包括用于重建多个亮度样本的亮度块以及用于重建多个色度样本的至少一个色度块。亮度块和至少一个色度块可以被进一步划分以生成宏块、编码树单元(CodingTree Units，CTU)、编码块(coding blocks，CB)、其子分割和/或另一等效编码单元。
在至少一个实施方式中，在解码处理期间，所述预测处理单元2222接收预测数据，所述预测数据包括针对所述多个图像帧中特定的一个的当前图像块的帧内模式或运动向量。当前图像块可以是所述特定图像帧中的所述亮度块和所述至少一色度块中的一个。
在至少一个实施方式中，所述帧内预测单元22221可以基于与帧内模式相关的语法元素，对与当前块单元相同的帧中的一个或多个相邻块执行当前块单元的帧内预测编码，以生成预测块。在至少一个实施方式中，帧内模式可以指定从当前帧内的相邻块中选择的参考样本的位置。
在至少一个实施方式中，当通过所述预测处理单元2222重建当前块的亮度分量时，所述帧内预测单元22221可基于当前块单元的多个亮度分量来重建当前块单元的多个色度分量。
在至少一个实施方式中，所述帧间预测单元22222可以基于与运动向量有关的语法元素，相对于一个或多个参考图像块中的一个或多个块，对当前块单元执行帧间预测编码，以生成预测块。在至少一个实施方式中，运动向量可以指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。参考块单位是被确定为与当前块单位紧密匹配的块。在至少一个实施方式中，所述帧间预测单元22222接收存储在所述解码图片缓冲器2226中的参考图像块，并基于接收到的参考图像块来重建当前块单元。
在至少一个实施方式中，所述逆量化/逆变换单元2223可以使用逆量化和逆变换以重建像素域中的残值块。在至少一个实施方式中，所述逆量化/逆变换单元2223可以将逆量化使用于残值量化变换系数以生成残值变换系数，然后将逆变换使用于残值变换系数以生成像素域中的残值块。在至少一个实施方式中，逆变换可以对变换过程进行逆向使用，例如离散余弦变换(Discrete Cosine Transform，DCT)、离散正弦变换(Discrete SineTransform，DST)、自适应多重变换(Adaptive Multiple Transform，AMT)、模式相关的不可分二次变换(Mode-Dependent Non-Separable Secondary Transform，MDNSST)、立方体吉文斯变换(Hypercube-Givens Transform，HyGT)F信号依赖变换、Karhunen-Loéve变换(Karhunen-Loéve Transform，KLT)、小波变换、整数变换、子带变换或概念上类似的变换。在至少一个实施方式中，逆变换可以将残值信息从诸如频域的变换域转换回像素域。在至少一种实施方式中，可以通过调整量化参数来修改逆量化的程度。
在至少一个实施方式中，所述第一加法器2224将重建的残值块添加到从所述预测处理单元2222提供的预测块中，以产生重建块。
在至少一个实施方式中，所述滤波单元2225可以包括去块滤波器、采样自适应偏移(Sample Adaptive Offset，SAO)滤波器、双边滤波器和/或自适应环路滤波器(AdaptiveLoop Filter，ALF)，以从重建块去除块状伪像。除了去块滤波器、SAO滤波器、双边滤波器和ALF之外，还可以使用其他滤波器(环路内或环路后)。为了简洁起见，未示出此类滤波器，但是如果需要，则可以对所述第一加法器2224的输出进行滤波。在至少一个实施方式中，所述滤波单元2225可以在对特定图像帧的重建块执行滤波处理之后，所述滤波单元2225将解码的视频输出至所述显示模块121或其他视频接收单元。
在至少一个实施方式中，所述解码图片缓冲器2226可以是参考图片存储器，其存储例如在帧间编码模式下用于由所述预测处理单元2222对比特流进行解码的参考块。所述解码图片缓冲器2226可以由多种存储设备中的任何一种形成，例如动态随机存取存储器(Dynamic Random Access Memory，DRAM)，包括同步DRAM(Synchronous DRAM，SDRAM)、磁阻RAM(Magneto-resistive RAM，MRAM)、电阻RAM(Resistive RAM，RRAM)或其他类型的存储设备。在至少一个实施方式中，所述解码图片缓冲器2226可以与所述解码器模块222的其他组件一起在芯片上，或者相对于那些组件在芯片外。
图3示出了根据用于帧内预测的模式列表调整的第一示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图3的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框31，所述解码器模块222从视频数据确定图像帧中的块单位，并确定与所述块单位相邻的多个相邻块。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定具有块大小的块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。
在至少一个实施方式中，所述目的地设备12的所述预测处理单元2222确定与块单元相邻的相邻块。在至少一个实施方式中，相邻块可在重建块单元之前被重建，因此，相邻块可以包括用于重建块单元的多个参考样本。在至少一个实施方式中，块单元可在重建一些相邻块之前被重建，因此未重建的相邻块可以不包括该块单元的参考样本。图4是具有块单元411的图像帧41的一个示例性实施方式的示意图。所述预测处理单元2222可以接收与块单元411相邻的参考样本412。参考样本412包括位于块单元411上方的多个第一参考样本4121与位于块单元411左侧第的二参考样本4122。
返回参考图3，在框32，所述帧内预测单元22221确定具有多个第一候选模式的第一模式列表和具有多个第二候选模式的第二模式列表。
在至少一个实施方式中，第一候选模式和第二候选模式是从多个帧内模式中选择的。在一个实施方式中，第一候选模式中的至少一个可以与第二候选模式中的至少一个相同。在另一实施方式中，每个第一候选模式可以不同于第二候选模式。
表1示意性地示出了将索引分配给各自具有帧内预测角度的帧内模式的示例性实施方式，在所述实施方式中，第一候选模式和第二候选模式中的每一个可以对应于表1中的平面模式、DC模式和多个帧内模式2-66的其中一个。
表1
帧内模式
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
帧内预测角度
32
29
26
23
21
19
17
15
13
11
9
7
5
3
2
1
帧内模式
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
帧内预测角度
0
-1
-2
-3
-5
-7
-9
-11
-13
-15
-17
-19
-21
-23
-26
-29
帧内模式
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
帧内预测角度
-32
-29
-26
-23
-21
-19
-17
-15
-13
-11
-9
-7
-5
-3
-2
-1
帧内模式
50
51
52
53
54
55
56
57
58
69
60
61
62
63
64
65
66
帧内预测角度
0
1
2
3
5
7
9
11
13
15
17
19
21
23
26
29
32
表2示意性地示出了将索引分配给各自具有帧内预测角度的帧内模式的示例性实施方式，在所述实施方式中，第一候选模式和第二候选模式中的每一个可以对应于表2中的平面模式、DC模式和多个帧内模式2-70的其中一个。
表2
在至少一个实施方式中，所述帧内预测单元22221可以基于表1中的第一示例、表2中的第二示例以及其他预定义的预测模式列表来选择第一候选模式和第二候选模式。例如，所述帧内预测单元22221可以将表2中的平面模式、DC模式和所有帧内模式2-66选择为第一候选模式，并且将表2中的平面模式、DC模式和所有帧内模式2、4和6-70选择为第二个候选模式。
在框33，所述帧内预测单元22221选择所述第一模式列表和所述第二模式列表中的一个。
在至少一个实施方式中，所述熵解码单元2221可以解码比特流以确定用于块单元的列表标志，然后所述解码器模块222可以进一步基于列表标志来重构块单元。在至少一个实施方式中，所述帧内预测单元22221可以基于列表标志从第一模式列表和第二模式列表生成所选的模式列表。
在至少一个实施方式中，所述帧内预测单元22221可在没有列表标志的情况下直接确定第一模式列表和第二模式列表中的哪一个被选用于块单元411。在一个实施方式中，所述帧内预测单元22221可以确定相邻块是否包括用于确定如何选择第一模式列表和第二模式列表中的一个的参考样本。在另一实施方式中，所述帧内预测单元22221可基于块单元411的块大小来确定如何选择第一模式列表和第二模式列表中的一个。
在框34，所述帧内预测单元22221从所选模式列表中选择预测模式。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的定向标志。在一个实施方式中，所述帧内预测单元22221可以基于定向标志从所选的模式列表中选择预测模式。在一个实施方式中，当所选的模式列表是第一模式列表时，所述帧内预测单元22221可以基于定向标记从第一模式列表中选择第一候选模式中的一个。然后，所述帧内预测单元22221可以将所选的第一候选模式设置为预测模式。在另一实施方式中，当所选的模式列表是第二模式列表时，所述帧内预测单元22221可以基于定向标记从第二模式列表中选择第二候选模式中的一个。然后，所述帧内预测单元22221可以将所选的第二候选模式设置为预测模式。
在框35，所述解码器模块222基于所述多个相邻块和所述预测模式，在所述块单位中生成多个重建分量。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。在至少一个实施方式中，所述帧内预测单元22221可以沿着针对块单元导出的预测模式，基于从相邻块确定的参考样本，沿着针对块单元导出的预测模式，确定针对每个块组件的预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的解码器模块222的第一加法器2224可以将基于预测模式得出的预测子添加到从比特流确定的多个残值样本中，以重建块单元。另外，所述解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图5示出了根据用于帧内预测的模式列表调整的第二示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图5的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框51，所述解码器模块222从视频数据确定图像帧中的块单位。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定具有块大小的块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。
在至少一个实施方式中，所述目的地设备12的所述预测处理单元2222确定与块单元相邻的相邻块。在至少一个实施方式中，相邻块可在重建块单元之前被重建，因此，相邻块可以包括用于重建块单元的多个参考样本。在至少一个实施方式中，块单元可在重建一些相邻块之前被重建，因此未重建的相邻块可以不包括该块单元的参考样本。
在框52，所述帧内预测单元22221确定包括分离到第一模式组和第二模式组的多个候选模式的模式列表。
在至少一个实施方式中，模式列表中的候选模式可被预定义在所述目的地设备12和所述来源设备11中。例如，候选模式可以预定义为平面模式、DC模式和/或多个方向模式。
在至少一个实施方式中，所述帧内预测单元22221可以将候选模式划分到第一模式组和第二模式组。在所述实施方式中，第一模式组中的候选模式可以是从模式列表中选择的多个预设模式，第二模式组中的候选模式可以是从模式列表中选择的多个添加模式，以替换所述预设模式中的至少一个。在至少一个实施方式中，第一模式组中的预设模式可以包括平面模式、DC模式和多个第一方向模式，并且第二模式组中的添加模式可以包括多个第二方向模式。在所述实施方式中，可以选择第二方向模式以替换第一方向模式中的至少一个。在所述实施方式中，由于候选模式被分离到第一模式组和第二模式组，因此第二模式组中的每个添加模式均不同于第一模式组中的预设模式。
在至少一个实施方式中，每个候选模式具有预测索引。在一个实施方式中，当所述解码器模块222以高效视频编码(High Efficiency Video Coding，HEVC)对比特流进行解码时，第一模式组中的预设模式的预测索引可以等于0至34。在所述实施方式中，平面模式和DC模式的预测索引可以等于0和1，并且第一方向模式的预测索引可以等于2至33。在所述实施方式中，第二模式组中的添加模式的预测索引可以大于33或小于0。在一个实施方式中，当所述解码器模块222以通用视频编码(Versatile Video Coding，VVC)测试模型(VVCtest model，VTM)对比特流进行解码时，第一模式组中的预设模式的预测索引可以等于0至66。在所述实施方式中，平面模式和DC模式的预测索引可以等于0和1，预设模式的预测索引可以等于2至66。在所述实施方式中，第二模式组中的添加模式的预测索引可以大于66或小于0。
表3示意性地示出了将索引分配给各自具有帧内预测角度的帧内模式的示例性实施方式，在所述实施方式中，第一候选模式和第二候选模式中的每一个可以对应于表3中的平面模式、DC模式和多个帧内模式2-130的其中一个。
表3
表4示意性地示出了将索引分配给各自具有帧内预测角度的帧内模式的示例性实施方式，在所述实施方式中，第一候选模式和第二候选模式中的每一个可以对应于表2中的平面模式、DC模式和多个帧内模式-14--1和2-80的其中一个。
表4
在至少一个实施方式中，所述帧内预测单元22221可以基于表3中的第三示例，表4中的第四示例以及其他预定义的预测模式列表来选择第一候选模式和第二候选模式。例如，模式列表中的候选模式可以包括表4中的具有平面模式、DC模式和帧内模式2-66的第一模式组，以及表4中的具有帧内模式-14--1和67-80的第二模式组。在所述实施方式中，第一模式组中的平面模式、DC模式和帧内模式2-66是预设模式，第二模式组中的帧内模式-14--1和67-80是添加模式。
在框53，所述帧内预测单元22221确定所述第一模式组中的所述多个候选模式中特定的一个是否被所述第二模式组的所述多个候选模式中之一个替代。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定块单元的替换标志和定向索引，然后所述解码器模块222可以进一步基于替换标志和定向索引来重建块单元。在至少一个实施方式中，所述帧内预测单元22221可以基于定向索引来确定第一模式组中的特定候选模式，并且基于替换标志来确定第一模式组中的特定候选模式是否被替换为第二模式组中的候选模式之一。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码，以确定块单元的定向索引，以确定第一模式组中的特定候选模式。在所述个实施方式中，比特流中可能没有用于第一模式组中的特定候选模式的替换标志。在所实施方式中，所述帧内预测单元22221可以在没有替换标志的情况下直接确定第一模式组中的特定候选模式是否被第二模式组中的候选模式之一替换。在一个实施方式中，所述帧内预测单元22221可以确定相邻块是否包括参考样本，以确定是否用第二模式组中的候选模式中的至少一个替换第一组中的候选模式中的至少一个。在一个实施方式中，第一模式组中的所有候选模式没有被第二模式组中的候选模式替代，因此所述帧内预测单元22221可以确定第一模式组中的特定候选模式没有被第二模式组中的候选模式替代。在另一实施方式中，所述帧内预测单元22221可以根据相邻块与参考样本之间的关系来确定第一模式组中的至少一个候选模式被第二模式组中的至少一个候选模式代替。然后，所述帧内预测单元22221进一步确定第一模式候选中的哪个候选模式被选择并且被第二模式组中的候选模式的至少一个所替代。在一个实施方式中，如果第一模式组中的特定候选模式被选择来被替代，则所述帧内预测单元22221确定第一模式组中的特定候选模式被第二模式组中的至少一个候选模式中的一个替代。在另一实施方式中，如果第一模式组中的特定候选模式未被选择，则所述帧内预测单元22221确定第一模式组中的特定候选模式未被第二模式组中的候选模式替代。
至少一个实施方式中，所述帧内预测单元22221可基于块单元411的块大小来确定是否用第二模式组中的候选模式中的至少一个替换第一组中的候选模式中的至少一个。当块宽度等于块高度时，所述帧内预测单元22221可以确定第一组中的至少一个候选模式未被第二模式组中的至少一个候选模式代替。当块宽度与块高度不同时，所述帧内预测单元22221可以确定第一组中的至少一个候选模式被第二模式组中的至少一个候选模式代替。然后，所述帧内预测单元22221进一步确定第一模式候选中的哪个候选模式被选择并且被第二模式组中的候选模式中的至少一个替代，以检查第一模式组中的特定候选模式是否被选择。
在框54，所述帧内预测单元22221将所述第一模式组中的所述特定候选模式确定为预测模式。
在至少一个实施方式中，所述帧内预测单元22221可以基于定向索引将第一模式组中的特定候选模式直接设置为预测模式。
在框55，所述帧内预测单元22221确定所述第二模式组中的所述多个候选模式的哪一个被选为所述预测模式，以替代所述第一模式组中的所述特定候选模式。
在至少一个实施方式中，所述帧内预测单元22221确定第一模式组中的候选模式中的至少一个被第二模式组中的候选模式中的至少一个替代。在所述实施方式中，第一模式组中的所述至少一个候选模式的数量等于第二模式组中的所述至少一个候选模式的数量。另外，第一模式组中的所述至少一个候选模式中的每个对应于第二模式组中的所述至少一个候选模式中的一个。因此，所述帧内预测单元22221还确定第二模式组中的所述至少一个候选模式中的候选模式中的哪一个对应于第一模式组中的所述特定候选模式。然后，所述帧内预测单元22221将与第一模式组中的所述特定候选模式相对应的第二模式组中的所确定的候选模式设置为预测模式。
在框56，所述解码器模块222基于所述预测模式在所述块单位中生成多个预测子。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。在至少一个实施方式中，所述帧内预测单元22221可以沿着针对块单元导出的预测模式，基于从相邻块确定的参考样本，沿着针对块单元导出的预测模式，确定针对每个块组件的预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的解码器模块222的第一加法器2224可以将基于预测模式得出的预测子添加到从比特流确定的多个残值样本中，以重建块单元。另外，所述解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图6A示出了根据用于帧内预测的模式列表调整的第三示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图6A的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。在一个实施方式中，图6A可以是图3中的框33的详细示例性实施方式。
在框6331，所述帧内预测单元22221确定所述块单元的多个样本位置和多个参考样本。
在至少一个实施方式中，图像帧包括具有第一块单元，第二块单元，第三块单元和第四块单元的多个块单元。图7A是第一块单元711、第二块单元712、第三块单元713和第四块单元714以及第一块单元711的参考样本731、733和734的一个示例性实施方式的示意图。在所述实施方式中，第一块单元711还包括第一子块单元7111和第二子块单元7112。在一个实施方式中，当所述解码器模块222重建第二子块单元7112时，所述帧内预测单元22221可以确定用于第二子块单元7112的第一样本位置721、第二样本位置722、第三样本位置723和第四样本位置724。在所述实施方式中，第一样本位置721可以是上方位置，第二样本位置722可以是右上方位置，第三样本位置723可以是左方位置，第四样本位置724可以是左下方位置。在至少一个实施方式中，第一子块单元7111可以在重建第二子块单元7112之前被重建，因此第一样本位置721可以包括用于重建块单元的第一参考样本731。在至少一个实施方式中，第二子块单元7112可以在重建第二块单元712之前被重建，因此在第二样本位置722处不存在用于重建第二子块单元7112的参考样本。在一个实施方式中，当块单元711-714的左侧中存在先前解码的块时，第三样本位置723可以包括第二参考样本733。另外，第四样本位置724可以包括第三参考样本734。
图7B是子块单元7632和参考样本782的一种示例性实施方式的示意图。在至少一个实施方式中，图像帧76包括第五块单元761、第六块单元762和第七块单元763，而第七块单元763还包括第三子块单元7631和第四子块单元7632。当所述解码器模块222重建第四子块单元7632时，所述帧内预测单元22221可以确定用于第四子块单元7632的第五样本位置771、第六样本位置772、第七样本位置773和第八样本位置774。在所述实施方式中，第五样本位置771可以是上方位置，第六样本位置772可以是右上方位置，第七样本位置773可以是左方位置，第八样本位置774可以是左下方位置。在所述实施方式中，由于在第四子块单元7632上方没有块单元，因此在第五样本位置771和第六样本位置772处没有参考样本。在所述实施方式中，第三子块单元7631可以在重建第四子块单元7632之前被重建，因此第七样本位置773可以包括用于重建块单元的第四参考样本783。在至少一个实施方式中，第四子块单元7632可以在重建位于块单元763下方的另一个块单元之前被重建，因此在第八样本位置774处不存在用于重建第二子块单元7112的参考样本。
在框6332，所述帧内预测单元22221基于所述多个参考样本与所述多个样本位置之间的关系来确定所选的候选列表。
在至少一个实施方式中，在所述来源设备11和所述目的地设备12中可以预定义一个以上的候选列表。此外，用于确定如何选择候选列表中的一个的预定义选择规则还可以预定义在所述来源设备11和所述目的地设备12中。例如，预定义候选列表可以包括第一候选列表、第二候选列表、第三候选列表和第四候选列表。在所述实施方式中，第一至第四候选列表中的每个彼此不同。在所述实施方式中，候选列表中的一个的一些候选模式可以与其他候选列表中的候选模式相同。在一个实施方式中，当在针对块单元的第一至第四样本位置中的每个样本位置处存在参考样本时，可以选择第一候选列表。在另一实施方式中，当在针对块单元的第一至第三样本位置处存在参考样本时，可以选择第二候选列表。换句话说，在左下方位置没有参考样本。另外，当在右上方位置没有参考样本时，可以选择第三候选列表。在其他实施方式中，当在针对块单元的第一样本位置和第三至第四样本位置处存在参考样本时，可以选择第四候选列表。换句话说，在右上方位置没有参考样本。例如，所述帧内预测单元22221可确定在第二样本位置722处不存在参考样本。因此，所述帧内预测单元22221可基于预定义选择规则来选择第三候选列表以重建第二子块单元7112。
图6B示出了根据用于帧内预测的模式列表调整的第四示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图6B的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。在一个实施方式中，图6B可以是图5中的框53的详细示例性实施方式。
在框6531，所述帧内预测单元22221确定所述块单元的多个样本位置和多个参考样本。
在至少一个实施方式中，当所述解码器模块222重建块单元时，所述帧内预测单元22221可以确定用于块单元的第一样本位置、第二样本位置、第三样本位置和第四样本位置。在所述实施方式中，第一样本位置可以是上方位置，第二样本位置可以是右上方位置，第三样本位置可以是左方位置，第四样本位置可以是左下方位置。在一个实施方式中，覆盖第一样本位置的第一相邻块可以在重建块单元之前被重建因此，第一样本位置可以包括基于第一相邻块生成的用于块单元的多个第一参考样本。在另一实施方式中，块单元可以在重建覆盖第二样本位置的第二相邻块之前被重建，因此在第二样本位置处不存在用于重建块单元的参考样本。在另一实施方式中，当在块单元的左侧没有块单元时，在第三样本位置和第四样本位置没有参考样本。
在框6532，所述帧内预测单元22221基于所述多个参考样本与所述多个样本位置之间的关系来确定是否替换了所述第一模式组中的所述多个候选模式中的至少一个。
在至少一个实施方式中，模式列表中的候选模式可以预定义在所述目的地设备12和所述来源设备11中，并且可以分离到第一模式组和第二模式组。在所述实施方式中，在所述来源设备11中预定义的第一模式组中的候选模式与在所述目的地设备12中预定义的第一模式组中的候选模式相同。在所述实施方式中，在所述来源设备11中预定义的第二模式组中的候选模式与在所述目的地设备12中预定义的第二模式组中的候选模式相同。在所述实施方式中，第一模式组中的候选模式可以是从模式列表中选择的多个预设模式，第二模式组中的候选模式可以是从模式列表中选来用于替换预设模式中的至少一个的多个添加模式。在至少一个实施方式中，第一模式组中的预设模式可以包括平面模式、DC模式和多个第一方向模式，并且第二模式组中的添加模式可以包括多个第二方向模式。在所述实施方式中，第二方向模式中的至少一个可以被选择以替代第一方向模式中的至少一个。在所述实施方式中，第二模式组中的每个候选模式均不同于第一模式组中的候选模式。
在至少一个实施方式中，用于确定是否替换预设模式中的至少一个的预定义替换规则可以在所述来源设备11和所述目的地设备12中预定义。在一个实施方式中，当针对块单元的第一至第四样本位置中的每个样本位置处存在参考样本时，每个预设模式可以保持不变。因此，可以通过预设模式中的一个来预测块单位。在另一实施方式中，当针对块单元的第一至第四样本位置中的一个处没有参考样本时，至少一个预设模式可以被添加的模式中的至少一个替换。
在至少一个实施方式中，当所述帧内预测单元22221确定在左下方位置和右上方位置处存在重建样本时，第一模式组中的预设模式可以保持不变。在所述实施方式中，当所述帧内预测单元22221确定在左下方位置处存在重建样本且在右上方位置没有重建的样本时，所述帧内预测单元22221将具有朝向右上方位置的定向的预设模式中的至少一个替换为所添加模式中的至少一个。在所述实施方式中，可以从第二模式组中的多个最外侧候选模式中选择添加的模式中的至少一个，诸如指向左下方位置的候选模式。在所述实施方式中，当所述帧内预测单元22221确定在右上方位置处存在重建样本且在左下方位置没有重建样本时，所述帧内预测单元22221将具有朝向左下方位置的定向的预设模式中的至少一个替换为所添加模式中的至少一个。在所述实施方式中，可以从最外侧候选模式中选择添加模式中的至少一个，诸如指向右上方位置的候选模式。在所述实施方式中，当所述帧内预测单元22221确定在右上方位置和左下方位置不存在重建样本时，第一模式组中的预设模式可以保持不变。
在至少一个实施方式中，当所述帧内预测单元22221确定在左下方位置和右上方位置没有重建样本时，所述帧内预测单元22221可以将具有朝向右上方位置和左下方位置的定向的预设模式中的至少一个替换为添加模式中的至少一个。在所述实施方式中，可以基于成本函数选择添加模式中的至少一个。在所述实施方式中，成本函数可以是绝对差之和(Sum of Absolute Differences，AD)。在至少一个实现方式中，当所述帧内预测单元22221确定在四个样本位置的每一个样本位置处存在重建样本时，所述帧内预测单元22221可以用添加模式中的至少一个替换预设模式中的至少一个。在所述实施方式中，可以基于成本函数选择添加模式中的至少一个和预设模式中的至少一个。
在至少一个实施方式中，所述帧内预测单元22221可基于每个添加模式生成帧内预测子，并针对每个添加模式计算成本函数。然后，所述帧内预测单元22221可以选择具有最低成本结果的添加模式中的至少一个来替换预设模式中的至少一个。在至少一个实施方式中，参照图7A，所述帧内预测单元22221可确定四个样本位置721、722、723和724，并确定在样本位置721、723和724处存在的重建样本731、733和734。因此，所述帧内预测单元22221可以确定在右上方位置的第二样本位置722没有重建样本。在所述实施方式中，所述帧内预测单元22221可以在第二模式组中选择具有最低成本结果或指向左下方位置的候选模式中的至少一个。然后，所述帧内预测单元22221可以用所选的第二模式组中的至少一个候选模式来代替第一模式组中的至少一个候选模式。因此，所述帧内预测单元22221可将第一模式组中的候选模式中的至少一个与基于定向标志确定的第一模式组中的候选模式中的特定一个进行比较，以确定在第一模式组中特定候选模式是否被替换。
图8A示出了根据用于色度预测的多参考线预测的第一示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图8A的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框811，所述解码器模块222从视频数据中确定块单位以及所述块单位的预测模式。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定具有块大小的块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。在所述实施方式中，预测指示包括至少一个模式标志，该模式标志指示基于预测模式对块单元进行预测。
在至少一个实施方式中，所述帧内预测单元22221确定与块单元相邻的多个重建样本。图9是块单元900和分别具有多个重建样本的多条参考线910、911，912和913的一个示例性实施方式的示意图。在所述实施方式中，参考线的数量可以等于L，数量L可以是大于1的整数。在一个实施方式中，所述帧内预测单元22221根据预测模式来选择参考线中的至少一个，以基于参考线中的所选择的至少一个来重建块单元。
在至少一个实施方式中，预测模式是从多个候选模式中选择的。在至少一个实施方式中，候选模式可以包括多个直接模式(Direct Mode，DM)、多个最可能模式(MostProbable Mode，MPM)和多个线性模式(Linear Mode，LM)。在所述实施方式中，LM可以包括线性模型模式，多模型线性模式(Multiple-Model Linear Mode，MMLM)和多滤波器线性模式(Multiple-Filter Linear Mode，MFLM)。在一个实施方式中，当所述帧内预测单元确定预测模式是基于至少一个预测标志从多个LM中选择出来时，所述帧内预测单元22221可基于参考线910-913中的一个的重建样本来重建块单元900。在所述实施方式中，参考线中的一个可以被预定义为参考线中的第一条。例如，参考线中的预定义一个可以是图9中的第一参考线910。在一个实施方式中，当所述帧内预测单元22221确定预测模式是基于至少一个预测标志从多个DM和多个MPM中选择出来时，所述帧内预测单元22221可基于参考线中的至少一个中的重建样本来重建块单元。在所述实施方式中，参照图9，所述帧内预测单元22221所述帧内预测单元22221根据预测模式来选择参考线910-913中的至少一个，以基于参考线910-913中的所选择的至少一个来重建块单元900。
在框812，所述解码器模块222确定预测模式是否包括在第一模式组中。当预测模式包括在第一模式组中时，程序进行到框813。当预测模式与第一模式组中的候选模式不同时，程序直接进行到框814。
在至少一个实施方式中，所述来源设备11和所述目的地设备12可以将候选模式分离成多个模式组。在所述实施方式中，第一模式组可以包括多个第一候选模式，第二模式组可以包括多个第二候选模式。在一个实施方式中，当所述编码器模块112确定基于第一候选模式中的特定一个来预测块单元时，所述编码器模块112可以基于参考线中的至少一条的重建样本来预测块单元。另外，当所述解码器模块222确定基于所述特定的第一候选模式来重建块单元时，所述解码器模块222可以基于参考线中的至少一条的重建样本来重建块单元。在一个实施方式中，当所述编码器模块112确定基于第二候选模式中的特定一个来预测块单元时，所述编码器模块112可以基于参考线中的预定义的一个的重建样本来预测块单元。另外，当所述解码器模块222确定基于所述特定的第二候选模式来重建块单元时，所述解码器模块222可以基于参考线中的预定义的一个的重建样本来重建块单元。在一个实施方式中，第一候选模式可以是多个DM和多个MPM，第二候选模式可以是多个LM。
在至少一个实施方式中，当所述帧内预测单元22221确定预测模式属于具有多个DM和多个MPM的第一模式组时，所述帧内预测单元22221可以基于参考线中的至少一条中的重建样本来重建块单元。因此，所述解码器模块222需要进一步确定使用哪些参考线用来预测块单元。
在至少一个实施方式中，当所述帧内预测单元确定预测模式包括在具有多个LM的第二模式组中时，所述帧内预测单元22221可基于参考线中的预定义的一个的重建样本来预测块单元。因此，所述帧内预测单元22221可以直接选择参考线中的预定义的一个以重建块单元，而无需解码指示与参考线中的至少一个相对应的索引的线指示。
在框813，所述解码器模块222解码比特流以获得指示多个参考线中至少一个的线指示。
在至少一个实施方式中，当所述帧内预测单元22221确定预测模式属于第一模式组时，所述帧内预测单元22221可基于参考线中的至少一条中的重建样本来重建块单元。在一个实施方式中，所述解码器模块222对比特流进行解码以获得线指示。在所述实施方式中，线指示可以是线索引。在所述实施方式中，所述帧内预测单元22221可以基于线索引确定参考线中的所述至少一条。例如，当线索引等于零时，参考线中的所述至少一条的数量可以等于一。在一个实施方式中，当线索引等于零时，参考线中的所述至少一条可以是第一参考线。在另一个实施方式中，当线索引等于一时，参考线中的所述至少一条可以是第二参考线或第一参考线和第二参考线的组合。
在框814，所述解码器模块222在不解码所述线指示下，直接选择所述多个参考线中的一个。
在至少一个实施方式中，当所述帧内预测单元确定预测模式不同于在第一个模式组中的第一候选模式时，所述帧内预测单元22221可以基于参考线中的预定义的一个中的重建样本来重建块单元。在一个实施方式中，参考线中的预定义的一个可以是第一参考线。
在框815，所述解码器模块222基于所述预测模式和所述至少一个参考线，为所述块单位中生成多个预测子。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。在至少一个实施方式中，所述帧内预测单元22221可以根据针对块单元导出的预测模式，基于在所述至少一个参考线中的参考样本，沿着针对块单元导出的预测模式，确定针对每个块组件的预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的解码器模块222的第一加法器2224可以将基于预测模式得出的预测子添加到从比特流确定的多个残值样本中，以重建块单元。另外，所述解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图8B示出了根据用于色度预测的多参考线预测的第二示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图8B的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框821，所述解码器模块222从视频数据确定块单位，并确定用于重建所述块单位的指示多个参考线中的至少一个的线索引。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定具有块大小的块单元。
在至少一个实施方式中，所述帧内预测单元22221可确定参考线中的多个重建样本。在一个实施方式中，参考线的数量可以等于L，并且数量L可以是大于1的整数。在一个实施方式中，所述帧内预测单元22221可以选择参考线中的被指示的至少一条，以重建块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。在所述实施方式中，预测指示包括线索引，所述线索引指示参考线中的哪一条是参考线中被指示的至少一条。
在框822，所述解码器模块222确定所述线索引是否等于零。当线索引等于零时，程序进行到框823。当线索引不等于零时，程序进行到框824。
在至少一个实施方式中，预测指示可以包括指示块单元基于预测模式来预测的模式标记。在至少一个实施方式中，预测模式是从多个候选模式中选择的。在至少一个实施方式中，候选模式可以包括多个直接模式(Direct Mode，DM)、多个最可能模式(MostProbable Mode，MPM)和多个线性模式(Linear Mode，LM)。在所述实施方式中，LM可以包括线性模型模式，多模型线性模式(Multiple-Model Linear Mode，MMLM)和多滤波器线性模式(Multiple-Filter Linear Mode，MFLM)。
在至少一个实施方式中，所述来源设备11和所述目的地设备12可以将候选模式分离成多个模式组。在所述实施方式中，第一模式组可以包括多个第一候选模式，第二模式组可以包括多个第二候选模式。在一个实施方式中，第一候选模式可以是多个DM和多个MPM，第二候选模式可以是多个LM。
在一个实施方式中，当所述编码器模块112确定基于第一候选模式中的特定一个来预测块单元时，所述编码器模块112可以基于参考线中被指示的至少一条的重建样本来预测块单元。另外，当所述解码器模块222确定基于所述特定的第一候选模式来重建块单元时，所述解码器模块222可以基于参考线中被指示的至少一条的重建样本来重建块单元。在所述实施方式中，参照图9，所述帧内预测单元22221可基于指示参考线910-913中所选的至少一条的线索引来选择参考线910-913中的至少一条以重建块单元900。例如，当线索引等于零时，参考线910-913中被指示的至少一条可以是第一参考线910。在另一实施方式中，当线索引等于一个时，参考线被指示的至少一条可以是第二参考线911或第一参考线910和第二参考线911的组合。
在一个实施方式中，当所述编码器模块112确定基于第二候选模式中的特定一个来预测块单元时，所述编码器模块112可以基于参考线中的预定义的一个的重建样本来预测块单元。另外，当所述解码器模块222确定基于所述特定的第二候选模式来重建块单元时，所述解码器模块222可以基于参考线中的预定义的一个的重建样本来重建块单元。在一个实施方式中，参考线中的预定义一个可以是第一参考线，并且线索引被预定义为等于零。
在至少一个实施方式中，当线索引等于零时，预测模式可以从第一模式组和第二模式组中选择。因此，所述帧内预测单元22221需要进一步选择第一模式组和第二模式组中的一个以确定预测模式。在另一实施方式中，当线索引不等于零时，预测模式仅从第一模式组中选择。
在框813，所述解码器模块222解码比特流以获得用于选择预测模式的指示的第一模式组和第二模式组中的一个的组指示。
在至少一个实施方式中，当线索引等于零时，预测模式可以从第一模式组和第二模式组中选择。因此，当线索引等于零时，所述帧内预测单元22221需要组指示以选择第一模式组和第二模式组中的一个。当组指示指示从第一模式组中选择了预测模式时，所述帧内预测单元22221还可以基于第一模式标志从第一模式组中确定预测模式。当组指示指示从第二模式组中选择了预测模式时，所述帧内预测单元22221还可以基于第二模式标志从第二模式组中确定预测模式。在一个实施方式中，当第一模式组仅包括一个第一候选模式时，所述帧内预测单元222221可以将第一候选模式直接设置为预测模式而不解码第一模式标志。另外，当第二模式组仅包括一个第二候选模式时，所述帧内预测单元22221可以将第二候选模式直接设置为预测模式而不解码第二模式标志。
在框814，所述解码器模块222不解码指示下直接选择第一模式组，并从所述第一模式组选中择所述预测模式。
在至少一个实施方式中，当线索引不等于零时，预测模式可以仅从第一模式组中选择。因此，当线索引不等于零时，所述帧内预测单元22221不需要组指示。在一个实施方式中，所述帧内预测单元22221还可以基于第一模式标志从第一模式组中的第一候选模式中确定预测模式。在另一实施方式中，当第一模式组仅包括一个第一候选模式时，所述帧内预测单元222221可以直接将第一候选模式设置为预测模式而不解码第一模式标志。
在框815，所述解码器模块222基于所述预测模式和所述多个参考线中的所述至少一个，为所述块单位生成多个预测子。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。在至少一个实施方式中，所述帧内预测单元22221可以根据针对块单元导出的预测模式，基于在所述至少一个参考线中的参考样本，沿着针对块单元导出的预测模式，确定针对每个块组件的预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的解码器模块222的第一加法器2224可以将基于预测模式得出的预测子添加到从比特流确定的多个残值样本中，以重建块单元。另外，所述解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图10是表示图1的系统中的来源设备11的编码器模块1012的示例性实施方式的编码器模块1012的方框图。在至少一个实施方式中，编码器模块1012包括预测处理单元10121、第一加法器10122、变换/量化单元10123、逆量化/逆变换单元10124、第二加法器10125、滤波单元10126、解码图片缓冲器10127和熵编码单元10128。在至少一个实施方式中，所述编码器模块1012的所述预测处理单元10121还包括分割单元101211、帧内预测单元101212和帧间预测单元101213。在至少一个实施方式中，所述编码器模块1012接收来源视频，并对来源视频进行编码以输出比特流。
在至少一个实施方式中，所述编码器模块1012可以接收包括多个图像帧的来源视频，然后根据编码结构分割图像帧。在至少一个实施方式中，每个图像帧可以分割为至少一个图像块。至少一个图像块可以包括具有多个亮度样本的亮度块以及具有多个多个色度样本的至少一个色度块。亮度块和至少一个色度块可以被进一步分割以生成宏块、编码树单元(Coding Tree Units，CTU)、编码块(coding blocks，CB)、其子分割和/或另一等效编码单元。在至少一个实施方式中，编码器模块1012可以执行来源视频的另外的细分割。应当注意，无论在编码之前和/或编码期间如何分割来源视频，所述的揭露内容通常可应用于视频编码。
在至少一个实施方式中，在编码处理期间，所述预测处理单元10121接收所述多个图像帧中的特定一个的当前图像块。当前图像块可以是所述特定图像帧中的亮度块和至少一色度块中的一个。所述分割单元101211将当前图像块分割为多个块单元。所述帧内预测单元101212可以在与当前块单元相同的帧中相对于一个或多个相邻块执行当前块单元的帧内预测编码，以提供空间预测。所述帧间预测单元101213可以相对于一个或多个参考图像块中的一个或多个块执行当前块单元的帧间预测编码，以提供时间预测。
在至少一个实施方式中，所述预测处理单元10121可以基于诸如成本函数的模式选择方法来选择由所述帧内预测单元101212和所述帧间预测单元101213生成的多个编码结果中的一个。在至少一个实施方式中，模式选择方法可以是率失真优化(Rate-Distortion Optimization，RDO)过程。所述预测处理单元10121确定选择的编码结果，并且将与选择的编码结果相对应的预测块提供给所述第一加法器10122以生成残值块，并且提供给所述第二加法器10125以重建编码的块单元。在至少一个实施方式中，所述预测处理单元10121还可以将诸如运动向量、帧内模式指示符，分割信息和其他语法信息的语法元素提供给所述熵编码单元10128。
在至少一个实施方式中，所述帧内预测单元101212可以对当前块单元进行帧内预测。在至少一个实施方式中，所述帧内预测单元101212可以确定指向与当前块单元相邻的重建样本的帧内预测模式以对当前块单元进行编码。在至少一个实施方式中，所述帧内预测单元101212可以使用各种帧内预测模式对当前块单元进行编码，并且所述帧内预测单元101212或所述预测处理单元10121可以从测试模式中选择适当的帧内预测模式。在至少一个实施方式中，所述帧内预测单元101212可以使用交叉分量预测模式来对当前块单元进行编码，以基于当前块单元的亮度分量来预测当前块单元的两个色度分量中的一个。另外，所述帧内预测单元101212可以基于当前块单元的两个色度分量中的另一个来预测当前块单元的两个色度分量中的第一个。
在至少一个实施方式中，如上所述，所述帧间预测单元101213可以对当前块单元进行帧间预测，以作为由所述帧内预测单元101212执行的帧内预测的替代。所述帧间预测单元101213可以执行运动估计以估计当前块单元的运动以生成运动向量。运动向量可以指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。在至少一个实施方式中，所述帧间预测单元101213接收存储在所述解码图片缓冲器10127中的至少一个参考图像块，并基于接收到的参考图像块来估计运动以生成运动向量。
在至少一个实施方式中，所述第一加法器10122通过从原始当前块单元减去由所述预测处理单元10121确定的预测块来生成残值块。所述第一加法器10122代表执行该减法运算的一个或多个组件。
在至少一个实施方式中，所述变换/量化单元10123将变换应用于残值块以产生残值变换系数，然后对残值变换系数进行量化以进一步降低比特率。在至少一个实施方式中，所述变换可以是DCT、DST、AMT、MDNSST、HyGT、信号相关变换、KLT、小波变换、整数变换、子带变换或概念上类似的变换。在至少一个实施方式中，所述变换可以将残值信息从像素值域转换到变换域，例如频域。在至少一个实施方式中，可以通过调整量化参数来修改量化程度。在至少一个实施方式中，所述变换/量化单元10123可以对包括量化的变换系数的矩阵进行扫描。或者，所述熵编码单元10128可以执行扫描。
在至少一个实施方式中，所述熵编码单元10128可以从所述预测处理单元10121以及所述变换/量化单元10123接收包括量化参数、变换数据、运动向量、帧内模式、分割信息和其他语法信息的多个语法元素，并且将语法元素编码编码到比特流中。在至少一个实施方式中，所述熵编码单元10128对经量化的变换系数进行熵编码。在至少一个实施方式中，所述熵编码单元10128可以执行CAVLC、CABAC、SBAC、PIPE编码或另一熵编码技术以生成编码的比特流。在至少一个实施方式中，编码的比特流可以被发送到另一设备(例如，所述目的地设备12)或被存档以用于稍后的发送或索取。
在至少一个实施方式中，所述逆量化/逆变换单元10124可以应用逆量化和逆变换来重建像素域中的残余块，以供以后用作参考块。在至少一个实施方式中，所述第二加法器10125将重建的残余块添加到从所述预测处理单元10121提供的预测块中，以产生重建的块以存储在所述解码图片缓冲器10127中。
在至少一个实施方式中，所述滤波单元10126可以包括解块滤波器、SAO滤波器、双边滤波器和/或ALF，以从重建块去除块状伪像。除了解块滤波器、SAO滤波器、双边滤波器和ALF之外，还可以使用其他滤波器(环路内或环路后)。为了简洁起见，未示出此类滤波器，但是如果需要，可以对第二加法器10125的输出进行滤波。
在至少一个实施方式中，所述解码图片缓冲器10127可以是参考图片存储器，该参考图片存储器存储例如在帧内或帧间编码模式下用于由所述编码器模块1012对视频进行编码的参考块。所述解码图片缓冲器10127可以由多种存储设备中的任何一个形成，诸如包括SDRAM、MRAM、RRAM的DRAM，或其他类型的存储设备。在至少一个实施方式中，所述解码图片缓冲器10127可以与所述编码器模块1012的其他组件一起在芯片上，或者相对于那些组件在芯片外。
在至少一个实施方式中，所述编码器模块1012可以执行如图3所示用于帧内预测的模式列表调整方法。例如，图3的方法可以使用图1和图10所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。此外，图3中的框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框31，所述编码器模块1012从视频数据确定图像帧中的块单位，并确定与所述块单位相邻的多个相邻块。
在至少一个实施方式中，视频数据可以是视频。所述来源设备11可以通过所述来源模块111接收视频。所述编码器模块1012从视频确定图像帧，并且分割图像帧以确定块单位。
在至少一个实施方式中，所述来源设备11的所述预测处理单元10121经由所述分割单元101211从视频确定块单元，然后所述编码器模块1012基于所述分割单元101211的分割结果将多个分割指示提供给比特流。在至少一个实施方式中，所述预测处理单元10121确定与块单元相邻的相邻块。在至少一个实施方式中，相邻块可以在预测块单元之前对进行预测，因此相邻块可以包括用于预测块单元的多个参考样本。在至少一个实施方式中，块单元可以在预测一些相邻块之前对进行预测，因此，未预测的相邻块可不包括用于块单元的参考样本。
在框32，所述帧内预测单元101212确定具有多个第一候选模式的第一模式列表和具有多个第二候选模式的第二模式列表。
在至少一个实施方式中，第一候选模式和第二候选模式是从预定义在所述来源设备11和所述目的地设备12中的多个帧内模式中选择的。在一个实施方式中，第一候选模式中的至少一个可以与第二候选模式中的至少一个相同。在另一实施方式中，每个第一候选模式可以不同于第二候选模式。
在框33，所述帧内预测单元101212选择所述第一模式列表和所述第二模式列表中的一个。
在至少一个实施方式中，所述帧内预测单元101212可确定第一模式列表和第二模式列表中的哪一个被选用于块单元。在一个实施方式中，所述帧内预测单元101212可以确定相邻块是否包括用于确定如何选择第一模式列表和第二模式列表中的一个的参考样本。在另一实施方式中，所述帧内预测单元101212可基于块单元411的块大小来确定如何选择第一模式列表和第二模式列表中的一个。
在框34，所述帧内预测单元101212从所选模式列表中选择预测模式。
在至少一个实施方式中，所述预测处理单元10121可基于如成本函数的模式选择方法，由所述帧内预测单元101212根据第一模式列表和第二模式列表中所选的一个所生成的多个编码结果中选择一个。在至少一个实施方式中，模式选择方法可以是速率失真优化(Rate-Distortion Optimization，RDO)过程。当第一模式列表和第二模式列表中所选的一个是第一模式列表时，所述预测处理单元10121可以选择第一候选模式中的一个，并将所选的第一候选模式中的一个设置为预测模式。
在框35，所述帧内预测单元101212基于所述多个相邻块和所述预测模式，在所述块单位中生成多个重建分量。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。在至少一个实施方式中，所述帧内预测单元101212可以基于针对每个块组件的所选的编码结果来确定预测子。在所述实施方式中，所述编码器模块1012基于预测子预测块单元以生成多个残差样本，并提供包括与残差样本相对应的多个系数的比特流。另外，所述编码器模块1012可以基于系数返回残差样本，并且将返回的残差样本添加到预测子中以生成重建分量。
图11示出了根据用于帧内预测的模式列表调整的第五示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图10所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图11的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框1101，所述编码器模块1012从视频数据的图像帧确定块单位。
在至少一个实施方式中，视频数据可以是视频。所述来源设备11可以通过所述来源模块111接收视频。所述编码器模块1012从视频确定图像帧，并且分割图像帧以确定块单位。
在至少一个实施方式中，所述来源设备11的所述预测处理单元10121经由所述分割单元101211从视频确定块单元，然后所述编码器模块1012基于所述分割单元101211的分割结果将多个分割指示提供给比特流。
在至少一个实施方式中，所述目的地设备12的所述预测处理单元10121确定与块单元相邻的相邻块。在至少一个实施方式中，相邻块可以在预测块单元之前对进行预测，因此相邻块可以包括用于预测块单元的多个参考样本。在至少一个实施方式中，块单元可以在预测一些相邻块之前对进行预测，因此，未预测的相邻块可不包括用于块单元的参考样本。
在框1102，所述帧内预测单元101212确定包括分离到第一模式组和第二模式组中的多个候选模式的模式列表。
在至少一个实施方式中，模式列表中的候选模式可被预定义在所述目的地设备12和所述来源设备11中。例如，候选模式可以预定义为平面模式、DC模式和/或多个方向模式。在至少一个实施方式中，所述帧内预测单元101212可以将候选模式划分到第一模式组和第二模式组。在所述实施方式中，第一模式组中的候选模式可以是从模式列表中选择的多个预设模式，第二模式组中的候选模式可以是从模式列表中选择的多个添加模式，以替换所述预设模式中的至少一个。在至少一个实施方式中，第一模式组中的预设模式可以包括平面模式、DC模式和多个第一方向模式，并且第二模式组中的添加模式可以包括多个第二方向模式。在所述实施方式中，可以选择第二方向模式以替换第一方向模式中的至少一个。在所述实施方式中，第二模式组中的每个添加模式均不同于第一模式组中的预设模式。
在框1103，所述帧内预测单元101212确定所述第一模式组的所述多个候选模式中的至少一个是否被所述第二模式组的所述多个候选模式替代。
在一个实施方式中，所述帧内预测单元101212可确定相邻块是否包括参考样本，以确定是否用第二模式组中的候选模式的至少一个替换第一组中的候选模式的所述至少一个。在所述实施方式中，所述帧内预测单元101212可以根据相邻块与参考样本之间的关系，确定第一模式组中的候选模式的所述至少一个被第二模式组中的候选模式替代。在所述实施方式中，所述关系可以包括相邻块的位置和未预测块的位置，所述相邻块包括参考样本。
至少一个实施方式中，所述帧内预测单元101212可基于块单元的块大小来确定是否用第二模式组中的候选模式替换第一组中的候选模式中的至少一个。当块宽度等于块高度时，所述帧内预测单元101212可以确定第一组中的至少一个候选模式未被第二模式组中的候选模式代替。当块宽度与块高度不同时，所述帧内预测单元101212可以确定第一组中的至少一个候选模式被第二模式组中的候选模式代替。
在框1104，所述帧内预测单元101212将所述第一模式组中的所述多个候选模式中的一个确定为预测模式。
在至少一个实施方式中，所述预测处理单元10121可基于如成本函数的模式选择方法，由所述帧内预测单元101212根据第一模式组中的候选模式所生成的多个编码结果中选择一个。在至少一个实施方式中，模式选择方法可以是速率失真优化(Rate-DistortionOptimization，RDO)过程。在所述实施方式中，用于生成所选的一个编码结果的第一模式组中的候选模式的特定一个可以被所述帧内预测单元101212设置为预测模式。
在框1105，所述帧内预测单元101212从所述第一模式组中的多个剩余模式和所述第二模式组中的所述多个候选模式中的至少一个中确定预测模式。
在至少一个实施方式中，所述预测处理单元10121可基于如成本函数的模式选择方法，由所述帧内预测单元101212根据第一模式组中的剩余模式和第二模式组中的候选模式的至少一个所生成的多个编码结果中选择一个。在至少一个实施方式中，模式选择方法可以是速率失真优化(RDO)过程。在所述实施方式中，第一模式组中的候选模式的所述至少一个被第二模式组中的候选模式的所述至少一个所代替，并且第一模式组中的其他候选模式可以被视为剩余模式。在所述实施方式中，编码结果中的所选的一个是基于从第一模式组中的剩余模式和第二模式组中的候选模式中的至少一个中选择的预测模式所生成。
在框1106，所述编码器模块1012基于所述预测模式为所述块单位生成多个预测子。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。在至少一个实施方式中，所述帧内预测单元101212可以沿着用于块单元的预测模式的定向，基于用于每个块单元的相邻块来确定预测器中的一个。在所述实施方式中，所述编码器模块1012基于预测器预测块单元以生成多个残差样本，并提供包括与残差样本相对应的多个系数的比特流。
在至少一个实施方式中，所述编码器模块1012可以执行图6A和图6B所示的用于帧内预测的模式列表调整。例如，可以使用图1和图10所示的配置来执行图6A和图6B中的方法，并且在解释示例方法时参考了这些图的各种组件。另外，针对使用图1和图10所示的配置来执行图6A描述的方法的程序与结果实质上与针对使用图1和图2所示的配置来执行图6A描述的方法的程序与结果相同。针对使用图1和图10所示的配置来执行图6B描述的方法的程序与结果实质上与针对使用图1和图2所示的配置来执行图6B描述的方法的程序与结果相同。此外，图6A和图6B中的框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
图12A示出了根据用于色度预测的多参考线预测的第三示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图12A的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框1211，所述编码器模块1012从视频数据确定块单位和所述块单元的预测模式。
在至少一个实施方式中，视频数据可以是视频。所述来源设备11可以通过所述来源模块111接收视频。所述编码器模块1012从视频确定图像帧，并且分割图像帧以确定块单位。
在至少一个实施方式中，所述来源设备11的所述预测处理单元10121经由所述分割单元101211从视频确定块单元，然后所述编码器模块1012基于所述分割单元101211的分割结果将多个分割指示提供给比特流。
在至少一个实施方式中，所述预测处理单元10121可基于如成本函数的模式选择方法，由所述帧内预测单元101212根据多个候选模式所生成的多个编码结果中选择一个。在至少一个实施方式中，模式选择方法可以是速率失真优化(Rate-DistortionOptimization，RDO)过程。在所述实施方式中，所述预测处理单元10121将用于生成所选的编码结果的候选模式中的一个设置为预测模式。在至少一个实施方式中，候选模式可以包括多个直接模式(Direct Mode，DM)、多个最可能模式(Most Probable Mode，MPM)和多个线性模式(Linear Mode，LM)。在所述实施方式中，LM可以包括线性模型模式，多模型线性模式(Multiple-Model Linear Mode，MMLM)和多滤波器线性模式(Multiple-Filter LinearMode，MFLM)。在一个实施方式中，当预测模式从多个LM选出时，所述帧内预测单元101212可基于图9的参考线910-913中的一个的多个重建样本来预测块单元900。在所述实施方式中，参考线中的所述一个可以被预定义为参考线中的第一条。在另一实施方式中，当预测模式从多个DM和多个MPM中选出时，所述帧内预测单元101212可基于参考线中的至少一个的重建样本来预测块单元。
在框1212，所述预测处理单元10121确定所述预测模式是否包括在第一模式组中。当预测模式包括在第一模式组中时，程序进行到框813。当预测模式不包括在第一模式组中时，程序进行到框814。
在至少一个实施方式中，所述来源设备11和所述目的地设备12可以将候选模式分离成多个模式组。在所述实施方式中，第一模式组可以包括多个第一候选模式，第二模式组可以包括多个第二候选模式。在一个实施方式中，当所述预测处理单元10121确定基于第一候选模式中的特定一个来预测块单元时，所述预测处理单元10121可以基于参考线中的一或多条中的重建样本来预测块单元。因此，所述熵编码单元10128需要将指示如何为所述解码器模块122选择参考线中的所述至少一条的线指示进一步编码到比特流中。在一个实施方式中，当所述编码器模块1012确定基于第二候选模式中的特定一个来预测块单元时，所述编码器模块1012可以基于参考线中的预定义的一条的重建样本来预测块单元。因此，由于参考线的所述预定义的一个被预定义在所述目的地设备12中，所述熵编码单元10128可以不对线指示进行编码。在一个实施方式中，第一候选模式可以是多个DM和多个MPM，第二候选模式可以是多个LM。
在框1213，所述熵编码单元10128将指示所述多个参考线中的所述至少之一的线指示编码到比特流中。
在至少一个实施方式中，线指示可以是线索引。在一种实施方式中，线索引可以指示参考线中的所述至少一个的数量。例如，当线索引等于零时，至少一个参考线的数量可以等于一。在一个实施方式中，当参考线中的所述至少一个仅包括第一参考线时，线索引可以被设置为等于零。在一个实施方式中，当至少一条参考线仅包括第二参考线时，线索引可以被设置为等于一。在另一实施方式中，当至少一条参考线是第一参考线和第二参考线的组合时，线索引可以被设置为等于一。
在框1214，所述编码器模块1012确定不为了块单元添加所述线指示到所述比特流中。
在至少一个实施方式中，由于参考线的所述预定义的一个被预定义在所述目的地设备12中，所述熵编码单元10128可以不对线指示进行编码。
图12B示出了根据用于色度预测的多参考线预测的第四示例性实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图12B的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框1221，所述编码器模块1012从视频数据确定块单位，并确定基于预测模式用于预测块所述单位的多个参考线中的至少一个。
在至少一个实施方式中，视频数据可以是视频。所述来源设备11可以通过所述来源模块111接收视频。所述编码器模块1012从视频确定图像帧，并且分割图像帧以确定块单位。
在至少一个实施方式中，所述来源设备11的所述预测处理单元10121经由所述分割单元101211从视频确定块单元，然后所述编码器模块1012基于所述分割单元101211的分割结果将多个分割指示提供给比特流。
在至少一个实施方式中，所述帧内预测单元101212可以确定图9中的参考线910-913中的多个重建样本。在一个实施方式中，参考线的数量L可以是大于一的整数。
在至少一个实施方式中，所述预测处理单元10121可基于如成本函数的模式选择方法，由所述帧内预测单元101212根据多个候选模式所生成的多个编码结果中选择一个。在至少一个实施方式中，模式选择方法可以是速率失真优化(Rate-DistortionOptimization，RDO)过程。在所述实施方式中，所述预测处理单元10121将基于参考线中的所述至少一个生成所选的编码结果的候选模式中的一个设置为预测模式。
在框1212，所述预测处理单元10121确定所述多个参考线中的至少一个是否为所述多个参考线中的第一个。当所述多个参考线中的至少一个是所述多个参考线中的第一个时，程序进行到框1223。当所述多个参考线中的至少一个包括与第一参考线不同的其他参考线时，程序进行到框1224。
在至少一个实施方式中，预测模式是从多个候选模式中选择的。在至少一个实施方式中，候选模式可以包括多个直接模式(Direct Mode，DM)、多个最可能模式(MostProbable Mode，MPM)和多个线性模式(Linear Mode，LM)。在所述实施方式中，LM可以包括线性模型模式，多模型线性模式(Multiple-Model Linear Mode，MMLM)和多滤波器线性模式(Multiple-Filter Linear Mode，MFLM)。
在至少一个实施方式中，所述来源设备11和所述目的地设备12可以将候选模式分离成多个模式组。在所述实施方式中，第一模式组可以包括多个第一候选模式，第二模式组可以包括多个第二候选模式。在一个实施方式中，第一候选模式可以是多个DM和多个MPM，第二候选模式可以是多个LM。
在至少一个实施方式中，当所述预测处理单元10121确定以根据所述预测模式基于参考线中的所述预定义的一个中的重建样本预测块单元时，预测模式可以从第一候选模式和第二候选模式中选择。因此，所述熵编码单元10128需要进一步将指示第一模式组和第二模式组中的一个的模式指示编码到比特流中。在一个实施方式中，当所述预测处理单元10121确定参考线中的所述至少一个包括与参考线中的所述预定义的一个不同的一个参考线时，预测模式仅从第一候选模式中选择。因此，由于所述目的地设备12可以基于参考线的所述至少一个直接选择第一模式组，所述熵编码单元10128可以不对模式指示进行编码。
在框1223，所述编码单元10128将用于选择所述预测模式的指示所述第一模式组和所述第二模式组中的一个的模式指示编码到比特流中。
在至少一个实施方式中，模式指示可以是组索引。当组索引指示从第一模式组中选择了预测模式时，所述熵编码单元10128可以将第一模式标志进一步编码到比特流中，以供所述目的地设备12从第一候选模式中选择预测模式。当组索引指示从第二模式组中选择了预测模式时，所述熵编码单元10128可以将第二模式标志进一步编码到比特流中，以供所述目的地设备12从第二候选模式中选择预测模式。
在框1224，所述编码器模块1012确定不为了块单元添加所述模式指示到所述比特流中。
在至少一个实施方式中，由于所述目的地设备12可以基于参考线的所述至少一个直接选择第一模式组，所述熵编码单元10128可以不对模式指示进行编码。然后，所述熵编码单元10128可以将第一模式标志进一步编码到比特流中，以使所述目的地设备12从第一候选模式中选择预测模式。
惟以上所述者，显而易见的是，在不脱离那些概念的范围的情况下，可以使用各种技术来实施本申请中描述的概念。此外，在所述概念已经具体参考某些实施方式来描述下，本领域普通技术人员将认识到在不脱离那些概念的范围内可以在形式和细节上进行改变。这样，所描述的实施方式在所有方面都应被认为是说明性的而非限制性的。还应该理解，本申请不限于上述特定实施方式，而是在不脱离本揭露的范围的情况下，许多重新布置，修改和替换是可能的。