用于编码视频数据的装置和方法

文档序号:1866584 发布日期:2021-11-19 浏览:5次 >En<

阅读说明:本技术 用于编码视频数据的装置和方法 (Apparatus and method for encoding video data ) 是由 杨雨樵 林柏翰 于 2020-03-10 设计创作,主要内容包括:提供了一种由电子装置对比特流进行解码的方法。从比特流接收图像帧。从图像帧来确定块单元。基于比特流为块单元确定与多个广角候选模式之一相对应的帧内预测模式索引,每个广角候选模式均具有角度参数。确定与块单元相邻的多个参考样本。电子装置确定帧内预测模式索引是否与预定义索引不同,每个预定义索引对应于广角候选模式中的预定义广角模式之一。当帧内预测模式索引与预定义索引不同时,基于参考样本由插值滤波器生成多个滤波后样本。基于滤波后样本沿帧内预测模式索引的模式方向重建块单元。(A method of decoding a bitstream by an electronic device is provided. An image frame is received from a bitstream. The block unit is determined from the image frame. An intra prediction mode index corresponding to one of a plurality of wide angle candidate modes, each having an angle parameter, is determined for a block unit based on a bitstream. A plurality of reference samples adjacent to the block unit is determined. The electronic device determines whether intra-prediction mode indices are different from predefined indices, each predefined index corresponding to one of predefined wide-angle modes in the wide-angle candidate mode. When the intra prediction mode index is different from the predefined index, a plurality of filtered samples are generated by the interpolation filter based on the reference sample. The block unit is reconstructed in a mode direction of the intra prediction mode index based on the filtered samples.)

用于编码视频数据的装置和方法

相关申请的交叉引用

本公开请求于2019年3月12日提交的美国临时专利申请序列号No.62/817084的权益和优先权,其发明名称为MPM Derivation Method for Intra Prediction and ContextTable Selection Method for AMVR(以下称为US76694申请)。US76694申请的公开内容在此通过引用完全并入本公开中。

技术领域

本公开大体上涉及视频编码,并且更具体地,涉及用于选择多个采样滤波器中的一个以预测图像帧中的块单元的技术。

背景技术

帧内预测是视频编码方法中的一种编码工具。在传统的视频编码方法中,编码器和解码器使用与编码块相邻的最近像素线中先前重建的像素来生成参考像素和预测器,预测器用于在编码块沿着编码块的预测模式为内角模式时的方位来预测或重建编码块。在基于该方向从参考像素生成编码块的预测器之前,参考像素由插值滤波器进行滤波。然而,编码块用插值滤波器的计算次数等于编码块的块宽度W和块高度H的乘积W×H,使得滤波过程对于视频编码方法来说可能过于复杂。因此,编码器和解码器需要降低插值滤波器的使用率来提高编码效率。

发明内容

本公开涉及一种用于通过基于帧内预测模式索引选择的多个采样滤波器中的一个对图像帧中的块单元的多个参考样本进行滤波的装置和方法。

在本公开的第一方面中,提供了一种用于由电子装置对比特流进行解码的方法。所述方法包括:接收所述比特流的图像帧并根据接收到的图像帧确定块单元;基于所述比特流确定所述块单元的帧内预测模式索引,所述帧内预测模式索引对应于多个广角候选模式中的一个,每个广角候选模式均具有角度参数;确定与所述块单元相邻的多个参考样本;确定所述确定的帧内预测模式索引是否等于多个预定义索引中的至少一个索引,每个预定义索引对应于所述多个广角候选模式下的多个预定义广角模式中的一个;当所述确定的帧内预测模式索引不等于所述多个预定义索引中的至少一个索引时,基于所确定的多个参考样本,通过插值滤波器生成多个滤波后样本;以及基于所生成的多个滤波后样本,沿所述确定的帧内预测模式索引的模式方向重构所确定的块单元。在所述方法中,所述多个预定义广角模式的所述角度参数可被预定义值整除。

在本公开的第二方面中,提供了一种用于由电子装置对比特流进行解码的方法。所述方法包括:接收所述比特流的图像帧并根据接收到的图像帧确定块单元;基于所述比特流确定所确定的块单元的帧内预测模式索引;确定与所述确定的块单元相邻的多个参考样本;将所述确定的帧内预测模式索引与多个预定义索引进行比较,每个预定义索引对应于可被预定义值整除的角度参数;通过基于比较而选择的多个采样滤波器中的一个生成多个滤波后样本,所述多个滤波后样本基于所确定的多个参考样本来确定;以及基于生成的多个滤波后样本和所确定的帧内预测模式索引重建所述确定的块单元。

附图说明

当随附图阅读时,从以下详细描述中最好地理解本公开的各方面。为了清楚讨论,各种特征不是按比例绘制的,并且各种特征的尺寸可以任意增大或减小。

图1示出根据本公开的示例性实施方式的被配置成编码和解码视频数据的示例系统的框图。

图2示出根据本公开的示例性实施方式的图1中目标装置的示例解码器模块的框图。

图3示出根据本公开的示例性实施方式的用于重建块单元的示例重建方法的流程图。

图4示出根据本公开的示例性实施方式的多个帧内候选模式。

图5示出根据本公开的示例性实施方式的块单元中的多个分量块、多个参考块和多个广角候选模式。

图6示出根据本公开的示例性实施方式的用于重建块单元的另一示例重建方法的流程图。

图7示出根据本公开的示例性实施方式的基于分数采样精度参数的、多个帧内候选模式和多个角度参数之间的关系。

图8示出根据本公开的示例性实施方式的图1中源装置的示例编码器模块的框图。

图9示出根据本公开的示例性实施方式的用于预测块单元的示例预测方法的流程图。

具体实施方式

以下叙述含有与本公开中的示例性实施方式相关的特定信息。本公开中的附图和其随附的详细叙述仅为示例性实施方式。然而,本公开并不局限于此些示例性实施方式。本领域技术人员将会想到本公开的其他变化与实施方式。

除非另有说明,附图中相同或对应的元件可由相同或对应的附图标号表示。本公开中的附图与例示通常不是按比例绘制的,且非旨在与实际的相对尺寸相对应。

出于一致性和易于理解的目的,在示例性附图中藉由标号以标示相同特征(虽在一些示例中并未标示)。然而,不同实施方式中的特征在其他方面可能不同,并不应狭义地局限于附图所示的特征。

使用语句“一个实施方式”或“一些实施方式”的叙述可以视为一个或多个相同或不同的实施方式。术语“耦接”被定义为透过中间元件直接地或间接地连结,并且不必限于物理连结。术语“包括”意思是“包括但不一定限于”,并具体表示在所述的组合、组、系列和等同物中的开放式包含或成员身份。

出于解释和非限制的目的,阐述像是功能实体、技术、协议和标准等具体细节以提供对所公开技术的理解。在其他示例中,省略了对众所周知的方法、技术、系统、架构的详细叙述,以免不必要的细节模糊叙述。

本领域技术人员将立即认识到本公开中描述的任何(一个或多个)公开的编码功能或(一个或多个)演算法可由硬件、软件或软件和硬件的组合来实施。所描述的功能可对应于模块,这些模块可为软件、硬件、固件或其任何组合。

软件实施方式可包括存储在像是存储器或其他类型的存储装置的计算机可读介质上的计算机可执行指令。例如:具有通信处理能力的一个或多个微处理器或通用计算机可被编程有可执行指令并执行所公开的(一个或多个)功能或(一个或多个)演算法。

微处理器或通用计算机可以由专用集成电路(applications specificintegrated circuitry:ASIC)、可编程逻辑阵列和/或使用一个或多个数字信号处理器(digital signal processor:DSP)构成。虽然所公开的实施方式中的一些实施方式面向在计算机硬件上安装和执行的软件,但是作为固件或硬件或硬件和软件的组合实现的替代实施方式在本公开的范围内。计算机可读介质可包括但不限于随机存取存储器(randomaccess memory:RAM)、只读存储器(read only memory:ROM)、可擦除可编程只读存储器(read only memory:EPROM)、电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory:EEPROM)、闪存、光盘只读存储器(compact disc read-only memory:CDROM)、盒式磁带、磁带、磁盘存储装置或能够存储计算机可读指令的任何其他等效介质。

图1示出根据本公开的示例性实施方式的被配置成编码和解码视频数据的系统100的框图。系统100包括源装置110、目标装置120和通信介质130。源装置110可以包括被配置为对视频数据进行编码并将编码后的视频数据发送到通信介质130的任何装置。目标装置120可以包括被配置为经由通信介质130接收编码后的视频数据并且对编码后的视频数据进行解码的任何装置。

在至少一个实施方式中,源装置110可以经由通信介质130与目标装置120有线和/或无线通信。源装置110可以包括源模块112、编码器模块114和第一接口116。目标装置120可以包括显示模块122、解码器模块124和第二接口126。源装置110可以是视频编码器并且目标装置120可以是视频解码器。

在至少一个实施方式中,源装置110和/或目标装置120可以是移动电话、平板电脑、台式机、笔记本电脑或其他电子装置。图1仅示出源装置110和目标装置120的一个示例。在其他实施方式中,源装置110和目标装置120可以包括比所示出的更多或更少的元件或者具有各种元件的不同配置。

在至少一个实施方式中,源模块112可以包括用于捕获新视频的视频捕获装置、存储先前捕获的视频的视频档案和/或用于从视频内容提供商接收视频的视频传送接口。源模块112可以生成基于计算机图形的数据作为源视频或生成直播视频、存档视频和计算机生成的视频的组合。视频捕获装置可以是电荷耦合装置(charge-coupled device:CCD)图像传感器、互补金属氧化物半导体(charge-coupled device:CMOS)图像传感器、或照相机。

在至少一个实施方式中,编码器模块114和解码器模块124各自可以实施为多种合适的编码器/解码器电路中的任意一种,诸如一个或多个微处理器、中央处理单元(centralprocessing unit:CPU)、图形处理单元(graphic processing unit:GPU)、片上系统(system on chip:SoC)、数字信号处理器(digital signal processor:DSP)、专用集成电路(application specific integrated circuit:ASIC)、现场可编程门阵列(fieldprogrammable gate array:FPGA)、离散逻辑、软件、硬件、固件或其任意组合。当部分以软件实现时,装置可以将软件的指令存储在合适的非暂时性计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行所公开的方法。在至少一个实施方式中,编码器模块114和解码器模块124中的每一个均可以包括在一个或多个编码器或解码器中,其中可以集成任何一个模块作为装置中的组合编码器/解码器(combined encoder/decoder:CODEC)的一部分。

在至少一个实施方式中,第一接口116和第二接口126可以使用定制的协议或遵循现有标准或事实标准,包括但不限于以太网、IEEE 802.11或IEEE 802.15系列、无线USB或电信标准(包括但不限于GSM、CDMA2000、TD-SCDMA、WiMAX、3GPP-LTE或TD-LTE)。在至少一个实施方式中,第一接口116和第二接口126可以各自包括被配置为向通信介质130发送视频比特流和/或在其中存储兼容视频比特流以及从通信介质130接收兼容视频比特流的任何装置。

在至少一个实施方式中,第一接口116和第二接口126可以包括计算机系统接口,其使得兼容视频比特流能够被存储在存储装置上或者能够从存储装置接收。例如,第一接口116和第二接口126可以包括支持外围元件互连(Peripheral Component Interconnect:PCI)和外围元件互连高速(Peripheral Component Interconnect Express:PCIe)总线协议、专有总线协议、通用串行总线(Universal Serial Bus:USB)协议、I2C的芯片组,或任何可用于互连对等装置的其他逻辑和物理结构。

在至少一个实施方式中,显示模块122可以包括将液晶显示(liquid crystaldisplay:LCD)技术、等离子显示技术、有机发光二极管(liquid crystal display:OLED)显示技术或发光聚合物显示(light emitting polymer display:LPD)技术和在其他实施方式中使用的其他显示技术一起使用的显示器。显示模块122可以包括高清显示器或超高清显示器。

图2示出根据本申请的示例性实施方式的、表示图1中的目标装置120的解码器模块124的实施方式的解码器模块1240的框图。解码器模块1240包括熵解码器(例如,熵解码单元2222)、预测处理器(例如,预测处理单元22222)、逆量化/逆变换处理器(例如,逆量化/逆变换单元2224)、加法器(例如,第一加法器2226)、滤波器(例如,滤波单元2229)和解码图片缓冲器(例如,解码图片缓冲器2228)。预测处理单元22222进一步包括帧内预测处理器(帧内预测单元22226)和帧间预测处理器(帧间预测单元22224)。解码器模块1240接收比特流并对比特流进行解码以输出解码的视频。

熵解码单元2222可以从图1中的第二接口126接收包括多个语法元素的比特流,并对比特流执行解析操作以从该特流中提取语法元素。作为解析操作的一部分,熵解码单元2222可以对比特流进行熵解码以生成量化变换系数、量化参数、变换数据、运动矢量、帧内模式、分区信息和其他语法信息。

在至少一个实施方式中,熵解码单元2222可以执行上下文自适应可变长度编码(context adaptive variable length coding:CAVLC)、上下文自适应二进制算术编码(context adaptive binary arithmetic coding:CABAC)、基于语法的上下文自适应二进制算术编码(context adaptive binary arithmetic coding:SBAC)、概率区间划分熵(probability interval partitioning entropy:PIPE)编码或其他熵编码技术以生成量化的变换系数。在至少一个实施方式中,熵解码单元2222可以向逆量化/逆变换单元2224提供量化的变换系数、量化参数和变换数据,并向预测处理单元22222提供运动矢量、帧内模式、分区信息和其他语法信息。

在至少一个实施方式中,预测处理单元22222可以从熵解码单元2222接收语法元素,诸如运动向量、帧内模式、分区信息和其他语法信息。预测处理单元22222可以接收包括分区信息的语法元素并根据分区信息划分图像帧。

在至少一个实施方式中,每个图像帧可以根据分区信息被划分为至少一个图像块。至少一个图像块可以包括用于重建多个亮度样本的亮度块和用于重建多个色度样本的至少一个色度块。可以进一步划分亮度块和至少一个色度块以生成宏块、编码树单元(coding tree unit:CTU)、编码块(coding block:CB)、其细分和/或另一个等效编码单元。

在至少一个实施方式中,在解码过程中,预测处理单元22222接收预测数据,该预测数据包括特定一个图像帧的当前图像块的帧内模式或运动向量。当前图像块可以是特定图像帧中的亮度块和至少一个色度块之一。

在至少一个实施方式中,帧内预测单元22226可以基于与帧内模式相关的语法元素,相对于与当前块单元在同一帧中的一个或多个相邻块执行对当前块单元的帧内预测编码,以便生成预测块。帧内模式可以指定从当前帧内的相邻块中选择的参考样本的位置。在至少一个实施方式中,当预测处理单元22222重建亮度分量时,帧内预测单元22226可以基于当前块单元的多个亮度分量来重建当前块单元的多个色度分量。

在至少一个实施方式中,当当前块的亮度分量由预测处理单元2222重建时,帧内预测单元22221可以基于当前块单元的多个亮度分量重建当前块单元的多个色度分量。

在至少一个实施方式中,帧间预测单元22224可以基于与运动向量相关的语法元素,相对于一个或多个参考图像块中的一个或多个块执行当前块单元的帧间预测编码,以便生成预测块。在至少一个实施方式中,运动向量可以指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。参考块单元是被确定为与当前块单元严密匹配的块。在至少一个实施方式中,帧间预测单元22224接收存储在解码图片缓冲器2228中的参考图像块并基于接收到的参考图像块重建当前块单元。

在至少一个实施方式中,逆量化/逆变换单元2224可以应用逆量化和逆变换来重建像素域中的残差块。逆量化/逆变换单元2224可以对残差量化变换系数应用逆量化以生成残差变换系数,然后对残差变换系数应用逆变换以生成像素域中的残差块。在至少一个实施方式中,可以通过以下变换过程来逆应用逆变换:诸如离散余弦变换(discretecosine transform:DCT)、离散正弦变换(discrete sine transform:DST)、自适应多重变换(adaptive multiple transform:AMT)、依赖模式的不可分离二次变换(mode-dependentnon-separable secondary transform:MDNSST)、超立方体-吉文斯变换(hypercube-givens transform:HyGT)、信号相关变换、卡亨南-洛维变换(Karhunen-Loéve transform:KLT)、小波变换、整数变换、子带变换或概念上类似的变换。

在至少一个实施方式中,逆变换可以将残差信息从变换域(例如频域)转换回像素域。在至少一个实施方式中,可以通过调整量化参数来修改逆量化的程度。第一加法器2226将残差块与来自预测处理单元22222的预测块相加以产生重建块。

在至少一个实施方式中,第一加法器2224将重建残差块与从预测处理单元2222提供的预测块相加以产生重建块。

在至少一个实施方式中,滤波单元2229可以包括用于从重建块去除块效应的去块滤波器、采样点自适应偏移(sample adaptive offset:SAO)滤波器、双边滤波器和/或自适应环路滤波器(adaptive loop filter:ALF)。除了去块滤波器、SAO滤波器、双边滤波器和ALF之外,还可以使用附加的滤波器(在环路中或后环路中)。

为简洁起见,这样的滤波器并未示出,但可对第一加法器2226的输出进行滤波。在滤波单元2229对特定图像帧的重建块执行过滤波理之后,滤波单元2229可以将解码后的视频输出到显示模块122或其他视频接收单元。

在至少一个实施方式中,解码图片缓冲器2228可以是参考图片存储器,其存储有供预测处理单元22222使用以对比特流进行解码的参考块(在帧间编码模式下)。解码图片缓冲器2228可由多种存储装置中的任一种形成,诸如动态随机存取存储器(dynamicrandom access memory:DRAM),包括同步DRAM(synchronous DRAM:SDRAM)、磁阻RAM(magneto-resistive RAM:MRAM)、电阻RAM(resistive RAM:RRAM)或其他类型的存储装置。在至少一个实施方式中,解码图片缓冲器2228可以与解码器模块1240的其他元件一起位于芯片上或相对于那些元件位于芯片外。

图3示出根据本公开的示例性实施方式的用于通过基于块单元的帧内预测模式选择采样滤波器来重建块单元的示例重建方法300的流程图。方法300仅是示例,因为有多种方式来执行该方法。

方法300可以使用图1和图2所示的配置来执行,并且在解释方法300时参考这些图的各种元素。图3中所示的每个块可以表示一个或多个被执行的过程、方法或子程序。

此外,块的顺序仅是说明性的并且可能会改变。在不脱离本公开的情况下,可以添加附加的块或可以使用更少的块。

在块310处,解码器模块1240接收视频数据的图像帧并根据视频数据从图像帧确定块单元。视频数据可以是比特流。

参考图1和图2,目标装置120可以经由第二接口126从诸如源装置110等编码器接收比特流。第二接口126可以向解码器模块1240提供比特流。

解码器模块1240可以基于比特流确定图像帧并根据比特流中的多个分区指示划分图像帧以确定块单元。例如,解码器模块1240可以划分图像帧以产生多个编码树单元,并可以进一步根据分区指示(例如,基于视频编码标准)划分编码树单元之一以确定块单元。

在至少一个实施方式中,熵解码单元2222可以对比特流进行解码以确定块单元的多个预测指示,并且解码器模块1240可以进一步基于预测指示重建块单元。预测指示可以包括多个标志和多个索引。

在块320处,解码器模块1240基于视频数据确定与块单元的多个广角候选模式之一相对应的帧内预测模式索引,并确定与块单元相邻的多个参考样本。多个广角候选模式中的每一个都具有角度参数。

在至少一个实施方式中,参考图2,当在帧内预测过程中预测块单元时,解码器模块1240可以基于帧内预测模式索引从帧内模式列表上的多个帧内候选模式中选择帧内预测模式。

在至少一个实施方式中,帧内预测模式索引可以包括在块单元的预测指示中。可以基于包括在块单元的预测指示中的块预测索引来获得帧内预测模式索引。

在至少一个实施方式中,每个帧内候选模式具有帧内模式索引,每个帧内模式索引指示帧内候选模式中的一个对应模式。帧内候选模式包括广角候选模式,并且广角候选模式的帧内模式索引可以是多个广角模式索引。当基于与帧内预测模式索引不同的块预测索引来获得帧内预测模式索引时,帧内预测模式索引可以等于广角模式索引之一。

帧内候选模式可以包括多个非角度候选模式和多个角度候选模式。非角度候选模式可以是平面模式和DC模式。平面模式的帧内模式索引可以为零并且DC模式的帧内模式索引可以等于一。

在至少一个实施方式中,每个广角候选模式均可以包括在角度候选模式中。其他不同于广角候选模式的角度候选模式可以是多个角度默认候选模式。当解码器模块1240基于诸如视频编码(versatile video coding:VVC)等视频编码标准对比特流进行解码时,角度候选模式的帧内模式索引可以包括-14至-1和2至80。

图4是根据本公开的实施方式的多个帧内候选模式的示意图。角度默认候选模式的帧内模式索引可以包括2至66,而广角候选模式的广角模式索引可以包括-14至-1和67至80。

在至少一个实施方式中,每个角度候选模式均具有角度参数IntraPredAngle。可以预先定义帧内候选模式的角度参数以对视频数据进行编码和对视频数据进行解码。表1示出一种实施方式,其中将索引分配给各自均具有角度参数的角度候选模式。每个角度候选模式可以对应于表1中的角度默认候选模式2至66和广角候选模式-14至-1和67至80之一。

表1

在至少一个实施方式中,参考图2,解码器模块1240可以确定与块单元相邻的多个相邻块。在至少一个实施方式中,可以在重建块单元之前重建相邻块中的一些块,使得每个重建的相邻块可以包括块单元的用于重建块单元的多个参考块。

在至少一个实施方式中,可以在重建相邻块中的一些块之前重建块单元,这样未重建的相邻块可以不包括块单元的用于重建块单元的参考块。重建的相邻块中包括的每个参考块可以包括参考分量。可以选择参考块中包括的参考分量作为用于重建块单元的参考样本。

图5示出根据本公开的块单元中的多个分量块、多个参考块和多个广角候选模式。块单元510可以包括分量块(分量块511-516),并且重建的相邻块(未示出)可以包括参考块520,其包括参考块521-526。

图5示出参考块521-526的一个示例。其他实施方式可以包括比所示出的更多或更少的参考块或者具有各种参考块的不同配置。图5中示出多条虚构的水平线561-563和多条虚构的垂直线571-579,仅用于说明全采样位置,因为解码器模块1240不需要为块单元510确定虚拟水平线561-563和虚拟垂直线571-579。

在至少一个实施方式中,每个参考块520可以包括参考分量,并且可以选择参考块520中的参考分量作为参考样本。可以通过重建相邻块来确定参考块520的参考分量以表示相邻块中的像素分量。例如,当解码器模块1240在块单元510中重建多个亮度分量时,每个参考块520可以仅包括一个参考亮度分量。

从参考分量选择的参考样本可以位于参考块的多个块中心。块中心可以是多个全采样位置,诸如基于虚拟水平线(虚拟水平线563)和虚拟垂直线(虚拟垂直线573-575和577-579)之间的多个全采样交叉点确定的全采样位置5211-5261。可以基于帧内预测模式的模式方向(531-533和541-543)和虚拟水平线563之间的多个分数采样交叉点,将参考块中的其他位置确定为多个分数采样位置(分数采样位置5212-5232)。每个分数采样位置可以位于两个相邻参考样本之间,诸如位于两个全采样位置5221和5231处的两个相邻参考样本之间的分数采样位置5232。

在块330处,解码器模块1240可以确定帧内预测模式是否指向参考样本的全采样位置。在至少一个实施方式中,当帧内预测模式指向与参考样本相邻的分数采样位置时,方法300可以行进到块340。当帧内预测模式指向参考样本的全采样位置时,该方法可以行进到块350。

在至少一个实施方式中,参考图2和图5,当帧内预测模式是角度候选模式之一时,解码器模块1240可以确定帧内预测模式是否指向参考块520中的参考样本的全采样位置。可以确定每个分量块511-516以用于预测块单元中的像素分量。例如,当解码器模块1240预测块单元中的亮度分量时,每个分量块511-516可以仅包括一个亮度分量。

预测分量可以位于分量块的多个块中心。块中心可以是多个全采样位置,诸如基于虚拟水平线561-562和虚拟垂直线571-572、574和576之间的多个全采样交叉点确定的全采样位置5111-5161。

在至少一个实施方式中,帧内预测模式可以是基于帧内预测模式索引确定的广角候选模式中的一种特定模式。例如,特定广角候选模式可以指示第一广角方向,包括从分量块511-513的全采样位置5111-5131指向参考块520的多个第一分量方向531-533。

虚拟水平线563与第一分量方向531-533之间的多个第一采样交叉点为参考块521-523的分数采样位置5212-5232,其与参考块521-523的全采样位置5211-5231不同。因此,当特定广角候选模式指示第一广角方向时,解码器模块1240可以确定帧内预测模式指向参考块的分数采样位置。特定广角候选模式可以指示第二广角方向,包括从分量块514-516的全采样位置5141-5161指向参考块520的多个第二分量方向541-543。

虚拟水平线563与第二分量方向541-543之间的多个第二采样交叉点为参考块524-526的全采样位置5241-5261。当特定广角候选模式指示第二广角方向时,解码器模块1240可以确定帧内预测模式指向参考块中参考样本的全采样位置。

在至少一个实施方式中,参考图1,可以在源装置110和目标装置120中预定义帧内候选模式。因此,可以在源装置110和目标装置120中预先确定指向参考样本的全采样位置的角度候选模式。

可以将指向参考样本的全采样位置的角度候选模式预先确定为多个预定义的角度模式。可以将指向参考样本的全采样位置的广角候选模式预先确定为多个预定义的广角模式。可以将预定义广角度模式的广角模式索引预先确定为多个预定义索引。

在至少一个实施方式中,解码器模块1240可以直接将帧内预测模式索引与预定义索引进行比较以确定帧内预测模式是否指向参考样本的全采样位置。当帧内预测模式索引等于预定义索引之一时,解码器模块1240可以直接确定帧内预测模式指向参考样本的全采样位置。当帧内预测模式索引与预定义索引不同时,解码器模块1240可以直接确定帧内预测模式针对参考块的分数采样位置。

在至少一个实施方式中,预定义索引的角度参数可以被预定义值整除。预定义值可以等于插值滤波器的分数采样精度参数。当帧内预测模式索引的角度参数可以被插值滤波器的分数采样精度参数整除时,分量块的参考样本可能不位于分数采样位置。

VVC中的插值滤波器的分数采样精度参数可以在图3的块320处预定义,使得预定义值为32。因此,根据表1,预定义索引可以包括-14、-12、-10、-6、2、34、66、72、76、78和80。

在块340处,解码器模块可以通过插值滤波器对参考样本进行滤波。

在至少一个实施方式中,参考图2和图5,解码器模块1240可以使用插值滤波器在图3的块340中对参考样本进行滤波以生成多个滤波后参考样本。当帧内预测模式从块单元510指向参考块的分数采样位置时,虚拟水平线563与帧内预测模式的分量方向之间的多个样本交叉点处可能不存在参考样本。因此,解码器模块1240可以选择与样本交叉点相邻的参考样本中的一些样本并且基于所选择的参考样本通过内插来生成滤波后参考样本。

分量方向533可以从分量块513指向参考块523的分数采样位置5232。因此,解码器模块1240可以选择参考块522、523和/或其他相邻参考块中的参考样本,以基于为分量块513选择的参考样本通过内插来生成滤波后参考样本。插值滤波器可以包括四抽头高斯滤波器(four-taps Gaussian filter:fG)和四抽头DCT滤波器(four-taps DCT-filter:fC)中的至少一种。

在块350处,解码器模块可以通过参考滤波器对参考样本进行滤波。

在至少一个实施方式中,参考图2和图5,解码器模块1240可以使用参考过滤器在图3的块350中对参考样本进行滤波以生成滤波后参考样本。当参考样本由参考滤波器进行滤波以生成滤波后样本时,滤波后样本绕过插值滤波器。当帧内预测模式从块单元510指向参考样本的全采样位置时,虚拟水平线563与帧内预测模式的分量方向之间的多个样本交叉点可以位于全采样位置。因此,解码器模块1240可以在无需内插的情况下直接选择参考样本来生成滤波后参考样本。

分量方向542可以从分量块515指向参考块525的全采样位置5251。因此,解码器模块1240可以在参考块525中为分量块515选择参考样本。

所选择的参考块可以由参考滤波器进行滤波。在该实施方式中,参考滤波器可以是[1 2 1]三抽头平滑滤波器,其适用于所选择的参考块以及与所选择的参考块相邻的其他参考块的参考样本。滤波后参考样本p[x][y](其中x=-1,y=-1..refH-1以及x=0..refW-1,y=-1)可以按如下方式由参考滤波器基于未滤波的参考样本refUnfilt[x][y]获得:

refH是参考样本高度,refW是参考样本宽度。

p[-1][-1]=refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2

p[-1][refH–1]=refUnfilt[-1][refH–1]

p[refW–1][-1]=refUnfilt[refW–1][-1]

p[-1][y]=(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2

对于y=0..refH-2

p[x][-1]=(refUnfilt[x-1][-1]+2*refUnfilt[x][-1]+refUnfilt[x+1][-1]+2)>>2

对于x=0..refW-2

在块360处,解码器模块1240可以根据滤波后参考样本沿帧内预测模式的模式方向重建块单元。参考图1和图2,帧间预测单元22224可以根据滤波后参考样本沿帧内预测模式的模式方向为块单元中的分量块之一生成预测分量。

在至少一个实施方式中,目标装置120中的第一加法器2226可以将预测分量添加到根据比特流确定的多个残差分量以重建块单元。解码器模块1240可以重建图像帧中的所有其他块单元以重建图像帧和视频。

图6示出根据本公开的通过基于块单元的帧内预测模式索引选择采样滤波器来重建块单元的另一种方法600的流程图。方法600仅作为示例提供并且有多种方式来执行该方法。

方法600可以使用图1和图2中所示的配置来执行,并且在描述方法600时参考了各种元素。方法600中所示的每个块可以表示所执行的一个或多个过程、方法或子程序。块的顺序仅是说明性的并且可能会改变。在不脱离本公开的情况下,可以添加附加的块或可以使用更少的块。

在块610处,解码器模块1240可以接收视频数据的图像帧并从图像帧确定块单元。视频数据可以是比特流。

参考图1和图2,目标装置120可以经由第二接口126从诸如源装置110等编码器接收比特流。第二接口126可以向解码器模块1240提供比特流。

解码器模块1240可以基于比特流确定图像帧并根据比特流中的多个分区指示划分图像帧以确定块单元。解码器模块1240可以划分图像帧以产生多个编码树单元,并进一步根据分区指示(基于视频编码标准)划分编码树单元之一以确定块单元。

在至少一个实施方式中,熵解码单元2222可以对比特流进行解码以确定块单元的多个预测指示,并且解码器模块1240可以进一步基于预测指示重建块单元。预测指示可以包括多个标志和多个索引。

在块620处,解码器模块1240可以基于比特流确定块单元的帧内预测模式索引,并确定与块单元相邻的多个参考样本。参考图2,当在帧内预测中预测块单元时,解码器模块1240可以基于帧内预测模式索引从帧内模式列表的多个帧内候选模式中选择帧内预测模式。

在至少一个实施方式中,帧内预测模式索引可以包括在块单元的预测指示中。可以基于包括在块单元的预测指示中的块预测索引来获得帧内预测模式索引。

在至少一个实施方式中,每个帧内候选模式具有帧内模式索引,每个帧内模式索引指示帧内候选模式中的一个对应模式。帧内候选模式包括广角候选模式,并且广角候选模式的帧内模式索引可以是多个广角模式索引。当基于与帧内预测模式索引不同的块预测索引来获得帧内预测模式索引时,帧内预测模式索引可以等于广角模式索引之一。

在至少一个实施方式中,帧内候选模式可以包括多个非角度候选模式和多个角度候选模式。非角度候选模式可以是平面模式和DC模式。

在该实施方式中,平面模式的帧内模式索引可以等于零并且DC模式的帧内模式索引可以等于一。每个广角候选模式均可以包括在角度候选模式中,与广角度候选模式不同的其他角度候选模式可以是多个角度默认候选模式。当解码器模块1240基于诸如VVC等视频编码标准对比特流进行解码时,角度候选模式的帧内模式索引可以包括-14至-1和2至80。

在至少一个实施方式中,每个角度候选模式均具有角度参数IntraPredAngle。可以预先定义帧内候选模式的角度参数以对视频数据进行编码和对视频数据进行解码。

在至少一个实施方式中,参考图2,解码器模块1240可以确定与块单元相邻的多个块。在重建块单元之前重建的每一个相邻块可以包括块单元的用于重建块单元的多个参考块。

在至少一个实施方式中,重建的相邻块中包括的每个参考块可以包括参考分量。可以选择参考块中包括的参考分量作为用于重建块单元的参考样本。

在至少一个实施方式中,参考图5,块单元510可以包括分量块511-516,并且重建的相邻块可以包括具有参考块521-526的参考块520。图5中示出多条虚构的水平线561-563和多条虚构的垂直线571-579,仅用于说明全采样位置,并且解码器模块1240不需要确定虚拟水平线561-563和虚拟垂直线571-579。

在至少一个实施方式中,每个参考块520可以包括参考分量,并且可以选择参考分量作为参考样本。参考样本可以位于分量块的多个块中心。例如,当解码器模块1240在块单元510中重建多个亮度分量时,每个参考块520可以仅包括一个参考亮度分量。

在至少一个实施方式中,块中心可以包括基于虚拟水平线563和虚拟垂直线573-575和577-579之间的多个全采样交叉点确定的多个全采样位置5211-5261。可以基于帧内预测模式的模式方向和虚拟水平线563之间的多个分数采样交叉点,将参考块521-526中的其他位置确定为多个分数采样位置(分数采样位置5212-5232)。

在至少一个实施方式中,每个分数采样位置可以位于两个相邻的参考样本之间。例如,分数采样位置5232位于两个相邻参考样本之间,这两个参考样本位于两个全采样位置5221和5231处。

在块630处,解码器模块1240可以将帧内预测模式索引与多个预定义索引进行比较,每个预定义索引对应于可被预定义值整除的角度参数。参考图1,可以在源装置110和目标装置120中预定义帧内候选模式和帧内模式索引。

一些帧内模式索引可以被设置为用于与帧内预测模式索引进行比较的预定义索引。因此,预定义索引可以在源装置110和目标装置120中预定义。

在至少一个实施方式中,参考图2,解码器模块1240可以将帧内预测模式索引与预定义索引进行比较以确定帧内预测模式索引是否与预定义索引不同。预定义索引的角度参数可以被预定义值整除。

预定义值可以等于插值滤波器的分数采样精度参数。在VVC中,插值滤波器的分数采样精度参数可以被预定义为32,使得预定义值可以等于32。因此,根据表1,预定义索引的角度参数可以包括±32、64、128、256和512,并且预定义索引可以包括-14、-12、-10、-6、2、34、66、72、76、78和80。

在至少一个实施方式中,因为预定义值等于分数采样精度参数,所以预定义索引的角度参数可以被分数采样精度参数整除。图7示出根据本公开的基于分数采样精度参数的多个帧内候选模式和多个角度参数之间的关系。

在至少一个实施方式中,可以基于分数采样精度参数来划分与块单元710相邻的多个参考块720的多个采样位置。一个对应帧内候选模式所指向的每个采样位置的位置编号可以被设置为该对应帧内候选模式的角度参数。

当分数采样精度参数等于32时,垂直候选模式的角度参数可以等于0并且从左下角到右上角的对角线模式的角度参数可以等于32。在至少一个实施方式中,当一个特定帧内候选模式的角度参数等于0或等于分数采样精度参数的正值或负值时,该特定帧内候选模式所指向的采样位置为参考块720的全采样位置。

当特定帧内候选模式的角度参数不为零或分数采样精度参数的正值和负值时,该特定帧内候选模式所指向的采样位置为参考块720的分数采样位置。当从广角候选模式中选择的帧内候选模式的角度参数可以被分数采样精度参数整除时,帧内预测模式所指向的采样位置是参考块720的全采样位置。换句话说,当从广角候选模式中选择的帧内候选模式的角度参数不能被分数采样精度参数整除时,帧内预测模式所指向的采样位置是参考块720的分数采样位置。

在块640处,解码器模块1240可以本通过基于比较结果选择的多个采样滤波器中的一个,基于参考样生成多个滤波后样本。采样滤波器可以包括插值滤波器和参考滤波器。

在至少一个实施方式中,参考图2,当解码器模块1240确定每个预定义索引均与帧内预测模式索引不同时,可以选择插值滤波器来对参考样本进行滤波并生成滤波后样本。当每个预定义索引均与帧内预测模式索引不同时,帧内预测模式所指向的采样位置是分数采样位置。因此,当帧内预测模式所指向的采样位置为分数采样位置时,可以选择插值滤波器对参考样本进行滤波以生成滤波后样本。

当解码器模块1240确定帧内预测模式索引等于预定义索引之一时,可以选择参考滤波器来对参考样本进行滤波并生成滤波后样本。当帧内预测模式索引等于预定义索引之一时,帧内预测模式所指向的采样位置为全采样位置。因此,当帧内预测模式所指向的采样位置为全采样位置时,可以选择参考滤波器对参考样本进行滤波并生成滤波后样本。当参考样本由参考滤波器进行滤波以生成滤波后样本时,滤波后样本绕过插值滤波器。

在至少一个实施方式中,参考图2和图5,当帧内预测模式从块单元510指向参考块的分数采样位置时,虚拟水平线563与帧内预测模式的分量方向之间的多个样本交叉点处可能不存在参考样本。因此,解码器模块1240可以选择与样本交叉点相邻的参考样本中的一些样本并且基于所选择的参考样本根据内插来生成滤波后参考样本。

分量方向533可以从分量块513指向参考块523的分数采样位置5232。因此,解码器模块1240可以选择参考块522、523和/或其他相邻参考块中的参考样本,以基于为分量块513选择的参考样本通过内插来生成滤波后参考样本。插值滤波器可以包括四抽头高斯滤波器(fG)和四抽头DCT滤波器(fC)中的至少一种。

在至少一个实施方式中,当帧内预测模式从块单元510指向参考样本的全采样位置时,虚拟水平线563与帧内预测模式的分量方向之间的多个样本交叉点可以位于全采样位置。因此,解码器模块1240可以在无需内插的情况下直接选择参考样本来生成滤波后参考样本。

分量方向542可以从分量块515指向参考块525的全采样位置5251。因此,解码器模块1240可以在参考块525中为分量块515选择参考样本。所选择的参考块可以由参考滤波器进行滤波。参考滤波器可以是[1 2 1]三抽头平滑滤波器,其适用于所选择的参考块以及与所选择的参考块相邻的其他参考块的参考样本。

在块650处,解码器模块1240可以根据滤波后参考样本沿帧内预测模式的模式方向重建块单元。参考图1和图2,帧间预测单元22224可以沿着帧内预测模式的模式方向根据滤波后样本为块单元中的分量块生成预测分量。例如,当解码器模块1240在块单元510中重建多个亮度分量时,每个预测分量可以是包括在一个分量块中的预测亮度分量。

目标装置120中的第一加法器2226可以将预测分量添加到根据比特流确定的多个残差分量以重建块单元。解码器模块1240可以重建图像帧中的所有其他块单元以重建图像帧和视频。

图8示出作为图1中的编码器模块114的实施方式的编码器模块1140。编码器模块1140可以包括预测处理器(例如,预测处理单元1141)、至少第一加法器(例如,第一加法器1142)和第二加法器(例如,第二加法器1145)、量化/逆变换处理器(例如,变换/量化单元1143)、逆量化/逆变换处理器(例如,逆量化/逆变换单元1144)、滤波器(例如,滤波单元1146)、解码图片缓冲器(例如,解码图片缓冲器1147)和熵编码器(例如,熵编码单元1148)。编码器模块1140的预测处理单元1141可以进一步包括分区处理器(例如,分区单元11411)、帧内预测处理器(例如,帧内预测单元11412)和帧间预测处理器(例如,帧间预测单元11413)。编码器模块1140可以接收源视频并对源视频进行编码以输出比特流。

编码器模块1140可以接收包括多个图像帧的源视频,然后根据编码结构划分图像帧。每个图像帧可以被划分为至少一个图像块。

至少一个图像块可以包括具有多个亮度样本的亮度块和具有多个色度样本的至少一个色度块。可以进一步划分亮度块和至少一个色度块以生成宏块、编码树单元(codingtree unit:CTU)、编码块(coding block:CB)、其细分和/或另一个等效编码单元。

在至少一个实施方式中,编码器模块1140可以执行源视频的附加细分。应当注意,这些实施方式通常适用于视频编码,无论源视频在编码之前和/或编码期间是如何划分的。

在至少一个实施方式中,在编码过程中,预测处理单元1141可以在编码过程中接收一个特定图像帧的当前图像块。当前图像块可以是特定图像帧中的亮度块和至少一个色度块之一。

分区单元11411可以将当前图像块划分为多个块单元。帧内预测单元11412可以相对于与当前块单元在同一帧中的一个或多个相邻块执行对当前块单元的帧内预测编码,以便提供空间预测。帧间预测单元11413可以相对于与一个或多个参考图像块中的一个或多个块执行对当前块单元的帧间预测编码,以便提供时间预测。

在至少一个实施方式中,预测处理单元1141可以基于诸如成本函数等模式选择方法来选择由帧内预测单元11412和帧间预测单元11413生成的编码结果之一。模式选择方法可以是速率失真优化(rate-distortion optimization:RDO)过程。

预测处理单元1141可以确定所选择的编码结果,并且将与所选择的编码结果相对应的预测块提供给第一加法器1142用以生成残差块以及提供给第二加法器1145用以重建编码块单元。预测处理单元1141可以进一步向熵编码单元1148提供诸如运动向量、帧内模式指示符、分区信息和其他语法信息等语法元素。

在至少一个实施方式中,帧内预测单元11412可以对当前块单元进行帧内预测。帧内预测单元11412可以确定指向与当前块单元相邻的重建后样本的帧内预测模式,以便对当前块单元进行编码。

在至少一个实施方式中,帧内预测单元11412可以使用各种帧内预测模式对当前块单元进行编码,并且帧内预测单元或预测处理单元1141可以从被测模式中选择适当的帧内预测模式。帧内预测单元11412可以使用交叉分量预测模式对当前块单元进行编码,以基于当前块单元的亮度分量来预测当前块单元的两个色度分量之一。帧内预测单元11412可以基于当前块单元的两个色度分量中的第二分量来预测当前块单元的两个色度分量中的第一分量。

在至少一个实施方式中,帧间预测单元11413可以对当前块单元进行帧间预测,作为由帧内预测单元11412执行的帧内预测的替代。帧间预测单元11413可以执行运动估计以估计当前块单元的运动以便产生运动矢量。

运动向量可以指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。帧间预测单元11413可以接收存储在解码图片缓冲器1147中的至少一个参考图像块并基于接收到的参考图像块估计运动以生成运动矢量。

在至少一个实施方式中,第一加法器1142可以通过从原始当前块单元中减去由预测处理单元1141确定的预测块来生成残差块。第一加法器1142可以表示执行该减法运算的一个或多个元件。

在至少一个实施方式中,变换/量化单元1143可以对残差块应用变换以生成残差变换系数,然后对残差变换系数进行量化以进一步降低比特率。变换可以是DCT、DST、AMT、MDNSST、HyGT、信号相关变换、KLT、小波变换、整数变换、子带变换或概念上类似的变换之一。

在至少一个实施方式中,变换可以将残差信息从像素值域转换到变换域,比如频域。可以通过调整量化参数来修改量化的程度。

在至少一个实施方式中,变换/量化单元1143可以执行包括量化变换系数的矩阵的扫描。或者,熵编码单元1148可以执行扫描。

在至少一个实施方式中,熵编码单元1148可以从预测处理单元1141和变换/量化单元1143接收多个语法元素,包括量化参数、变换数据、运动矢量、帧内模式、分区信息和其他语法信息。熵编码单元1148可以将语法元素编码到比特流中。

在至少一个实施方式中,熵编码单元1148可以通过执行CAVLC、CABAC、SBAC、PIPE编码或另一种熵编码技术来对量化的变换系数进行熵编码以生成编码的比特流。编码的比特流可以被发送到另一个装置(图1中的目标装置120)或被存档以供以后传输或检索。

在至少一个实施方式中,逆量化/逆变换单元1144可以应用逆量化和逆变换来重建像素域中的残差块,以供以后用作参考块。第二加法器1145可以将重建的残差块与从预测处理单元1141提供的预测块相加,以产生用于存储在解码图片缓冲器1147中的重建块。

在至少一个实施方式中,滤波单元1146可以包括用于从重建块去除块效应的去块滤波器、SAO滤波器、双边滤波器和/或ALF。除了去块滤波器、SAO滤波器、双边滤波器和ALF之外,可以使用附加的滤波器(在环路中或后环路中)。为简洁起见,这样的滤波器并未示出,并且可对第二加法器1145的输出进行滤波。

在至少一个实施方式中,解码图片缓冲器1147可以是参考图片存储器,其存储有供编码器模块1140使用以在诸如帧内或帧间编码模式下对视频进行编码的参考块。解码图片缓冲器1147可以包括各种存储装置,诸如DRAM(包括SDRAM、MRAM、RRAM)或其他类型的存储装置。解码图片缓冲器1147可以与编码器模块1140的其他元件一起位于芯片上或相对于那些元件位于芯片外。

图9示出根据本公开的通过基于块单元的帧内预测模式索引选择采样滤波器来预测块单元的方法900。方法900仅是示例,因为有多种方式来执行该方法。方法900可以使用图1和图8中所示的配置来执行,并且在描述方法时参考了各种元素。

图9中所示的每个块表示一个或多个被执行的过程、方法或子程序。块的顺序仅是说明性的并且可能会改变。在不脱离本公开的情况下,可以添加附加的块或可以使用更少的块。

在块910处,编码器模块可以接收视频数据的图像帧并根据视频数据从图像帧确定块单元。视频数据可以是视频。

在至少一个实施方式中,参考图1和图8,源装置110可以经由源模块112接收视频。编码器模块1140可以从视频确定图像帧并划分图像帧以确定块单元。

在至少一种实施方式中,源装置110的预测处理单元1141可以经由分区单元11411从视频确定块单元,并且编码器模块1140可以基于分区单元11411的分区结果将多个分区指示提供到比特流中。

在块920处,编码器模块可以确定块单元的帧内预测模式并确定与块单元相邻的多个参考样本。

在至少一个实施方式中,参考图8,编码器模块1140可以从帧内模式列表的多个帧内候选模式中选择帧内预测模式。每个帧内候选模式具有帧内模式索引,每个索引指示帧内候选模式中的一个对应模式。帧内候选模式包括多个广角候选模式,并且广角候选模式的帧内模式索引可以是多个广角模式索引。

在至少一个实施方式中,帧内候选模式可以包括多个非角度候选模式和多个角度候选模式。非角度候选模式可以是平面模式和DC模式。平面模式的帧内模式索引可以等于零并且DC模式的帧内模式索引可以等于一。

在至少一个实施方式中,每个广角候选模式均可以包括在角度候选模式中,与广角度候选模式不同的其他角度候选模式可以是多个角度默认候选模式。当编码器模块1140基于诸如视频编码(VVC)等视频编码标准对视频进行编码时,角度候选模式的帧内模式索引可以包括表1中的-14至-1和2至80。

每个角度候选模式均具有角度参数(IntraPredAngle)。可以预先定义帧内候选模式的角度参数以对视频数据进行编码和对视频数据进行解码。

在至少一个实施方式中,预测处理单元1141可以基于诸如成本函数等模式选择方法来选择编码结果之一。编码结果可以由帧内预测单元11412基于帧内候选模式生成并且由帧间预测单元11413根据多个运动矢量生成。模式选择方法可以是速率失真优化(RDO)过程。

在至少一个实施方式中,解码器模块1240可以进一步在基于帧内预测模式生成所选择的编码结果时为参考样本选择滤波方法。帧内预测单元11412还可以在预测处理单元1141比较编码结果之前基于帧内候选模式为参考样本选择滤波方法。

在至少一个实施方式中,参考图8,编码器模块1140可以确定与块单元相邻的多个块。在对块单元进行预测之前预测的每个相邻块可以包括用于对块单元进行预测的多个参考块。

包括在预测相邻块中的每个参考块可以包括参考分量。可以选择包括在参考块中的参考分量作为用于预测块单元的参考样本。

在至少一个实施方式中,参考图5,块单元510可以包括分量块511-516,并且预测的相邻块可以包括具有参考块521-526的参考块520。图5中示出多条虚构的水平线561-563和多条虚构的垂直线571-579,仅用于说明全采样位置,并且编码器模块1140不需要确定虚拟水平线561-563和虚拟垂直线571-579。

在至少一个实施方式中,参考样本可以位于参考块的多个块中心。块中心可以包括基于虚拟水平线563和虚拟垂直线573-575和577-579之间的多个全采样交叉点确定的多个全采样位置5211-5261。可以基于帧内预测模式的模式方向和虚拟水平线563之间的多个分数采样交叉点,将参考块521-526中的其他位置确定为多个分数采样位置。每个分数采样位置可以位于两个相邻的参考样本之间。

在块930处,编码器模块可以将帧内预测模式与多个预定义模式进行比较,每个预定义模式对应于可被预定义值整除的角度参数。

在至少一个实施方式中,参考图1,可以在源装置110和目标装置120中预定义帧内候选模式。一些帧内模式索引可以被设置为用于与帧内预测模式进行比较的预定义模式。因此,预定义模式可以在源装置110和目标装置120中预先确定。

编码器模块1140可以将帧内预测模式与多个预定义模式进行比较,每个预定义模式对应于可被预定义值整除的角度参数。参考图8,解码器模块1140可以将帧内预测模式与预定义模式进行比较以确定帧内预测模式是否与预定义模式不同。预定义模式的角度参数可以被预定义值整除。预定义值可以等于插值滤波器的分数采样精度参数。在VVC中,插值滤波器的分数采样精度参数可以被预定义为32,使得预定义值等于32。因此,根据表1的预定义模式的角度参数可以包括±32、64、128、256和512,并且与预定义模式相对应的多个预定义索引可以包括-14、-12、-10、-6、2、34、66、72、76、78和80。

在至少一个实施方式中,因为预定义值等于分数采样精度参数,所以预定义索引的角度参数可以被分数采样精度参数整除。参考图7,可以基于分数采样精度参数来划分与块单元710相邻的多个参考块720的多个采样位置。

一个对应帧内候选模式所指向的每个采样位置的位置编号可以被设置为该对应帧内候选模式的角度参数。当一个特定帧内候选模式的角度参数等于0或者为分数采样精度参数的正值或负值时,该特定帧内候选模式所指向的采样位置为参考块720的全采样位置。

当特定帧内候选模式的角度参数不为零或分数采样精度参数的正值和负值时,该特定帧内候选模式所指向的采样位置为参考块720的分数采样位置。当从广角候选模式中选择的帧内候选模式的角度参数可以被分数采样精度参数整除时,帧内预测模式所指向的采样位置是参考块720的全采样位置。换句话说,当从广角候选模式中选择的帧内候选模式的角度参数不能被分数采样精度参数整除时,帧内预测模式所指向的采样位置是参考块720的分数采样位置。

在块940处,编码器模块1140可以基于参考样本从基于比较结果选择的多个采样滤波器中的一个生成多个滤波后样本。采样滤波器可以包括插值滤波器和参考滤波器。

参考图8,当编码器模块1140确定每个预定义模式均与帧内预测模式不同时,可以选择插值滤波器来对参考样本进行滤波以便生成滤波后样本。当每个预定义模式均与帧内预测模式不同时,帧内预测模式所指向的采样位置是分数采样位置。因此,当帧内预测模式所指向的采样位置为分数采样位置时,可以选择插值滤波器对参考样本进行滤波以便生成滤波后样本。

在至少一个实施方式中,当编码器模块1140确定帧内预测模式与预定义模式之一相同时,可以选择参考滤波器来对参考样本进行滤波以便生成滤波后样本。当帧内预测模式等于预定义模式之一时,帧内预测模式所指向的采样位置为全采样位置。

因此,当帧内预测模式所指向的采样位置为全采样位置时,可以选择参考滤波器对参考样本进行滤波以便生成滤波后样本。当参考样本由参考滤波器进行滤波以便生成滤波后样本时,滤波后样本绕过插值滤波器。

参考图5和图8,当帧内预测模式从块单元510指向参考块的分数采样位置时,虚拟水平线563与帧内预测模式的分量方向之间的多个样本交叉点处可能不存在参考样本。因此,编码器模块1140可以选择与样本交叉点相邻的参考样本中的一些样本并且基于所选择的参考样本通过内插来生成滤波后参考样本。

分量方向533可以从分量块513指向参考块523的分数采样位置532。因此,编码器模块1140可以选择参考块522、523和/或其他相邻参考块中的参考样本,以基于为分量块513选择的参考样本通过内插来生成滤波后参考样本。插值滤波器可以包括四抽头高斯滤波器(fG)和四抽头DCT滤波器(fC)中的至少一种。

当帧内预测模式从块单元510指向参考样本的全采样位置时,虚拟水平线563与帧内预测模式的分量方向之间的多个样本交叉点可以位于全采样位置。因此,编码器模块1140可以在无需内插的情况下直接选择参考样本来生成滤波后参考样本。

分量方向542可以从分量块515指向参考块525的全采样位置5251。因此,编码器模块1140可以在参考块525中为分量块515选择参考样本。所选择的参考块可以由参考滤波器进行滤波。参考滤波器可以是[1 2 1]三抽头平滑滤波器,其适用于所选择的参考块以及与所选择的参考块相邻的其他参考块的参考样本。

在块950处,编码器模块可以基于帧内预测模式从滤波后样本预测块单元。参考图1和图8,帧内预测单元11412可以基于帧内预测模式为块单元中的分量块生成预测分量。

源装置110中的编码器模块1140的第一加法器1142可以基于预测分量生成多个残差样本并且向目标装置120提供包括与残差样本相对应的多个系数的比特流。编码器模块1140可以预测图像帧中的所有其他块单元以预测图像帧和视频。

根据以上描述,可以看出在不脱离这些概念范围的情况下,可使用多种技术来实施本公开中叙述的概念。此外,虽然已经具体参考某些实施方式叙述了这些概念,但是本领域具有通常知识者将认识到在不脱离这些概念范围的情况下可在形式和细节上进行改变。

如此一来,所述的实施方式在各方面都将被视为是说明性而非限制性的。并且,应理解本公开并不限于上述的特定实施方式,且在不脱离本揭露范围的情况下,对此些实施方式进行诸多重新安排、修改和替换是可能的。

32页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:网络抽象层单元头

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类