图像预测方法、编码器、解码器以及存储介质

文档序号:1956988 发布日期:2021-12-10 浏览:16次 >En<

阅读说明:本技术 图像预测方法、编码器、解码器以及存储介质 (Image prediction method, encoder, decoder, and storage medium ) 是由 万帅 霍俊彦 马彦卓 张伟 于 2019-10-12 设计创作,主要内容包括:本申请实施例公开了一种图像预测方法、编码器、解码器以及存储介质,该方法包括:通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。(The embodiment of the application discloses an image prediction method, an encoder, a decoder and a storage medium, wherein the method comprises the following steps: obtaining an initial prediction value of a current block to be predicted of an image component in an image through a prediction model; and filtering the initial prediction value to obtain a target prediction value of the current block to-be-predicted image component.)

图像预测方法、编码器、解码器以及存储介质

技术领域

本申请实施例涉及视频编解码的技术领域,尤其涉及一种图像预测方法、编码器、解码器以及存储介质。

背景技术

在最新的视频编码标准H.266/多功能视频编码(Versatile Video Coding,VVC)中,已经允许跨分量预测的存在;其中,跨分量线性模型预测(Cross-component LinearModel Prediction,CCLM)是典型的跨分量预测技术之一。利用跨分量预测技术,可以实现由一个分量预测另一个分量(或者其残差),例如由亮度分量预测色度分量、或者由色度分量预测亮度分量、或者由色度分量预测色度分量等。

不同的分量具有不同的统计特性,使得各分量间的统计特性存在差异。然而在进行分量预测时,现有的跨分量预测技术考虑不全面,导致预测效率较低。

发明内容

本申请实施例提供一种图像预测方法、编码器、解码器以及存储介质,通过平衡跨分量预测后各图像分量的统计特性,从而不仅能够提高预测效率,而且还能够提高视频图像的编解码效率。

本申请实施例的技术方案可以如下实现:

第一方面,本申请实施例提供了一种图像预测方法,应用于编码器或解码器,该方法包括:

通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

第二方面,本申请实施例提供了一种编码器,该编码器包括第一预测单元和第一处理单元,其中,

第一预测单元,配置为通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

第一处理单元,配置为对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

第三方面,本申请实施例提供了一种编码器,该编码器包括第一存储器和第一处理器,其中,

第一存储器,用于存储能够在所述第一处理器上运行的计算机程序;

第一处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。

第四方面,本申请实施例提供了一种解码器,该解码器包括第二预测单元和第二处理单元,其中,

第二预测单元,配置为通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

第二处理单元,配置为对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

第五方面,本申请实施例提供了一种解码器,该解码器包括第二存储器和第二处理器,其中,

第二存储器,用于存储能够在所述第二处理器上运行的计算机程序;

第二处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。

第六方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有图像预测程序,所述图像预测程序被第一处理器或第二处理器执行时实现如第一方面所述的方法。

本申请实施例提供了一种图像预测方法、编码器、解码器以及存储介质,首先通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;然后对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对当前块的至少一个图像分量进行预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而不仅提高了预测效率,而且由于所得到的目标预测值更接近于真实值,使得图像分量的预测残差较小,这样在编解码过程中所传输的比特率少,同时还能够提高视频图像的编解码效率。

附图说明

图1为相关技术方案提供的一种传统跨分量预测架构的组成结构示意图;

图2为本申请实施例提供的一种视频编码系统的组成框图示意图;

图3为本申请实施例提供的一种视频解码系统的组成框图示意图;

图4为本申请实施例提供的一种图像预测方法的流程示意图;

图5为本申请实施例提供的一种改进型跨分量预测架构的组成结构示意图;

图6为本申请实施例提供的一种编码器的组成结构示意图;

图7为本申请实施例提供的一种编码器的具体硬件结构示意图;

图8为本申请实施例提供的一种解码器的组成结构示意图;

图9为本申请实施例提供的一种解码器的具体硬件结构示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。

在视频图像中,一般采用第一图像分量、第二图像分量和第三图像分量来表征编码块;其中,这三个图像分量分别为一个亮度分量、一个蓝色色度分量和一个红色色度分量,具体地,亮度分量通常使用符号Y表示,蓝色色度分量通常使用符号Cb或者U表示,红色色度分量通常使用符号Cr或者V表示;这样,视频图像可以用YCbCr格式表示,也可以用YUV格式表示。

在本申请实施例中,第一图像分量可以为亮度分量,第二图像分量可以为蓝色色度分量,第三图像分量可以为红色色度分量,但是本申请实施例不作具体限定。

为了进一步提升编解码性能,H.266/VCC提出了CCLM的跨分量预测技术。其中,基于CCLM的跨分量预测技术,不仅可以实现亮度分量到色度分量的预测,即第一图像分量到第二图像分量、或者第一图像分量到第三图像分量的预测,还可以实现色度分量到亮度分量的预测,即第二图像分量到第一图像分量、或者第三图像分量到第一图像分量的预测,甚至也可以实现色度分量与色度分量之间的预测,即第二图像分量到第三图像分量、或者第三图像分量到第二图像分量的预测等。在本申请实施例中,下述将以第一图像分量到第二图像分量的预测为例进行描述,但是本申请实施例的技术方案同样也可以适用于其他图像分量的预测。

参见图1,其示出了相关技术方案提供的一种传统跨分量预测架构的组成结构示意图。如图1所示,利用第一图像分量(例如用Y分量表示)预测第二图像分量(例如用U分量表示);假定视频图像采用YUV为4:2:0格式,则Y分量与U分量具有不同的分辨率,此时需要对Y分量进行下采样处理或者对U分量进行上采样处理,以达到待预测分量的目标分辨率,这样就可以在分量之间以相同的分辨率进行预测。本示例中,使用Y分量预测第三图像分量(例如用V分量表示)的方法与此相同。

在图1中,传统跨分量预测架构10可以包括Y分量编码块110、分辨率调整单元120、Y1分量编码块130、U分量编码块140、预测模型150、跨分量预测单元160。其中,视频图像的Y分量用2N×2N大小的Y分量编码块110表示,这里加粗的较大方框用于突出指示Y分量编码块110,而周围的灰色实心圆圈用于指示Y分量编码块110的相邻参考值Y(n);视频图像的U分量用N×N大小的U分量编码块140表示,这里加粗的较大方框用于突出指示U分量编码块140,而周围的灰色实心圆圈用于指示U分量编码块140的相邻参考值C(n);由于Y分量与U分量具有不同的分辨率,需要经过分辨率调整单元120对Y分量进行分辨率调整,得到N×N大小的Y1分量编码块130;对于Y1分量编码块130,这里加粗的较大方框用于突出指示Y1分量编码块130,而周围的灰色实心圆圈用于指示Y1分量编码块130的相邻参考值Y1(n);然后通过Y1分量编码块130的相邻参考值Y1(n)和U分量编码块140的相邻参考值C(n)可以构建出预测模型150;根据Y1分量编码块130的Y分量重建像素值和预测模型150,可以跨分量预测单元160进行分量预测,最终输出U分量预测值。

针对传统跨分量预测架构10,在进行图像分量预测时考虑不全面,比如没有考虑到各图像分量间统计特性的差异性,使得预测效率较低。为了提高预测效率,本申请实施例提供了一种图像预测方法,首先通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;然后对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对当前块的至少一个图像分量进行预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而不仅提高了预测效率,而且还提高了视频图像的编解码效率。

下面将结合附图对本申请各实施例进行详细描述。

参见图2,其示出了本申请实施例提供的一种视频编码系统的组成框图示例;如图2所示,该视频编码系统20包括变换与量化单元201、帧内估计单元202、帧内预测单元203、运动补偿单元204、运动估计单元205、反变换与反量化单元206、滤波器控制分析单元207、滤波单元208、编码单元209和解码图像缓存单元210等,其中,滤波单元208可以实现去方块滤波及样本自适应缩进(Sample Adaptive 0ffset,SAO)滤波,编码单元209可以实现头信息编码及基于上下文的自适应二进制算术编码(Context-based Adaptive BinaryArithmatic Coding,CABAC)。针对输入的原始视频信号,通过编码树块(Coding TreeUnit,CTU)的划分可以得到一个编码块,然后对经过帧内或帧间预测后得到的残差像素信息通过变换与量化单元201对该编码块进行变换,包括将残差信息从像素域变换到变换域,并对所得的变换系数进行量化,用以进一步减少比特率;帧内估计单元202和帧内预测单元203是用于对该编码块进行帧内预测;明确地说,帧内估计单元202和帧内预测单元203用于确定待用以编码该编码块的帧内预测模式;运动补偿单元204和运动估计单元205用于执行所接收的该编码块相对于一或多个参考帧中的一或多个块的帧间预测编码以提供时间预测信息;由运动估计单元205执行的运动估计为产生运动向量的过程,所述运动向量可以估计该编码块的运动,然后由运动补偿单元204基于由运动估计单元205所确定的运动向量执行运动补偿;在确定帧内预测模式之后,帧内预测单元203还用于将所选择的帧内预测数据提供到编码单元209,而且运动估计单元205将所计算确定的运动向量数据也发送到编码单元209;此外,反变换与反量化单元206是用于该编码块的重构建,在像素域中重构建残差块,该重构建残差块通过滤波器控制分析单元207和滤波单元208去除方块效应伪影,然后将该重构残差块添加到解码图像缓存单元210的帧中的一个预测性块,用以产生经重构建的视频块;编码单元209是用于编码各种编码参数及量化后的变换系数,在基于CABAC的编码算法中,上下文内容可基于相邻编码块,可用于编码指示所确定的帧内预测模式的信息,输出该视频信号的码流;而解码图像缓存单元210是用于存放重构建的视频块,用于预测参考。随着视频图像编码的进行,会不断生成新的重构建的视频块,这些重构建的视频块都会被存放在解码图像缓存单元210中。

参见图3,其示出了本申请实施例提供的一种视频解码系统的组成框图示例;如图3所示,该视频解码系统30包括解码单元301、反变换与反量化单元302、帧内预测单元303、运动补偿单元304、滤波单元305和解码图像缓存单元306等,其中,解码单元301可以实现头信息解码以及CABAC解码,滤波单元305可以实现去方块滤波以及SAO滤波。输入的视频信号经过图2的编码处理之后,输出该视频信号的码流;该码流输入视频解码系统30中,首先经过解码单元301,用于得到解码后的变换系数;针对该变换系数通过反变换与反量化单元302进行处理,以便在像素域中产生残差块;帧内预测单元303可用于基于所确定的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前待解码的视频块的预测数据;运动补偿单元304是通过剖析运动向量和其他关联语法元素来确定用于该待解码的视频块的预测信息,并使用该预测信息以产生正被解码的视频块的预测性块;通过对来自反变换与反量化单元302的残差块与由帧内预测单元303或运动补偿单元304产生的对应预测性块进行求和,而形成经解码的视频块;经解码的视频块通过滤波单元305以便去除方块效应伪影,可以改善视频质量;然后将经解码的视频块存储于解码图像缓存单元306中,解码图像缓存单元306存储用于后续帧内预测或运动补偿的参考图像,同时也用于视频信号的输出,即得到了所恢复的原始视频信号。

本申请实施例主要应用在如图2所示的帧内预测单元203部分和如图3所示的帧内预测单元303部分;也就是说,本申请实施例既可以应用于视频编码系统,也可以应用于视频解码系统,本申请实施例不作具体限定。

基于上述图2或者图3的应用场景示例,参见图4,其示出了本申请实施例提供的一种图像预测方法的流程示意图,该方法可以包括:

S401:通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

S402:对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

需要说明的是,视频图像可以划分为多个图像块,每个当前待编码的图像块可以称为编码块。其中,每个编码块可以包括第一图像分量、第二图像分量和第三图像分量,而当前块为视频图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的编码块。

还需要说明的是,本申请实施例的图像预测方法,既可以应用于视频编码系统,又可以应用于视频解码系统,甚至还可以同时应用于视频编码系统和视频解码系统,本申请实施例不作具体限定。

本申请实施例中,首先通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;再对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对至少一个图像分量预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量预测后各图像分量的统计特性,从而不仅提高了预测效率,而且还提高了视频图像的编解码效率。

进一步地,由于不同的图像分量具有不同的统计特性,而且各个图像分量间的统计特性存在差异,比如亮度分量具有丰富的纹理特性,而色度分量则更趋于均匀平坦;为了能够更好地平衡跨分量预测后各图像分量的统计特性,这时候还需要对当前块的至少一个图像分量进行特性统计。因此,在一些实施例中,对于S402来说,在所述对所述初始预测值进行滤波处理之前,该方法还可以包括:

对所述当前块的至少一个图像分量进行特性统计;其中,所述至少一个图像分量包括待预测图像分量和/或待参考图像分量,所述待预测图像分量不同于所述待参考图像分量;

根据特性统计的结果,获取所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值;其中,所述待预测图像分量为构建所述预测模型时所被预测的分量,所述待参考图像分量为构建所述预测模型时所用于预测的分量。

需要说明的是,当前块的至少一个图像分量可以是待预测图像分量,也可以是待参考图像分量,甚至还可以是待预测图像分量和待参考图像分量。假定通过预测模型来实现第一图像分量对第二图像分量的预测,那么待预测图像分量为第二图像分量,待参考图像分量为第一图像分量;或者,假定通过预测模型来实现第一图像分量对第三图像分量的预测,那么待预测图像分量为第三图像分量,待参考图像分量仍为第一图像分量。

这样,通过对当前块的至少一个图像分量进行特性统计,根据特性统计的结果,可以得到当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值。

本申请实施例中,通过预测模型,获得图像中当前块的待预测图像分量的初始预测值。对当前块的至少一个图像分量进行特性统计,其中,至少一个图像分量包括待预测图像分量和/或待参考图像分量。根据特性统计的结果,获取当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值,其中,待预测图像分量为构建预测模型时所被预测的分量,待参考图像分量为构建预测模型时所用于预测的分量。对初始预测值进行滤波处理,得到当前块的待预测图像分量的目标预测值。

进一步地,为了提高预测效率,可以根据当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值,对当前块的待预测图像分量的初始预测值进行滤波处理。

在一些实施例中,所述根据所述至少一个图像分量的参考值对所述至少一个图像分量对应的初始预测值进行处理,可以包括:

根据所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理;

根据所述处理的结果,得到所述目标预测值。

需要说明的是,根据当前块的至少一个图像分量的特性统计的结果,在获得当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值之后,可以利用预设处理模式对初始预测值进行滤波处理。具体来说,可以利用过滤处理对初始预测值进行滤波处理,或者,也可以利用分组处理对初始预测值进行滤波处理,或者,还可以利用值修正处理对初始预测值进行滤波处理,或者,还可以利用量化处理对初始预测值进行滤波处理,或者,还可以利用反量化处理(也可以称为去量化处理)对初始预测值进行滤波处理等等,本申请实施例不作具体限定。

示例性地,为了提高预测效率,即提高预测值的准确性,假定利用亮度分量预测色度分量,针对预测模型所获取的色度分量的初始预测值,如果预设处理模式采用值修正处理,由于亮度分量与色度分量具有不同的统计特性,根据两个图像分量的统计特性的差异,那么可以得到一个偏差因子;然后利用该偏差因子对初始预测值进行值修正处理(比如将初始预测值与该偏差因子进行相加处理)以平衡跨分量预测后各图像分量间的统计特性,从而所获取到色度分量的目标预测值,此时该色度分量的目标预测值与色度分量的真实值更为接近;如果预设处理模式采用过滤处理,由于亮度分量与色度分量具有不同的统计特性,根据两个图像分量的统计特性的差异,那么可以对初始预测值进行过滤处理以平衡跨分量预测后各图像分量间的统计特性,从而所获取到色度分量对应的目标预测值,此时该色度分量的目标预测值与色度分量的真实值更为接近;如果预设处理模式采用分组处理,由于亮度分量与色度分量具有不同的统计特性,根据两个图像分量的统计特性的差异,那么可以对初始预测值进行分组处理以平衡跨分量预测后各图像分量间的统计特性,根据分组处理后的初始预测值可以获取到色度分量对应的目标预测值,此时该色度分量的目标预测值与色度分量的真实值更为接近;除此之外,由于在确定初始预测值的过程中涉及到对亮度分量和色度分量的量化处理和反量化处理,同时由于亮度分量与色度分量具有不同的统计特性,根据两个图像分量的统计特性的差异可能会导致量化处理和反量化处理存在差异性,这时候如果预设处理模式采用量化处理,那么可以对初始预测值进行量化处理以平衡跨分量预测后各图像分量间的统计特性,从而所获取到色度分量对应的目标预测值,此时该色度分量的目标预测值与色度分量的真实值更为接近;如果预设处理模式反量化处理,那么可以对初始预测值进行去量化处理以平衡跨分量预测后各图像分量间的统计特性,从而所获取到色度分量对应的目标预测值,此时该色度分量的目标预测值与色度分量的真实值更为接近;从而提高了预测值的准确性,也就提高了预测效率。

本申请实施例中,通过预测模型,获得图像中当前块的待预测图像分量的初始预测值。对当前块的至少一个图像分量进行特性统计,其中,至少一个图像分量包括待预测图像分量和/或待参考图像分量。根据特性统计的结果,获取当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值,其中,待预测图像分量为构建预测模型时所被预测的分量,待参考图像分量为构建预测模型时所用于预测的分量。根据当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值,利用预设处理模式对初始预测值进行滤波处理,其中,预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理。根据处理的结果,得到目标预测值。

进一步地,为了提高预测效率,还可以根据当前块的待预测图像分量的参考值和/或当前块的待参考图像分量的参考值,对当前块的待预测图像分量的初始预测残差进行滤波处理。

在一些实施例中,对于S401来说,在所述通过预测模型,获得图像中当前块的待预测图像分量的初始预测值之后,该方法还可以包括:

基于所述初始预测分量值,计算得到所述当前块的待预测图像分量的初始预测残差;

根据所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测残差进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理;

根据所述处理的结果,得到所述目标预测残差。

进一步地,在一些实施例中,对于S402来说,所述得到所述当前块的待预测图像分量的目标预测值,可以包括:

根据所述目标预测残差,计算得到所述当前块的待预测图像分量的目标预测值。

需要说明的是,预测残差是由图像分量的预测值和图像分量的真实值之间的差值得到;为了提高视频图像的编解码效率,则需要保证当前块所传输的预测残差尽可能地小。

为了使得预测残差尽可能地小,一方面,在经过预测模型获取到待预测图像分量对应的初始预测值之后,可以是对该初始预测值按照预设处理模式对其进行滤波处理,得到待预测图像分量的目标预测值,由于待预测图像分量的目标预测值尽可能地接近待预测图像分量的真实值,从而使得两者之间的预测残差尽可能地小;另一方面,在经过预测模型获取到待预测图像分量对应的初始预测值之后,还可以是根据待预测图像分量的初始预测值与待预测图像分量的真实值之间的差值,先确定出待预测图像分量的初始预测残差,然后针对该初始预测残差按照预设处理模式对其进行滤波处理,得到待预测图像分量的目标预测残差,根据该目标预测残差可以得到待预测图像分量的目标预测值;由于该目标预测残差尽可能地小,从而待预测图像分量的目标预测值尽可能地接近待预测图像分量的真实值。也就是说,本申请实施例不仅可以应用于对当前块的待预测图像分量的初始预测值进行滤波处理,也可以应用于对当前块的待预测图像分量的初始预测残差进行滤波处理;经过滤波处理之后,可以平衡跨分量预测后各图像分量的统计特性,从而不仅提高了预测效率,而且由于得到的目标预测值更接近于真实值,使得待预测图像分量的预测残差较小,这样在编解码过程中所传输的比特率少,同时还提高了视频图像的编解码效率。

进一步地,在获得当前块的待预测图像分量的初始预测值之前,还需要确定预测模型的模型参数,以构建预测模型。因此,在一些实施例中,对于S401来说,在所述通过预测模型,获得图像中当前块的待预测图像分量的初始预测值之前,该方法还可以包括:

确定所述当前块的待预测图像分量的参考值,其中,所述当前块的待预测图像分量的参考值是所述当前块相邻像素的所述待预测图像分量值;

确定所述当前块的待参考图像分量的参考值,其中,所述当前块的待参考图像分量不同于所述待预测图像分量,所述当前块的待参考图像分量的参考值是所述当前块相邻像素的所述参考图像分量值;

根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,计算所述预测模型的模型参数;

根据计算得到的模型参数,构建所述预测模型,其中,所述预测模型用于根据所述当前块的待参考图像分量对所述当前块的待预测图像分量进行跨分量预测处理。

需要说明的是,本申请实施例中的预测模型可以是线性模型,比如CCLM的跨分量预测技术;该预测模型也可以是非线性模型,比如多模型CCLM(Multiple Model CCLM,MMLM)的跨分量预测技术,它是由多个线性模型构成的。本申请实施例将以预测模型为线性模型为例进行如下描述,但是本申请实施例的图像预测方法同样可以适用于非线性模型。

模型参数包括第一模型参数(用α表示)和第二模型参数(用β表示)。而针对α和β的计算具有多种方式,可以是以最小二乘法构造的预设因子计算模型,也可以是以最大值与最小值构造的预设因子计算模型,甚至还可以是其他方式构造的预设因子计算模型,本申请实施例不作具体限定。

以最小二乘法构造的预设因子计算模型为例,首先需要确定当前块的待预测图像分量的参考值和当前块的待参考图像分量的参考值,其中,当前块的待参考图像分量的参考值可以为当前块相邻像素的参考图像分量值(比如第一图像分量相邻参考值),当前块的待预测图像分量的参考值可以为当前块相邻像素的待预测图像分量值(比如第二图像分量相邻参考值);利用第一图像分量相邻参考像素值和第二图像分量相邻参考像素值的最小化回归误差进行推导得到预测模型的模型参数,具体地,如式(1)所示:

其中,L(n)表示经过下采样的当前块左侧边和上侧边所对应的第一图像分量相邻参考值,C(n)表示当前块左侧边和上侧边所对应的第二图像分量相邻参考值,N为第二图像分量当前块的边长,n=1,2,...,2N。通过式(1)的计算,可以得到第一模型参数α和第二模型参数β;基于α和β,假设根据第一图像分量预测第二图像分量,那么所构建的预测模型如式(2)所示,

PredC[i,j]=α·RecL[i,j]+β (2)

其中,i,j表示当前块中像素点的位置坐标,i表示水平方向,j表示竖直方向,PredC[i,j]表示当前块中位置坐标为[i,j]的像素点对应的第二图像分量预测值,RecL[i,j]表示同一当前块中(经过下采样的)位置坐标为[i,j]的像素点对应的第一图像分量重建值。

以最大值与最小值构造的预设因子计算模型为例,它提供了一种简化版模型参数的推导方法,具体地,可以通过搜索最大的第一图像分量相邻参考值和最小的第一图像分量相邻参考值,根据“两点确定一线”原则来推导出预测模型的模型参数,如式(3)所示:

其中,Lmax和Lmin表示经过下采样的当前块左侧边和上侧边所对应的第一图像分量相邻参考值中搜索得到的最大值和最小值,Cmax和Cmin表示Lmax和Lmin对应位置的参考像素点所对应的第二图像分量相邻参考值。根据Lmax和Lmin以及Cmax和Cmin,通过式(3)的计算,也可以得到第一模型参数α和第二模型参数β;基于α和β,假设根据第一图像分量预测第二图像分量,那么所构建的预测模型仍然如上述式(2)所示。

在构建出预测模型之后,可以根据该预测模型进行图像分量的预测;比如根据式(2)所示的预测模型,可以利用第一图像分量预测第二图像分量,比如利用亮度分量预测色度分量,从而得到了色度分量的初始预测值,后续可以根据亮度分量的参考值和/或色度分量的参考值,利用预设处理模式对该初始预测值进行滤波处理,从而得到该色度分量的目标预测值;也可以利用第二图像分量预测第一图像分量,比如利用色度分量预测亮度分量,从而得到了亮度分量的初始预测值,后续可以根据亮度分量的参考值和/或色度分量的参考值,利用预设处理模式对该初始预测值进行滤波处理,从而得到该亮度分量对应的目标预测值;甚至还可以利用第二图像分量预测第三图像分量,比如利用蓝色色度分量预测红色色度分量,从而得到了红色色度分量的初始预测值,后续可以根据蓝色色度分量的参考值和/或红色色度分量的参考值,利用预设处理模式对该初始预测值进行滤波处理,从而得到该红色色度分量的目标预测值;可以达到提高预测效率的目的。

进一步地,各图像分量的分辨率并不是相同的,为了方便构建预测模型,还需要对图像分量的分辨率进行调整(包括对图像分量进行上采样或者对图像分量进行下采样),以达到待预测图像分量的目标分辨率。

可选地,在一些实施例中,在所述计算所述预测模型的模型参数之前,该方法还可以包括:

当所述当前块的待预测图像分量的分辨率与所述当前块的待参考图像分量的分辨率不同时,对所述待参考图像分量的分辨率进行分辨率调整;其中,所述分辨率调整包括上采样调整或下采样调整;

基于调整后的所述待参考图像分量的分辨率,对所述当前块的待参考图像分量的参考值进行更新,得到所述当前块的待参考图像分量的第一参考值;其中,调整后的所述待参考图像分量的分辨率与所述待预测图像分量的分辨率相同。

可选地,在一些实施例中,在所述计算所述预测模型的模型参数之前,该方法还可以包括:

当所述当前块的待预测图像分量的分辨率与所述当前块的待参考图像分量的分辨率不同时,对所述当前块的待参考图像分量的参考值进行调整处理,得到所述当前块的待参考图像分量的第一参考值,其中,所述调整处理包括下述其中之一:下采样滤波,上采样滤波,下采样滤波及低通滤波的级联滤波,上采样滤波及低通滤波的级联滤波。

需要说明的是,如果当前块的待预测图像分量的分辨率与当前块的待参考图像分量的分辨率不同,那么可以对待参考图像分量的分辨率进行分辨率调整,以使得调整后的待参考图像分量的分辨率与待预测图像分量的分辨率相同;这里的分辨率调整包括上采样调整或下采样调整;并且根据调整后的待参考图像分量的分辨率,对当前块的待参考图像分量的参考值进行更新,得到当前块的待参考图像分量的第一参考值。

另外,如果当前块的待预测图像分量的分辨率与当前块的待参考图像分量的分辨率不同,那么还可以对当前块的待参考图像分量的参考值进行调整处理,得到当前块的待参考图像分量的第一参考值;这里的调整处理包括下述其中之一:下采样滤波,上采样滤波,下采样滤波及低通滤波的级联滤波,上采样滤波及低通滤波的级联滤波。

进一步地,在一些实施例中,所述根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,计算所述预测模型的模型参数,可以包括:

根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的第一参考值,计算所述预测模型的模型参数。

需要说明的是,如果当前块的待预测图像分量的分辨率与当前块的待参考图像分量的分辨率不同,那么在得到更新后的当前块的待参考图像分量的第一参考值之后,可以根据该当前块的待参考图像分量的第一参考值和当前块的待参考图像分量的第一参考值来计算预测模型的模型参数。

举例来说,假定利用亮度分量预测色度分量,此时待使用图像分量为亮度分量,而待预测图像分量为色度分量;由于亮度分量和色度分量的分辨率是不同的,在获取到色度分量的目标分辨率之后,由于亮度分量的分辨率不符合目标分辨率,这时候需要对亮度分量的分辨率进行调整,比如对亮度分量进行下采样处理,可以使得调整后的亮度分量的分辨率符合目标分辨率;反之,如果利用色度分量预测亮度分量,在获取到亮度分量的目标分辨率之后,由于色度分量的分辨率不符合目标分辨率,这时候需要对色度分量的分辨率进行调整,比如对色度分量进行上采样处理,可以使得调整后的色度分量的分辨率符合目标分辨率;另外,如果利用蓝色色度分量预测红色色度分量,在获取到红色色度分量的目标分辨率之后,由于蓝色色度分量的分辨率符合目标分辨率,这时候不需要对蓝色色度分量的分辨率进行调整,已经保证蓝色色度分量的分辨率符合目标分辨率;这样,可以根据相同分辨率来获得更新后的当前块的待参考图像分量的第一参考值,并且构建预测模型进行图像分量的预测。

除此之外,为了提高预测效率,还可以只是根据当前块的待预测图像分量的参考值对当前块的待预测图像分量的初始预测值进行滤波处理。

在一些实施例中,对于S402来说,所述对所述初始预测值进行滤波处理,可以包括:

根据所述当前块的待预测图像分量的参考值对所述初始预测值进行滤波处理,得到所述目标预测值;其中,所述当前块的待预测图像分量的参考值是通过对所述图像的待预测图像分量或所述当前块的待预测图像分量进行特性统计得到。

进一步地,所述根据所述当前块的待预测图像分量的参考值对所述初始预测值进行滤波处理,可以包括:

根据所述当前块的待预测图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理;其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

在一些实施例中,对于S402来说,所述对所述初始预测值进行滤波处理,包括:

利用所述初始预测值,计算得到所述当前块的待预测图像分量的初始预测残差;

根据所述当前块的待预测图像分量的参考值,利用预设处理模式对所述初始预测残差进行滤波处理;其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

需要说明的是,预设处理模式可以是过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理或自适应滤波处理等等。另外,当前块的待预测图像分量的参考值可以是通过对图像的待预测图像分量或当前块的待预测图像分量进行特性统计得到的,这里的特性统计并不局限于当前块的待预测图像分量,还可以扩展到当前块所属图像的待预测图像分量。

这样,针对滤波处理的过程,在得到当前块的待预测图像分量的初始预测值之后,可以根据当前块的待预测图像分量的参考值,利用预设处理模式对该初始预测值进行滤波处理,以得到目标预测值;或者,也可以利用初始预测值来计算出当前块的待预测图像分量的初始预测残差,然后根据当前块的待预测图像分量的参考值,利用预设处理模式对该初始预测残差进行滤波处理,以得到目标预测残差,根据该目标预测残差也可以得到目标预测值。

为了提高预测效率,也可以根据当前块的待预测图像分量的参考值和当前块的待参考图像分量的参考值对当前块的待预测图像分量的初始预测值进行滤波处理。

在一些实施例中,对于S401来说,在所述通过预测模型,获得图像中当前块的待预测图像分量的初始预测值之前,该方法还可以包括:

对所述图像的待预测图像分量进行特性统计;

根据所述特性统计的结果,确定所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值;其中,所述待参考图像分量不同于所述待预测图像分量;

根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,计算所述预测模型的模型参数。

进一步地,在一些实施例中,该方法还可以包括:

根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

需要说明的是,由于不同的图像分量具有不同的统计特性,而且各个图像分量间的统计特性存在差异,比如亮度分量具有丰富的纹理特性,而色度分量则更趋于均匀平坦;为了能够更好地平衡跨分量预测后各图像分量的统计特性,这时候需要对当前块的至少一个图像分量进行特性统计,比如对所述图像的待预测图像分量进行特性统计;然后根据特性统计的结果,确定当前块的待预测图像分量的参考值和当前块的待参考图像分量的参考值;根据当前块的待预测图像分量的参考值和当前块的待参考图像分量的参考值,除了可以计算预测模型的模型参数,以构建预测模型之外,还可以对初始预测值进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而提高了预测效率。

示例性地,参见图5,其示出了本申请实施例提供的一种改进型跨分量预测架构的组成结构示意图。如图5所示,在图1所示的传统跨分量预测架构10的基础上,改进型跨分量预测架构50还可以包括处理单元510,该处理单元510主要用于对经过跨分量预测单元160之后的预测值进行相关处理,以获得较为准确的目标预测值。

在图5中,对于当前块来说,假定以Y分量来预测U分量,由于Y分量编码块110与U分量编码块140具有不同的分辨率,此时需要通过分辨率调整单元120对Y分量进行分辨率调整,从而得到与U分量编码块140具有相同分辨率的Y1分量编码块130;然后利用Y1分量编码块130的相邻参考值Y1(n)和U分量编码块140的相邻参考值C(n),可以构建出预测模型150;根据Y1分量编码块130的Y分量重建像素值和预测模型150,通过跨分量预测单元160进行图像分量预测,得到U分量初始预测值;为了提高预测效率,还可以通过处理单元510对U分量初始预测值进行相关处理,比如过滤处理、分组处理、值修正处理、量化处理和反量化处理等,从而得到U分量目标预测值;由于该U分量目标预测值较为接近U分量真实值,提高了预测效率,同时还提高了视频图像的编解码效率。

本申请实施例中,当该图像预测方法应用于编码器侧时,在得到目标预测值之后,可以根据目标预测值与真实值之间的差值,以确定出预测残差,然后将预测残差写入码流中;同时还可以根据当前块的待预测图像分量的参考值和当前块的待参考图像分量的参考值来计算得到预测模型的模型参数,然后将计算得到的模型参数写入码流中;该码流由编码器侧传输到解码器侧;对应地,当该图像预测方法应用于解码器侧时,可以通过解析码流来获得预测残差,而且还可以通过解析码流来获得预测模型的模型参数,从而构建出预测模型;这样,在解码器侧,仍然通过预测模型,获得当前块的待预测图像分量的初始预测值;再对初始预测值进行滤波处理,可以得到当前块的待预测图像分量的目标预测值。

本实施例提供了一种图像预测方法,通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对当前块的至少一个图像分量进行预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而不仅提高了预测效率,而且由于所得到的目标预测值更接近于真实值,使得图像分量的预测残差较小,这样在编解码过程中所传输的比特率少,同时还能够提高视频图像的编解码效率。

基于前述实施例相同的发明构思,参见图6,其示出了本申请实施例提供的一种编码器60的组成结构示意图。该编码器60可以包括第一预测单元601和第一处理单元602,其中,

所述第一预测单元601,配置为通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

所述第一处理单元602,配置为对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

在上述方案中,参见图6,编码器60还可以包括第一统计单元603和第一获取单元604,其中,

所述第一统计单元603,配置为对所述当前块的至少一个图像分量进行特性统计;其中,所述至少一个图像分量包括待预测图像分量和/或待参考图像分量,所述待预测图像分量不同于所述待参考图像分量;

所述第一获取单元604,配置为根据特性统计的结果,获取所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值;其中,所述待预测图像分量为构建所述预测模型时所被预测的分量,所述待参考图像分量为构建所述预测模型时所用于预测的分量。

在上述方案中,所述第一处理单元602,配置为根据所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理;

所述第一获取单元604,配置为根据所述处理的结果,得到所述目标预测值。

在上述方案中,参见图6,编码器60还可以包括计算单元605,配置为基于所述初始预测分量值,计算得到所述当前块的待预测图像分量的初始预测残差;

所述第一处理单元602,还配置为根据所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测残差进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理;

所述第一获取单元604,还配置为根据所述处理的结果,得到所述目标预测残差。

在上述方案中,所述计算单元605,还配置为根据所述目标预测残差,计算得到所述当前块的待预测图像分量的目标预测值。

在上述方案中,参见图6,编码器60还可以包括第一确定单元606和第一构建单元607,其中,

所述第一确定单元606,配置为确定所述当前块的待预测图像分量的参考值,其中,所述当前块的待预测图像分量的参考值是所述当前块相邻像素的所述待预测图像分量值;以及确定所述当前块的待参考图像分量的参考值,其中,所述当前块的待参考图像分量不同于所述待预测图像分量,所述当前块的待参考图像分量的参考值是所述当前块相邻像素的所述参考图像分量值;

所述计算单元605,还配置为根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,计算所述预测模型的模型参数;

所述第一构建单元607,配置为根据计算得到的模型参数,构建所述预测模型,其中,所述预测模型用于根据所述当前块的待参考图像分量对所述当前块的待预测图像分量进行跨分量预测处理。

在上述方案中,参见图6,编码器60还可以包括第一调整单元608,配置为当所述当前块的待预测图像分量的分辨率与所述当前块的待参考图像分量的分辨率不同时,对所述待参考图像分量的分辨率进行分辨率调整;其中,所述分辨率调整包括上采样调整或下采样调整;以及基于调整后的所述待参考图像分量的分辨率,对所述当前块的待参考图像分量的参考值进行更新,得到所述当前块的待参考图像分量的第一参考值;其中,调整后的所述待参考图像分量的分辨率与所述待预测图像分量的分辨率相同。

在上述方案中,所述第一调整单元608,还配置为当所述当前块的待预测图像分量的分辨率与所述当前块的待参考图像分量的分辨率不同时,对所述当前块的待参考图像分量的参考值进行调整处理,得到所述当前块的待参考图像分量的第一参考值,其中,所述调整处理包括下述其中之一:下采样滤波,上采样滤波,下采样滤波及低通滤波的级联滤波,上采样滤波及低通滤波的级联滤波。

在上述方案中,所述计算单元605,还配置为根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的第一参考值,计算所述预测模型的模型参数。

在上述方案中,所述第一处理单元602,还配置为根据所述当前块的待预测图像分量的参考值对所述初始预测值进行滤波处理,得到所述目标预测值;其中,所述当前块的待预测图像分量的参考值是通过对所述图像的待预测图像分量或所述当前块的待预测图像分量进行特性统计得到。

在上述方案中,所述第一处理单元602,还配置为根据所述当前块的待预测图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理;其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

在上述方案中,所述计算单元605,还配置为利用所述初始预测值,计算得到所述当前块的待预测图像分量的初始预测残差;

所述第一处理单元602,还配置为根据所述当前块的待预测图像分量的参考值,利用预设处理模式对所述初始预测残差进行滤波处理;其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

在上述方案中,所述第一统计单元603,还配置为对所述图像的待预测图像分量进行特性统计;

所述第一确定单元606,还配置为根据所述特性统计的结果,确定所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值;其中,所述待参考图像分量不同于所述待预测图像分量;

所述计算单元605,还配置为根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,计算所述预测模型的模型参数。

在上述方案中,所述第一处理单元602,还配置为根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

可以理解地,在本申请实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有图像预测程序,所述图像预测程序被至少一个处理器执行时实现前述实施例所述方法的步骤。

基于上述编码器60的组成以及计算机存储介质,参见图7,其示出了本申请实施例提供的编码器60的具体硬件结构,可以包括:第一通信接口701、第一存储器702和第一处理器703;各个组件通过第一总线系统704耦合在一起。可理解,第一总线系统704用于实现这些组件之间的连接通信。第一总线系统704除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图7中将各种总线都标为第一总线系统704。其中,

第一通信接口701,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

第一存储器702,用于存储能够在第一处理器703上运行的计算机程序;

第一处理器703,用于在运行所述计算机程序时,执行:

通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

可以理解,本申请实施例中的第一存储器702可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请描述的系统和方法的第一存储器702旨在包括但不限于这些和任意其它适合类型的存储器。

而第一处理器703可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过第一处理器703中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器703可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器702,第一处理器703读取第一存储器702中的信息,结合其硬件完成上述方法的步骤。

可以理解的是,本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现,可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地,作为另一个实施例,第一处理器703还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。

本实施例提供了一种编码器,该编码器可以包括第一预测单元和第一处理单元,其中,第一预测单元配置为通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;第一处理单元配置为对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对当前块的至少一个图像分量进行预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而不仅提高了预测效率,而且由于所得到的目标预测值更接近于真实值,使得图像分量的预测残差较小,这样在编解码过程中所传输的比特率少,同时还能够提高视频图像的编解码效率。

基于前述实施例相同的发明构思,参见图8,其示出了本申请实施例提供的一种解码器80的组成结构示意图。该解码器80可以包括第二预测单元801和第二处理单元802,其中,

所述第二预测单元801,配置为通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

所述第二处理单元802,配置为对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

在上述方案中,参见图8,解码器80还可以包括第二统计单元803和第二获取单元804,其中,

所述第二统计单元803,配置为对所述当前块的至少一个图像分量进行特性统计;其中,所述至少一个图像分量包括待预测图像分量和/或待参考图像分量,所述待预测图像分量不同于所述待参考图像分量;

所述第二获取单元804,配置为根据特性统计的结果,获取所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值;其中,所述待预测图像分量为构建所述预测模型时所被预测的分量,所述待参考图像分量为构建所述预测模型时所用于预测的分量。

在上述方案中,所述第二处理单元802,配置为根据所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理;

所述第二获取单元804,配置为根据所述处理的结果,得到所述目标预测值。

在上述方案中,参见图8,解码器80还可以包括解析单元805,配置为解析码流,获得所述当前块的待预测图像分量的初始预测残差;

所述第二处理单元802,还配置为根据所述当前块的待预测图像分量的参考值和/或所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测残差进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理和去量化处理;

所述第二获取单元804,还配置为根据所述处理的结果,得到所述目标预测残差。

在上述方案中,参见图8,解码器80还可以包括第二构建单元806,其中,

所述解析单元805,还配置为解析码流,获得所述预测模型的模型参数;

所述第二构建单元806,配置为根据解析得到的模型参数,构建所述预测模型,其中,所述预测模型用于根据所述当前块的待参考图像分量对所述当前块的待预测图像分量进行跨分量预测处理。

在上述方案中,参见图8,解码器80还可以包括第二调整单元807,配置为当所述当前块的待预测图像分量的分辨率与所述当前块的待参考图像分量的分辨率不同时,对所述待参考图像分量的分辨率进行分辨率调整;其中,所述分辨率调整包括上采样调整或下采样调整;以及基于调整后的所述待参考图像分量的分辨率,对所述当前块的待参考图像分量的参考值进行更新,得到所述当前块的待参考图像分量的第一参考值;其中,调整后的所述待参考图像分量的分辨率与所述待预测图像分量的分辨率相同。

在上述方案中,所述第二调整单元807,还配置为当所述当前块的待预测图像分量的分辨率与所述当前块的待参考图像分量的分辨率不同时,对所述当前块的待参考图像分量的参考值进行调整处理,得到所述当前块的待参考图像分量的第一参考值,其中,所述调整处理包括下述其中之一:下采样滤波,上采样滤波,下采样滤波及低通滤波的级联滤波,上采样滤波及低通滤波的级联滤波。

在上述方案中,所述第二处理单元802,还配置为根据所述当前块的待预测图像分量的参考值对所述初始预测值进行滤波处理,得到所述目标预测值;其中,所述当前块的待预测图像分量的参考值是通过对所述图像的待预测图像分量或所述当前块的待预测图像分量进行特性统计得到。

在上述方案中,所述第二处理单元802,还配置为根据所述当前块的待预测图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理;其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

在上述方案中,所述解析单元805,配置为解析码流,获得所述当前块的待预测图像分量的初始预测残差;

所述第二处理单元802,还配置为根据所述当前块的待预测图像分量的参考值,利用预设处理模式对所述初始预测残差进行滤波处理;其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

在上述方案中,参见图8,解码器80还可以包括第二确定单元808,其中,

所述第二统计单元803,还配置为对所述图像的待预测图像分量进行特性统计;

所述第二确定单元808,还配置为根据所述特性统计的结果,确定所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值;其中,所述待参考图像分量不同于所述待预测图像分量。

在上述方案中,所述第二处理单元802,还配置为根据所述当前块的待预测图像分量的参考值和所述当前块的待参考图像分量的参考值,利用预设处理模式对所述初始预测值进行滤波处理,其中,所述预设处理模式至少包括下述其中之一:过滤处理、分组处理、值修正处理、量化处理、反量化处理、低通滤波处理和自适应滤波处理。

可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本实施例提供了一种计算机存储介质,该计算机存储介质存储有图像预测程序,所述图像预测程序被第二处理器执行时实现前述实施例中任一项所述的方法。

基于上述解码器80的组成以及计算机存储介质,参见图9,其示出了本申请实施例提供的解码器80的具体硬件结构,可以包括:第二通信接口901、第二存储器902和第二处理器903;各个组件通过第二总线系统904耦合在一起。可理解,第二总线系统904用于实现这些组件之间的连接通信。第二总线系统904除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为第二总线系统904。其中,

第二通信接口901,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

第二存储器902,用于存储能够在第二处理器903上运行的计算机程序;

第二处理器903,用于在运行所述计算机程序时,执行:

通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;

对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值。

可选地,作为另一个实施例,第二处理器903还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。

可以理解,第二存储器902与第一存储器702的硬件功能类似,第二处理器903与第一处理器703的硬件功能类似;这里不再详述。

本实施例提供了一种解码器,该解码器可以包括第二预测单元和第二处理单元,其中,第二预测单元配置为通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;第二处理单元配置为对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对当前块的至少一个图像分量进行预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而不仅提高了预测效率,而且还可以提高视频图像的编解码效率。

需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

工业实用性

本申请实施例中,首先通过预测模型,获得图像中当前块的待预测图像分量的初始预测值;然后对所述初始预测值进行滤波处理,得到所述当前块的待预测图像分量的目标预测值;这样,在对当前块的至少一个图像分量进行预测之后继续对该至少一个图像分量进行滤波处理,可以平衡跨分量间预测之后各图像分量的统计特性,从而不仅提高了预测效率,而且由于所得到的目标预测值更接近于真实值,使得图像分量的预测残差较小,这样在编解码过程中所传输的比特率少,同时还能够提高视频图像的编解码效率。

26页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:点云质量评估方法、编码器、解码器及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类