一种高动态范围hdr视频的处理方法、编码设备和解码设备

文档序号:1820037 发布日期:2021-11-09 浏览:17次 >En<

阅读说明:本技术 一种高动态范围hdr视频的处理方法、编码设备和解码设备 (Processing method, encoding device and decoding device for high dynamic range HDR video ) 是由 陈虎 伊蕾娜·阿尔希娜 徐巍炜 余全合 王弋川 于 2020-05-08 设计创作,主要内容包括:本申请提供了一种高动态范围HDR视频的处理方法、编码设备和解码设备,该方法可以在编码端根据质量评价算法确定HDR视频采用的模式。该方法包括:根据动态元数据生成算法获取第N帧的HDR视频的动态元数据;根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;根据所述曲线参数生成tone-mapping曲线;根据质量评价算法确定所述tone-mapping曲线造成的失真D′;比较所述D′和D-(T),确定所述第N帧的HDR视频采用的模式,所述模式是自动模式或导演模式,其中,所述D-(T)为门限值;根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据。(The application provides a processing method, an encoding device and a decoding device of a high dynamic range HDR video, and the method can determine the mode adopted by the HDR video according to a quality evaluation algorithm at an encoding end. The method comprises the following steps: acquiring dynamic metadata of the HDR video of the Nth frame according to a dynamic metadata generation algorithm; calculating tone mapping tone-mapping curve parameters of the HDR video of the N frame according to the dynamic metadata of the HDR video of the N frame; generating a tone-mapping curve according to the curve parameters; determining distortion D&#39; caused by the tone-mapping curve according to a quality evaluation algorithm; comparing said D&#39; and D T Determining a mode adopted by the HDR video of the Nth frame, the mode being an automatic mode or a director mode, wherein the D T Is a threshold value; and determining metadata of the HDR video of the N frame according to the determined mode adopted by the HDR video of the N frame.)

一种高动态范围HDR视频的处理方法、编码设备和解码设备

技术领域

本申请涉及图像处理技术领域,并且更具体的,涉及一种高动态范围HDR视频的处理方法、编码设备和解码设备。

背景技术

动态范围的映射方法主要应用在前端高动态范围(High Dynamic Range,HDR)信号和后端HDR的终端显示设备的适配上,一般包括从高亮度到低亮度的色调映射tone-mapping过程和从低亮度到高亮度的tone-mapping过程。HDR视频在编码端编码之前,首先要进行预处理,预处理过程中会使用一种HDR视频采用的模式,一般包括自动模式或导演模式。自动模式的算法是基于大量测试数据得出的经验公式,实际当中能够覆盖到绝大部分的场景,但是部分场景用自动模式算出的曲线,不能达到较好的效果。导演模式是指导演者调色师手动调节并确定参数或者对自动模式的参数进行预测和修正进一步优化曲线参数得到导演模式,修正后的导演模式一般而言可以达到较好的效果。因此,如何选择HDR视频采用的模式,是一项亟待解决的问题。

发明内容

本申请提供了一种高动态范围HDR视频的处理方法、编码设备和解码设备,该方法可以在编码端根据质量评价算法确定HDR视频采用的模式。

第一方面,提供了一种高动态范围HDR视频的处理方法,所述方法应用于编码设备,包括:根据动态元数据生成算法获取第N帧的HDR视频的动态元数据,其中,所述N大于0;根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;根据所述曲线参数生成tone-mapping曲线;根据质量评价算法确定所述tone-mapping曲线造成的失真D′;比较所述D′和DT,根据比较的结果确定所述第N帧的HDR视频采用的模式,所述模式是自动模式或导演模式,其中,所述DT为门限值;根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据。

通过比较根据质量评价算法确定所述tone-mapping曲线造成的失真D′和DT,确定所述第N帧的HDR视频采用的模式是自动模式还是导演模式,可以实现根据tone-mapping曲线造成的失真来确定该HDR视频采用的模式,进而实现更优的色调映射效果。

结合第一方面,在第一方面的某些实现方式中,所述比较所述D′和DT,确定所述第N帧的HDR视频采用的模式,包括:当所述D′大于所述DT时,确定所述第N帧的HDR视频采用导演模式,所述DT为所述第N帧的HDR视频采用导演模式下的失真;或者,当所述D′小于或者等于所述DT时,确定所述第N帧的HDR视频采用自动模式。

结合第一方面,在第一方面的某些实现方式中,所述方法还包括:根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的tone-mapping曲线参数的偏移量deltaC[N],其中,所述M大于0。

结合第一方面,在第一方面的某些实现方式中,根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

结合第一方面,在第一方面的某些实现方式中,确定所述第N帧的HDR视频的元数据包括:根据所述第N帧的HDR视频采用的模式、所述动态元数据生成算法和所述tone-mapping曲线参数的偏移量deltaC[N],生成所述第N帧的HDR视频的元数据。

结合第一方面,在第一方面的某些实现方式中,所述方法应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

结合第一方面,在第一方面的某些实现方式中,所述色调映射tone-mapping曲线为式(1)所示:

其中,曲线参数a和p是根据所述第N帧的HDR视频的动态信息来确定的,曲线参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

结合第一方面,在第一方面的某些实现方式中,所述方法还包括:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述任一个D″。

结合第一方面,在第一方面的某些实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

结合第一方面,在第一方面的某些实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

结合第一方面,在第一方面的某些实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:

根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

结合第一方面,在第一方面的某些实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

结合第一方面,在第一方面的某些实现方式中,所述方法还包括:

根据式(2)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

结合第一方面,在第一方面的某些实现方式中,所述根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据,包括:当所述第N帧的HDR视频采用的模式为自动模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据;或者,当所述第N帧的HDR视频采用的模式为导演模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

结合第一方面,在第一方面的某些实现方式中,所述元数据所述第N帧的HDR视频的包括标志位,所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标志位用于指示所述第N帧的HDR视频采用的模式为自动模式。

第二方面,提供了一种高动态范围HDR视频的处理方法,所述方法应用于解码设备,其特征在于,包括:解码获取第N帧的HDR视频和所述第N帧的HDR视频的元数据;根据所述元数据的标志位,判断所述第N帧的HDR视频采用的模式。

结合第二方面,在第二方面的某些实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是自动模式时,所述方法还包括:根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射tone-mapping曲线参数;根据所述色调映射tone-mapping曲线参数生成自动模式下的tone-mapping曲线;根据所述自动模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

结合第二方面,在第二方面的某些实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是导演模式时,所述方法还包括:从所述动态元数据中提取导演模式下的色调映射tone-mapping曲线参数;根据所述曲线参数生成导演模式下的tone-mapping曲线;根据所述导演模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

第三方面,提供了一种高动态范围HDR视频的处理方法,所述方法应用于编码设备,包括:根据动态元数据生成算法获取第N帧的HDR视频的动态元数据;计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;根据所述曲线参数生成tone-mapping曲线;根据质量评价算法确定所述tone-mapping曲线造成的失真D′;根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述N大于0;根据所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成调整后的tone-mapping曲线;根据所述动态元数据生成算法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频的元数据。

结合第三方面,在第三方面的某些实现方式中,所述方法还包括:根据所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成调整后的tone-mapping曲线;根据质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT,所述DT用于预测第N+j帧采用导演模式下的偏移量deltaC[N+j],其中j大于等于1,小于等于M。

结合第三方面,在第三方面的某些实现方式中,所述方法应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

结合第三方面,在第三方面的某些实现方式中,所述色调映射tone-mapping曲线为式(3)所示:

其中,参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

结合第三方面,在第三方面的某些实现方式中,所述deltaC[N]为deltap[N],所述方法还包括:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述任一个D″。

结合第三方面,在第三方面的某些实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

结合第三方面,在第三方面的某些实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

结合第三方面,在第三方面的某些实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

结合第三方面,在第三方面的某些实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

结合第三方面,在第三方面的某些实现方式中,所述方法还包括:

根据式(4)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

结合第三方面,在第三方面的某些实现方式中,所述根据所述第N帧的HDR视频采用的导演模式,确定所述第N帧的HDR视频的元数据,包括:当所述第N帧的HDR视频采用的模式为导演模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的基本动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

结合第三方面,在第三方面的某些实现方式中,所述动态元数据包括标志位,所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式。

第四方面,提供了一种高动态范围HDR视频的处理方法,所述方法应用于解码设备,包括:获取第N帧的HDR视频和所述第N帧的HDR视频的动态元数据;根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;根据所述曲线参数生成tone-mapping曲线;根据质量评价算法确定所述tone-mapping曲线造成的失真D′;比较所述D′和DT,确定是否使用自动模式,其中,所述DT为门限值。

结合第四方面,在第四方面的某些实现方式中,当所述D′大于所述DT时,根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述N大于0。

结合第四方面,在第四方面的某些实现方式中,所述方法还包括:根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

结合第四方面,在第四方面的某些实现方式中,所述动态元数据生成算法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]用于生成第N帧的HDR视频的元数据。

结合第四方面,在第四方面的某些实现方式中,所述方法应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

结合第四方面,在第四方面的某些实现方式中,所述色调映射tone-mapping曲线为式(5)所示:

其中,参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

结合第四方面,在第四方面的某些实现方式中,所述deltaC[N]为deltap[N],所述方法还包括:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述D″。

结合第四方面,在第四方面的某些实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

结合第四方面,在第四方面的某些实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

结合第四方面,在第四方面的某些实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

结合第四方面,在第四方面的某些实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

结合第四方面,在第四方面的某些实现方式中,所述方法还包括:

根据式(6)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

第五方面,提供了一种编码设备,包括:获取单元,所述获取单元用于根据动态元数据生成算法获取第N帧的HDR视频的动态元数据;处理单元,所述处理单元用于根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;所述处理单元还用于根据所述曲线参数生成tone-mapping曲线;所述处理单元还用于根据质量评价算法确定所述tone-mapping曲线造成的失真D′;所述处理单元还用于比较所述D′和DT,确定所述第N帧的HDR视频采用的模式,所述模式是自动模式或导演模式,其中,所述DT为门限值;所述处理单元还用于根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据。

结合第五方面,在第五方面的某些实现方式中,所述处理单元具体用于:当所述D′大于所述DT时,确定所述第N帧的HDR视频采用导演模式,所述DT为所述第N帧的HDR视频采用导演模式下的失真;或者,当所述D′小于或者等于所述DT时,确定所述第N帧的HDR视频采用自动模式。

结合第五方面,在第五方面的某些实现方式中,所述处理单元还用于:根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述M大于0。

结合第五方面,在第五方面的某些实现方式中,所述处理单元还用于:根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

结合第五方面,在第五方面的某些实现方式中,所述处理单元具体用于:根据所述第N帧的HDR视频采用的模式、所述动态元数据生成算法和所述tone-mapping曲线参数的偏移量deltaC[N],生成所述第N帧的HDR视频的元数据。

结合第五方面,在第五方面的某些实现方式中,所述编码设备应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

结合第五方面,在第五方面的某些实现方式中,所述色调映射tone-mapping曲线为式(7)所示:

其中,参数a和p是根据所述第N帧的HDR视频的动态信息来确定的,参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

结合第五方面,在第五方面的某些实现方式中,所述处理单元还用于:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述D″。

结合第五方面,在第五方面的某些实现方式中,所述处理单元具体用于:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

结合第五方面,在第五方面的某些实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

结合第五方面,在第五方面的某些实现方式中,所述处理单元具体用于:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

结合第五方面,在第五方面的某些实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

结合第五方面,在第五方面的某些实现方式中,所述处理单元还用于:

根据式(8)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

结合第五方面,在第五方面的某些实现方式中,所述处理单元具体用于:当所述第N帧的HDR视频采用的模式为自动模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据;或者,当所述第N帧的HDR视频采用的模式为导演模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

结合第五方面,在第五方面的某些实现方式中,所述元数据包括标志位,所述所述第N帧的HDR视频的标志位用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标志位用于指示所述第N帧的HDR视频采用的模式为自动模式。

第六方面,提供了一种解码设备,包括:获取单元,所述获取单元用于解码获取第N帧的HDR视频和所述第N帧的HDR视频的元数据;处理单元,所述处理单元用于根据所述元数据的标志位,判断所述第N帧的HDR视频采用的模式。

结合第六方面,在第六方面的某些实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是自动模式时,所述处理单元还用于:根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射tone-mapping曲线参数;根据所述色调映射tone-mapping曲线参数生成自动模式下的tone-mapping曲线;根据所述自动模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

结合第六方面,在第六方面的某些实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是导演模式时,所述处理单元还用于:从所述动态元数据中提取导演模式下的色调映射tone-mapping曲线参数;根据所述曲线参数生成导演模式下的tone-mapping曲线;根据所述导演模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

第七方面,提供了一种编码设备,包括:获取单元,所述获取单元用于根据动态元数据生成算法获取第N帧的HDR视频的动态元数据;处理单元,所述处理单元用于计算所述HDR视频的色调映射tone-mapping曲线参数;所述处理单元还用于根据所述曲线参数生成tone-mapping曲线;所述处理单元还用于根据质量评价算法确定所述tone-mapping曲线造成的失真D′;所述处理单元还用于根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述M大于0;所述处理单元还用于根据所述动态元数据生成算法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频的元数据。

结合第七方面,在第七方面的某些实现方式中,所述处理单元还用于:根据所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成调整后的tone-mapping曲线;根据质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT,所述DT用于预测第N+j帧采用导演模式下的偏移量deltaC[N+j],其中j大于等于1,小于等于M。

结合第七方面,在第七方面的某些实现方式中,所述编码设备应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

结合第七方面,在第七方面的某些实现方式中,所述色调映射tone-mapping曲线为式(9)所示:

其中,曲线参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,曲线参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

结合第七方面,在第七方面的某些实现方式中,所述处理单元还用于:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述D″。

结合第七方面,在第七方面的某些实现方式中,所述处理单元具体用于:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

结合第七方面,在第七方面的某些实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

结合第七方面,在第七方面的某些实现方式中,所述处理单元具体用于:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

结合第七方面,在第七方面的某些实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

结合第七方面,在第七方面的某些实现方式中,所述处理单元还用于:

根据式(10)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

结合第七方面,在第七方面的某些实现方式中,所述处理单元具体用于:当所述第N帧的HDR视频采用的模式为导演模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

结合第七方面,在第七方面的某些实现方式中,所述动态元数据包括标志位,所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式。

第八方面,提供了一种解码设备,包括获取单元,所述获取单元用于获取第N帧的HDR视频和所述第N帧的HDR视频的动态元数据;处理单元,所述处理单元用于根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;所述处理单元还用于根据所述曲线参数生成tone-mapping曲线;所述处理单元还用于根据质量评价算法确定所述tone-mapping曲线造成的失真D′;所述处理单元还用于比较所述D′和DT,确定是否使用自动模式,其中,所述DT为门限值。

结合第八方面,在第八方面的某些实现方式中,所述处理单元具体用于:当所述D′大于所述DT时,根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述M大于0。

结合第八方面,在第八方面的某些实现方式中,所述处理单元还用于:根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

结合第八方面,在第八方面的某些实现方式中,所述解码设备应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

结合第八方面,在第八方面的某些实现方式中,所述色调映射tone-mapping曲线为式(11)所示:

其中,参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

结合第八方面,在第八方面的某些实现方式中,所述处理单元还用于:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述任一个D″。

结合第八方面,在第八方面的某些实现方式中,所述处理单元具体用于:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

结合第八方面,在第八方面的某些实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

结合第八方面,在第八方面的某些实现方式中,所述处理单元具体用于:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

结合第八方面,在第八方面的某些实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

结合第八方面,在第八方面的某些实现方式中,所述处理单元还用于:

根据式(12)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

第九方面,提供了一种编码设备,该编码设备包括至少一个处理器和存储器,该至少一个处理器用于执行以上第一方面或第一方面的任意可能的实现方式中的方法,或者用于执行以上第三方面或第三方面的任意可能的实现方式中的方法。

第十一方面,提供了一种解码设备,该解码设备包括至少一个处理器和接口电路,该至少一个处理器用于执行以上第二方面或第二方面的任意可能的实现方式中的方法,或者用于执行以上第四方面或第四方面的任意可能的实现方式中的方法。

第十二方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序在被处理器执行时,用于执行第一方面或第一方面的任意可能的实现方式中的方法,或者执行第二方面或第二方面的任意可能的实现方式中的方法,或者用于执行第三方面或第三方面的任意可能的实现方式中的方法,或者执行第四方面或第四方面的任意可能的实现方式中的方法。

第十三方面,提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序被执行时,用于执行第一方面或第一方面的任意可能的实现方式中的方法,或者执行第二方面或第二方面的任意可能的实现方式中的方法,或者用于执行第三方面或第三方面的任意可能的实现方式中的方法,或者执行第四方面或第四方面的任意可能的实现方式中的方法。

第十四方面,提供了一种芯片,该芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的通信设备执行第一方面或第一方面的任意可能的实现方式中的方法,或者执行第二方面或第二方面的任意可能的实现方式中的方法,或者用于执行第三方面或第三方面的任意可能的实现方式中的方法,或者执行第四方面或第四方面的任意可能的实现方式中的方法。

可选地,该芯片还可以包括存储器,该存储器中存储有指令,处理器用于执行存储器中存储的指令或源于其他的指令。

附图说明

图1是本申请实施例中提供的一种高动态范围HDR视频的处理方法应用的系统的示意图;

图2是动态映射示意图;

图3是PQ光电转移函数的图像;

图4为HLG光电转移函数的图像;

图5是SLF光电转移函数的图像;

图6是本申请实施例的一种高动态范围HDR视频的处理方法的示意性流程图;

图7是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框图;

图8是本申请提供的一种高动态范围HDR视频的处理方法的系统示意图;

图9是本申请实施例的一种高动态范围HDR视频的处理方法的示意性流程图;

图10是本申请实施例的一种高动态范围HDR视频的处理方法600的示意性流程图;

图11是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框图;

图12是本申请实施例的一种高动态范围HDR视频的处理方法的示意性流程图;

图13是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框图;

图14是本申请实施例的一种高动态范围HDR视频的处理方法的示意性流程图;

图15示出了本申请实施例的装置的示意性框图;

图16为本申请提供的一种终端设备的结构示意图。

具体实施方式

下面将结合附图,对本申请中的技术方案进行描述。

图1是本申请实施例中提供的一种高动态范围HDR视频的处理方法应用的系统100的示意图。如图1所示,一个HDR端到端处理系统一般分为HDR预处理模块110,HDR视频编码模块120,HDR视频解码模块130和HDR动态tone mapping模块140四个部分,其中,HDR预处理模块110和HDR视频编码模块120为编码端,HDR视频解码模块130和HDR动态tone mapping模块140为解码端。

HDR视频输入到HDR预处理模块110,该HDR视频可以是采集的视频,也可以是经过调色师或者设备使用算法处理过的HDR视频,该HDR视频像素值都已经进行了光电转移,例如该HDR视频像素值都是PQ域的值。

HDR预处理模块110负责提取静态元数据和动态元数据。如果该HDR视频采用导演模式,HDR预处理模块110计算导演模式的tone mapping的曲线参数,该导演模式的tonemapping的曲线参数将被写入元数据。

HDR视频编码模块120对该HDR视频和元数据进行编码,元数据嵌入到码流中用户自定义的部分。HDR视频编码模块120可以采用任何标准的编码器,比如高效视频编码(HighEfficiency Video Coding,HEVC)或者第二代数字音视频编解码技术标准(Audio Videocoding Standard2,AVS2)。HDR视频编码模块完成编码后,编码端可以将码流输送到解码端。

解码端的HDR视频解码模块130把码流进行解码,按照码流格式所对应的标准进行解码,输出HDR解码视频和HDR元数据。

HDR动态tone mapping模块140根据解出的HDR视频和元数据,以及显示设备的峰值亮度,计算tone mapping曲线,并进行tone mapping,最后输出到显示器。如果是该HDR视频采用了导演模式,HDR动态tone mapping模块无需计算,直接只用元数据中的曲线参数。

该HDR视频输入到HDR预处理模块110之前,需要对该HDR视频像素值进行光电转移。这个主要是由于显示设备的最大亮度信息并不能达到真实世界的亮度信息,并且我们通过显示设备来浏览图像,因此需要光电转移函数。为了更清楚的理解光电转移,需要引入动态范围(Dynamic Range)这一概念。

动态范围(Dynamic Range)在很多领域用来表示某个变量最大值与最小值的比率。在数字图像中,动态范围表示了在图像可显示的范围内最大灰度值和最小灰度值之间的比率。自然界的动态范围相当大,星空下的夜景亮度约为0.001cd/m2,太阳本身亮度高达1,000,000,000cd/m2,这样的动态范围达到1,000,000,000/0.001=1013数量级。但是在自然界真实的场景当中,太阳的亮度和星光的亮度不会同时得到。对真实世界中的自然场景来说,动态范围在10-3到106范围内。目前大部分的彩色数字图像中,R、G、B各通道分别使用一个字节8位来存储,也就是说,各通道的表示范围是0~255灰度级,这里的0~255就是图像的动态范围,由于真实世界中同一场景中动态范围在10-3到106范围内,我们称之为高动态范围(high dynamic range,HDR),相对的普通图片上的动态范围为低动态范围(lowdynamic range,LDR)。数码相机的成像过程实际上就是真实世界的高动态范围到相片的低动态范围的映射。真实世界中高动态范围到相片的低动态范围的映射往往是一个非线性的过程,如图2所示,图2示出了一种真实世界中高动态范围到显示设备的低动态范围的动态映射的示意性图。图2中真实世界的动态范围在80到2000左右,其映射到显示设备的动态范围在1到200左右。

标准动态范围图像是与高动态范围图像对应。我们传统使用的jpeg等格式8比特的图像都可以认为是标准动态范围图像,在可拍摄HDR图像的摄像机出现前,传统相机只能通过控制曝光值将拍摄的光信息记录在一定的范围内。由于显示设备的最大亮度信息并不能达到真实世界的亮度信息,并且我们通过显示设备来浏览图像,因此需要光电转移函数,早期的显示设备是阴极摄像显像管(Cathode Ray Tube,CRT)显示器,其光电转移函数就是Gamma函数,在ITU-R Recommendation BT.1886标准当中定义了这个基于“Gamma”函数的光电转移函数,如式(1)所示

通过上述转换在量化成8比特后的图像就是传统的SDR图像,SDR图像和转移函数在传统的显示设备(照度在100cd/m2左右)上表现良好。

但随着显示设备的升级,显示设备的照度范围不断增加,现有的消费者级的HDR显示器在600cd/m2,高端的HDR显示器的照度信息能达到2000cd/m2,远远超过SDR显示设备的照度信息,ITU-R Recommendation BT.1886标准当中的光电转换函数不能很好的表达HDR显示设备的显示性能,因此需要改进的光电转移函数以适应显示设备的升级。现阶段常见的光电转换函数有如下三种,感知量化(Perception quantization,PQ)、混合对数伽马(Hybrid Log-Gamma,HLG)和场景亮度保真(Scene Luminance Fidelity,SLF)光电转换函数3种,下面介绍一下三种曲线。

PQ光电转移函数,这里的光电转移函数不同于传统的“Gamma”转移函数,其根据人眼的亮度感知模型,提出了感知量化转移函数,PQ光电转移函数表示图像像素的线性信号值到PQ域非线性信号值的转换关系,该PQ光电转移函数的图像可以参考图3,图3示出了PQ光电转移函数的图像。PQ光电转移函数可以表示为式(2):

其中,可根据式(3)计算式(2)中的各参数:

其中,

L表示线性信号值,其值归一化为[0,1]。

L′表示非线性信号值,其值取值范围为[0,1]。

为PQ光电转移系数。

为PQ光电转移系数。

PQ光电转移系数。

PQ光电转移系数。

PQ光电转移系数。

HLG光电转移函数是在传统的Gamma曲线的基础上改进得到的。图4为HLG光电转移函数的图像。HLG光电转移函数在低段应用传统的Gamma曲线,在高段补充了log曲线。HLG光电转移函数表示图像像素的线性信号值到HLG域非线性信号值的转换关系,HLG光电转移函数可表示为式(4):

其中,

L表示线性信号值,其取值范围为[0,12],

L'表示非线性信号值,其取值范围为[0,1],

a=0.17883277,HLG光电转移系数,

b=0.28466892,HLG光电转移系数,

c=0.55991073,HLG光电转移系数。

SLF光电转移函数是在满足人眼光学特性的前提下,根据HDR场景亮度分布获得的最优曲线。参见图5,图5为SLF光电转移函数的图像。SLF光电转移曲线表示图像像素的线性信号值到SLF域非线性信号值的转换关系。图像像素的线性信号值到SLF域非线性信号值的转换关系如式(5)所示:

其中,可根据式(6)计算式(5)中的各参数:

其中,

L表示线性信号值,其值归一化为[0,1],

L'表示非线性信号值,其值取值范围为[0,1],

p=2.3,SLF光电转移系数,

m=0.14,SLF光电转移系数,

a=1.12762,SLF光电转移系数,

b=-0.12762,SLF光电转移系数。

该HDR预处理模块110负责提取静态元数据和动态元数据,其主要通过动态范围的映射来适配前端HDR信号和后端HDR的终端显示设备。例如前端是采集到的4000nit的光照信号(nit光强的单位),而后端HDR的终端显示设备(电视机,IPAD)的HDR显示能力只有500nit,因此如何把4000nit信号,映射到500nit的设备上,是一种从高到低的tone-mapping过程。另外一种是前端是采集到的100nit的SDR信号,而显示端是2000nit的电视信号,如果把100nit的信号更好地显示在2000nit的设备上,是另外一种从低到高的tone-mapping过程。

动态范围的映射可以分为静态的和动态的。静态的映射方法是根据同一个视频内容或者同一个硬盘内容,由单一的数据进行整体的tone-mapping过程,也就是处理曲线通常是一样的。这种方法的好处是携带的信息较少,并且处理流程比较简单;这样方法的缺点是每一个场景都使用同一曲线进行tone-mapping,这样在有一些场景会导致信息丢失,例如如果曲线重点保护的是亮区,那么在一些极其暗的场景会丢掉一些细节,或者干脆看不见,这样会影响体验。动态的映射方法是根据特定区域,每一个场景或者根据每一帧的内容进行动态的调整,这种方法的好处是可以根据特定区域,每一场景或者每一帧进行不同的曲线处理,这样处理的结果会更好,缺点是需要每一帧或者每一场景来携带相关的场景信息,携带的信息量较大。

在预处理过程中会使用一种HDR视频采用的模式,如HDR视频采用的模式是自动模式或HDR视频采用的模式是导演模式。自动模式的算法是基于大量测试数据得出的经验公式,实际当中能够覆盖到绝大部分的场景,但是部分场景用自动模式算出的曲线,不能达到较好的效果。导演模式是指导演者调色师手动调节并确定参数或者对自动模式的参数进行预测和修正进一步优化曲线参数得到导演模式,修正后的导演模式一般而言可以达到较好的效果。

有鉴于此,本申请提出了一种高动态范围HDR视频的处理方法,该方法可以实现确定该HDR视频采用的模式,进而实现更优的色调映射效果。

下面结合图6详细说明本申请提供的一种高动态范围HDR视频的处理方法,图6是本申请实施例的一种高动态范围HDR视频的处理方法200的示意性流程图,该方法200可以应用在图1所示的场景中,当然也可以应用在其他需要进行视频处理的场景中,本申请实施例在此不作限制。

还应理解,在本申请实施例中,以编码设备作为执行方法的执行主体为例,对方法进行说明。作为示例而非限定,执行方法的执行主体也可以是应用于编码设备的芯片、芯片系统、或处理器等。

如图6所示,图6中示出的方法200可以包括S210至S260。下面结合图6详细说明方法200中的各个步骤。

S210,编码设备根据动态元数据生成算法获取第N帧的HDR视频的动态元数据,其中,所述N大于0。第N帧的HDR视频简称为第N帧HDR视频。

S220,编码设备根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数。

S230,编码设备根据所述曲线参数生成tone-mapping曲线。

S240,编码设备根据质量评价算法确定所述tone-mapping曲线造成的失真D′。

S250,编码设备比较所述D′和DT,确定所述第N帧的HDR视频采用的模式,所述模式是自动模式或导演模式,其中,所述DT为门限值。

S260,编码设备根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据。

在该方法200中,通过比较根据质量评价算法确定所述tone-mapping曲线造成的失真D′和DT,确定所述第N帧的HDR视频采用的模式是自动模式还是导演模式,可以实现根据tone-mapping曲线造成的失真来确定该HDR视频采用的模式,进而实现更优的色调映射效果。

在步骤S210中,根据动态元数据生成算法获取第N帧的HDR视频的动态元数据,该动态元数据一般是指基本的动态元数据,基本的动态元数据一般包括当前帧或者当前场景中所有像素maxrgb值的最小值(minimum_maxrgb_pq)、当前帧或者当前场景中所有像素maxrgb值的平均值(average_maxrgb_pq)、当前帧或者当前场景中所有像素maxrgb值90%分位点处对应的值减去10%分位点处对应的值(variance_maxrgb_pq)和当前帧或者当前场景中所有像素maxrgb值的最大值(maximum_maxrgb_pq),其中,maxrgb值为某个pixel的R、G、B三个分量中的最大值。注意,这里是指PQ域的值,即0到1之间。

在步骤S220,根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数。

色调映射tone-mapping曲线参数可以是多种曲线参数,如杜比提出的基于sigmoidal曲线,三星公司提出的贝塞尔曲线,杜比和三星公司提出的曲线方案均是私有的方案,具体实施需要得到其授权。

色调映射tone-mapping曲线参数也可以是一种基于SLF曲线的动态tone-mapping曲线,该基于SLF曲线的动态tone-mapping曲线形式为式(7)所示:

其中,a的取值范围在0.0~1.0之间,b的取值范围在0.0~1.0之间,p和m的取值范围在0.1~60之间。L′表示输出的亮度,比如可以是有理数,范围是0.0~1.0,L表示输入的亮度,比如可以是有理数,范围是0.0~1.0。该曲线形态不够灵活,无法提供更多样的形态。具体来说就是曲线只有C、反S和反C型,无法提供正S型。如果图像是明暗强对比场景,需要正S型曲线。

色调映射tone-mapping曲线参数还可以是一种式(8)所示的tone-mapping曲线形式,如式(8)所示:

其中,a的取值范围在0.0~1.0之间,b的取值范围在0.0~1.0之间,p、n和m的取值范围在0.1~60之间。L′表示输出的亮度,比如可以是有理数,范围是0.0~1.0,L表示输入的亮度,比如可以是有理数,范围是0.0~1.0,L为像素。

a、b、p、n和m的具体取值是根据特定区域,每一帧或者每一个场景的动态关键信息来确定的,如动态元数据。其中a主要与场景的最大亮度值有关,或者场景的拍摄设备的最大参数有关和显示设备的最大显示能力有关。b于场景的最小值和显示设备的最小显示能力有关。P、n、和m与场景的整体风格有关。

其中,

b=显示设备最小值-F(场景最小值或拍摄设备最小值)

通常,m固定为2.4,n固定为1,b固定为显示器的最小亮度,需要计算的只有参数a和参数p。p的作用是调节亮度和曲线高低,p越大,曲线整体越高。参数a的作用是限制曲线的最大值,不得超过显示设备的最大值。因为显示设备的最大值是常量,所以一旦参数p确定了,那么参数a可以根据p计算出来。

在步骤S230中,编码设备根据所述自动模式下的色调映射tone-mapping曲线参数生成自动模式下的tone-mapping曲线。

在步骤S240,编码设备根据质量评价算法确定所述自动模式下的tone-mapping曲线造成的失真D′。该质量评价算法也可以称为质量评估模型,目前最前沿的HDR图像质量评估模型[1][2](其中[1]是HDR-VDP-2.2:高动态范围和标准图像客观质量预测的校准方法(HDR-VDP-2.2:A Calibrated Method for Objective Quality Prediction of HighDynamic Range and Standard Images,Manish Narwaria,Rafal K.Mantiuk,MattheiuPerreira Da Silva and Patrick Le Callet.In:Journal of Electronic Imaging,24(1),2015),[2]是动态范围独立质量评估方法(Dynamic Range Independent ImageQuality Assessment,O.Aydin,Mantiuk,Karol Myszkowski,Hans-PeterSeidel.In:ACM Transactions on Graphics(Proc.of SIGGRAPH'08),27(3),articleno.69,2008),基于HVS,考虑HVS对于不同亮度和空间频率的敏感度,计算出tone mapping前后的两幅图每一个像素位置的局部对比度的感知误差。如果概率为0,那么说明人眼感知不出差别,那么tone mapping之后的图像质量很好;如果概率为1,那么说明人眼一定能感觉出差别,说明tone mapping之后的图像质量比较差。因为每一个像素点处的亮度和空间频率都不一样,而且tone mapping的结果也不一样,所以每个像素点对应的感知误差。最后,每个像素点的感知误差叠加在一起,可以得到整幅图的平均感知误差Q。

质量评估模型的输入是tone mapping前的原图,输出是tone mapping后的结果图。两个都是线性域的值,单位是尼特。模型的输出Q就代表了质量损失,可以归一化到0和1之间。输出值越大,说明图像质量越差。0代表每个像素没有损失,图像质量最高;1代表每个像素都有明显的感知误差,图像质量最低。

在步骤S250,编码设备比较所述D′和DT,确定所述第N帧的HDR视频采用的模式,所述模式是自动模式或导演模式,其中,所述DT为门限值。

为了更清楚的理解本申请,下面对自动模式和导演模式进行说明。

自动模式为非导演模式,如非人工介入的模式,非人工干预的模式,自动模式也可以称作无人工介入色调映射模式。自动模式的曲线的参数基于基本的动态元数据计算出来。自动模式中色彩相关的动态元数据也可以有,但是不是必须的

导演模式,通常意义上的导演模式是指导演者调色师手动调节并确定参数。这只是本申请中的导演模式的一种情况,本申请中的导演模式还包括用算法计算曲线参数,因为用算法计算曲线参数相当于取代导演和调色师来调参数,所以广义上也是导演模式。导演模式中基本的动态元数据还是要传输。曲线的参数,可以由调色师手动调节,或者由一个计算机算法计算得到。除了基础曲线的参数,还有三次样条的参数比如TH1,TH2,TH3,TH_strength等等,也需要手动调节或者用算法计算好。这些参数也会嵌入到动态元数据中,传到解码设备。解码设备根据显示器的能力,会直接使用这些参数生成tone mapping曲线,也可以进行适当的调整。同样,色彩相关的动态元数据也可以有,但是不是必须的。

所以,自动模式和导演模式两个模式的本质区别在于,自动模式只传基本的动态元数据,要求解码端自行计算曲线参数,进而生成曲线;导演模式在制作端或者编码端预先计算好曲线参数,并作为动态元数据的一部分传到解码端,解码端可以直接使用这些参数生成曲线。

所述DT为所述第N帧的HDR视频采用导演模式下的失真,该比较所述D′和DT,确定所述第N帧的HDR视频采用的模式,包括:当所述D′大于所述DT时,确定所述第N帧的HDR视频采用导演模式;或者,当所述D′小于或者等于所述DT时,确定所述第N帧的HDR视频采用自动模式。

在步骤S260中,编码设备根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据。

所述元数据包括标志位,所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标志位用于指示所述第N帧的HDR视频采用的模式为自动模式。如自动模式码流标志位tone_mapping_mode=0,导演模式的码流标志位tone_mapping_mode=1。

所述方法还可以包括:根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述N大于0。则步骤S260具体可以为:根据所述第N帧的HDR视频采用的模式、所述动态元数据生成算法、和所述tone-mapping曲线参数的偏移量deltaC[N],生成所述第N帧的HDR视频的元数据。

所述方法还可以包括:根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

所述方法可以应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

应理解,该预设配置参数仅用于举例,并不对本申请造成任何限定,例如该预设配置参数还可以为900nit、400nit等。

为了更清楚的理解本申请,下面结合上述式(8)所示的色调映射tone-mapping曲线形式对本申请的方法进行详细描述。

图7是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框图。如图7所示,该方法可以应用于包括编码端310和解码端320的系统。

编码端310可以执行以下四个步骤:S311,编码端310根据动态元数据提取算法提取HDR源视频的基本的动态元数据;S312,编码端310根据基本的动态元数据计算自动模式下的曲线参数;S313,编码端310根据时域滤波预测曲线参数偏移量,并根据质量评价算法修正曲线参数;S314,编码端310根据修正过的曲线参数的tone-mapping曲线失真和自动模式的曲线参数的tone-mapping曲线失真切换自动模式和导演模式。

解码端320在获得编码端传输的码流时,需要通过码流中的元数据的标志位判断该码流中HDR视频采用的模式,根据该HDR视频采用的模式的不同,解码端320可以包括两个分支步骤。

如果该码流中HDR视频采用的模式是自动模式,可以执行以下步骤:

S321,解码端320根据动态元数据提取算法提取HDR源视频的基本的动态元数据。S322,解码端320根据基本的动态元数据计算曲线参数。

S323,解码端320根据基本的动态元数据的曲线参数生成曲线。

如果该码流中HDR视频采用的模式是自动模式可以执行一下步骤:

S324,解码端320在元数据中提取曲线参数。

S325,解码端320根据提取的曲线参数生成曲线。

解码端320在生成曲线参数后,根据解码的HDR视频进行显示适配,显示该HDR视频。

下面结合上述式(8)所示的色调映射tone-mapping曲线形式对本申请的方法进行详细描述。图8是本申请实施例的一种高动态范围HDR视频的处理方法400的示意性流程图,该方法400可以应用在图1或图7所示的场景中,当然也可以应用在其他需要进行视频处理的场景中,本申请实施例在此不作限制。

还应理解,在本申请实施例中,以编码设备作为执行方法的执行主体为例,对方法进行说明。作为示例而非限定,执行方法的执行主体也可以是应用于编码设备的芯片、芯片系统、或处理器等。

如图8所示,图8中示出的方法400可以包括S401至S415。下面结合图8详细说明方法400中的各个步骤。

S401,编码设备根据动态元数据提取算法提取第N帧的HDR视频的基本的动态元数据。

S402,编码设备根据基本的动态元数据计算所述第N帧的HDR视频在自动模式下的色调映射tone-mapping曲线参数p′和a′。

下面具体描述如何生成根据基本的动态元数据计算所述第N帧的HDR视频在自动模式下的色调映射tone-mapping曲线参数p′和a′。

首先描述待处理帧即第N帧的最大亮度校正值max_lum的更新过程:

(1)将最高显示亮度值max_display_mastering_luminance转换到PQ域得到参考显示设备的显示亮度范围MaxRefDisplay。

(2)根据式(9)代入metadata中的maximum_maxrgb、average_maxrgb以及variance_maxrgb计算待处理帧亮度参考最大值MAX1,

其中,A、B为权重系数。A为average_maxrgb的函数,A=(1-B)*(1-F(average_maxrgb/maximum_maxrgb)),F(x)为常数函数,A和B默认取值为1/3。

(3)根据式(10)确定最后的最大亮度校正值:

其次,描述自动模式下的色调映射tone-mapping曲线参数p′和a′:

(1)将m、n分别设为预设值2.4、1,预设上述参数后曲线变成

(2)将b设为MinDisplay

(3)根据式(11)代入metadata中的中average_maxrgb(avgL)计算p:

其中:

PvalueH0、PvalueL0、TPH0和TPL0是预设值,默认值为3.5,4.0,0.6,0.3;g0()为y=xN,默认为y=x。

(4)根据式(12)用最大亮度校正值max_lum更新p′

其中:

PdeltaH1、PdeltaL1、TPH1和TPL1是预设值,默认值为0.6,0.0,0.9,0.75;g1()为y=xN,默认为y=x。

(5)根据p、m、n、b、K1、K2、K3得到H(L),如式(13)所示:

从而根据式(14)确定参数a′:

a′=(MaxDISPLAY-MinDISPALY)/(H(MaxSource)-H(MinSource)) (14)

其中,MaxSource等于待处理帧的最大亮度校正值max_lum(PQ域)、MinSource等于待处理帧的最小亮度min_lum(PQ域)。

S403,编码设备根据所述自动模式下的曲线参数p′和a′生成自动模式下的tone-mapping曲线。

S404,编码设备根据质量评价算法确定所述自动模式下的tone-mapping曲线造成的失真D′。

在该步骤中,编码设备根据所述自动模式下的曲线参数p′和a′生成自动模式下的tone-mapping曲线进行tone-mapping,然后把tone mapping前后的两幅图输入到质量评估模型中,计算主观失真D′。

S405,编码设备使用时域滤波的方法来预测最优的曲线参数相对于自动模式的参数p′的偏移量delta。可以根据式(15)来预测优化的曲线参数相对于自动模式的参数p′的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量模型算出来的主观失真,k=1,2,…,M。M是缓存中队列的长度。M越大,用到的历史数据越多,那么滤波的结果越平滑;M越小,用到的历史数据越接近当前帧,更能反映出变化趋势。极端的情况,固定M=1,相当于用前一帧来预测当前帧,delta=deltaC[N-1]。M的最大值建议值为4到8之间。

预测出来的偏移量delta和最优的偏移量值通常还会有一定的偏差,所以需要修正预测出来的偏移量delta,使得修正后的值可以更接近最优的值。以delta为基准,分别增加一个步长和减少一个步长算两个delta的修正值,并比较哪个修正值的失真更低。见步骤S406和步骤S407。

S406,编码设备修正所述预测的曲线参数p′的偏移量,修正的曲线参数p′的偏移量为所述预测的曲线参数p的偏移量减去基本步长值stepsize,即deltaC1=delta-stepsize,stepsize对于参数p′而言,建议0.1;根据自动模式下的曲线参数p′和所述修正的曲线参数p′的偏移量确定所述调整的曲线参数p1,p1=p+deltaC1,即,根据p1计算a1,参数p1和a1生成调整的tone-mapping曲线,根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D1。

S407,编码设备修正所述预测的曲线参数p′的偏移量,修正的曲线参数p′的偏移量为所述预测的曲线参数p′的偏移量加上该基本步长值stepsize,deltaC2=delta-stepsize;根据自动模式下的曲线参数p′和所述修正的曲线参数p′的偏移量确定所述调整的曲线参数p2,根据p2计算a2,参数p2和a2生成调整的tone-mapping曲线,根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D2。

在本申请实施例中,仅计算两次修正值,是因为每测试一个修正值,就需要计算一次质量评估模型,但是质量评估模型的计算量很大,所以本申请实施例中限制为两次。这样做不能保证每帧都取到最优值,但是每一帧都可以在预测值的基础上,更接近最优值一点(一个步长),可以达到让预测值随着时间的推移,渐渐收敛到最优值的附近。

S408,编码设备比较该D1和D2的大小。

S409,如果D1小于或等于D2,则修正的曲线参数p′的偏移量为deltaC1,修正的曲线参数的失真DT=D1,参数集合P={p1,a1}。

S410,如果D1大于D2,则修正的曲线参数p的偏移量为deltaC2,修正的曲线参数的失真DT=D2,参数集合P={p2,a2}。

预测并修正过的deltaC的曲线参数,虽然绝大多数情况都会比自动模式更好,但是并不能保证,所以需要比较一下。如果自动模式好,那么第N帧就用自动模式;如果预测并修正过的值好,那么当前帧就用导演模式。

S411,比较所述自动模式下的tone-mapping曲线造成的失真D′和修正的曲线参数的失真DT

S412,当所述D′大于所述DT时,确定所述第N帧的HDR视频采用导演模式,第N帧的曲线参数为P[N]=P,失真D[N]=DT,偏移量deltaC[N]=deltaC。

S413,把参数集P[N]放到导演模式的元数据里面。

S414,当所述D′小于或者等于所述DT时,确定所述第N帧的HDR视频采用自动模式,第N帧的曲线参数为P[N]=P′,失真D[N]=D′,偏移量deltaC[N]=0,P[N]在自动模式下,不需要放在动态元数据里传到解码端。只需要传基本的动态元数据,解码端可以根据标准算法计算出P[N]的值。

S415,把deltaC[N]和D[N]加入到缓存的队列中去,用来预测下一帧或下多帧f(N+j)的参数偏移量,其中j大于等于1,小于等于M。应注意,这里的队列就是指上面第3步时域滤波用到的队列。队列采用先进先出的规则。如果队列满了,那么每次先把队首的去掉,然后在队尾添加新的数据。

编码端向解码端发送码流,应理解,发送也可以理解为存储于存储介质。比如编码端可以将码流刻入光盘,解码端读取光盘中的码流。

在本申请实施中,在自动模式的基础上以质量评估模型为标准,优化曲线参数,可以达到更好的tone mapping效果;本申请实施例中质量评估模型的计算次数,每帧是三次,一次是自动模式,两次使用在修正的过程中,计算量可控;自动模式和导演模式切换,保证了更优的曲线参数得到使用。

下面结合上述式(8)所示的色调映射tone-mapping曲线形式对本申请的方法进行详细描述。图9是本申请实施例的一种高动态范围HDR视频的处理方法500的示意性流程图,该方法500可以应用在图1或图7所示的场景中,当然也可以应用在其他需要进行视频处理的场景中,本申请实施例在此不作限制。

还应理解,在本申请实施例中,以编码设备作为执行方法的执行主体为例,对方法进行说明。作为示例而非限定,执行方法的执行主体也可以是应用于编码设备的芯片、芯片系统、或处理器等。

如图9所示,图9中示出的方法500可以包括S501至S514。下面结合图9详细说明方法500中的各个步骤。

S501,编码设备根据动态元数据提取算法提取第N帧的HDR视频的基本的动态元数据。

S502,编码设备根据基本的动态元数据计算所述第N帧的HDR视频在自动模式下的色调映射tone-mapping曲线参数p′和a′。

S503,编码设备根据所述自动模式下的曲线参数p′和a′生成自动模式下的tone-mapping曲线。

S504,编码设备根据质量评价算法确定所述自动模式下的tone-mapping曲线造成的主观失真D′。

S505,编码设备使用时域滤波的方法来预测最优的曲线参数相对于自动模式的参数p的偏移量delta。

S506,根据预测的曲线参数p的偏移量delta和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述D″。

在一种实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

在一种实现方式中,所述第一条件为从多个D″中选择D″小于第一阈值的D″,如该第一阈值为0.3,所述第一条件也可以为从多个D″中选择最小的D″。

具体而言,在得到预测的偏移量delta之后,可以采用穷举法搜索更优的偏移量。穷举法搜索中,K为整数,例如K是3,那么会搜索delta-3*stepsize,delta-2*stepzie,delta-stepsize,delta,delta+stepsize,delta+2*stepsize,delta+3*stepsize这7个不同值,从中选出主观失真最小的一个。偏移量记录为deltaC,参数p=P′+deltaC,通过p来计算a,参数集P={p,a},对应的主观失真记作DT。

预测并修正过的deltaC的曲线参数,虽然绝大多数情况都会比自动模式更好,但是并不能保证,所以需要比较一下。如果自动模式好,那么第N帧就用自动模式;如果预测并修正过的值好,那么当前帧就用导演模式。

S507,比较所述D′和DT

S508,当所述D′大于所述DT时,确定所述第N帧的HDR视频采用导演模式,第N帧的曲线参数为P[N]=P,失真D[N]=DT,偏移量deltaC[N]=deltaC。

S509,把参数集P[N]放到导演模式的元数据里面。

S510,当所述D′小于或者等于所述DT时,确定所述第N帧的HDR视频采用自动模式,第N帧的曲线参数为P[N]=P′,失真D[N]=D′,偏移量deltaC[N]=0,P[N]在自动模式下,不需要放在动态元数据里传到解码端。只需要传基本的动态源数据,解码端可以根据标准算法计算出P[N]的值。

S511,把deltaC[N]和D[N]加入到缓存的队列中去,用来预测下一帧f(N+1)的参数偏移量。应注意,这里的队列就是指上面第3步时域滤波用到的队列。队列采用先进先出的规则。如果队列满了,那么每次先把队首的去掉,然后在队尾添加新的数据。

应理解,方法501至505对应于方法401至405,方法507至511对应于方法411至415,因此方法501至505,方法507至511的相关描述可以参考方法401至405,方法411至415,为了避免重复此处不再描述。

在本申请实施例中,在自动模式的基础上,以质量评估模型为标准,优化曲线参数,可以达到更好的tone mapping效果;在计算资源足够的条件下,通过穷举法搜索最优的参数,可以最大可能的提高效果;自动模式和导演模式切换,保证了更优的曲线参数得到使用。

图10是本申请实施例的一种高动态范围HDR视频的处理方法600的示意性流程图,该方法600可以应用在图1或图7所示的场景中,当然也可以应用在其他需要进行视频处理的场景中,本申请实施例在此不作限制。

还应理解,在本申请实施例中,以解码设备作为执行方法的执行主体为例,对方法进行说明。作为示例而非限定,执行方法的执行主体也可以是应用于解码设备的芯片、芯片系统、或处理器等。

如图10所示,图10中示出的方法600可以包括S610至S620。下面结合图10详细说明方法600中的各个步骤。

S610,解码设备获取第N帧的HDR视频和所述第N帧的HDR视频的元数据。

S620,解码设备根据所述元数据的标志位,判断所述第N帧的HDR视频采用的模式。

在一种实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是自动模式时,所述方法还包括:根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射tone-mapping曲线参数;根据所述色调映射tone-mapping曲线参数生成自动模式下的tone-mapping曲线;根据所述自动模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

在一种实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是导演模式时,所述方法还包括:从所述动态元数据中提取导演模式下的色调映射tone-mapping曲线参数;根据所述曲线参数生成导演模式下的tone-mapping曲线;根据所述导演模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

上述本申请实施例中描述了编码设备需要进行自动模式和导演模式的切换,但是预测并修正过的参数曲线,大概率好过自动模式,所以可以考虑省去自动模式,以减小系统的复杂度。另外,省去自动模式还可以省去自动模式的主观失真的计算。因此本申请还提供了编码设备不进行自动模式和导演模式的切换,一直使用导演模式的实施例。

图11是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框图。如图11所示,该方法可以应用于包括编码端710和解码端720的系统。

编码端710可以执行以下四个步骤:S711,编码端710根据动态元数据提取算法提取HDR源视频的基本的动态元数据;S712,编码端710根据基本的动态元数据计算自动模式下的曲线参数;S713,编码端710根据时域滤波预测曲线参数偏移量,并根据质量评价算法修正曲线参数;S714,编码端710生成导演模式元数据。

S721,解码端720在元数据中提取曲线参数;

S722,解码端720根据提取的曲线参数生成曲线。

解码端720在生成曲线参数后,根据解码的HDR视频进行显示适配,显示该HDR视频。

下面结合上述式(7)所示的色调映射tone-mapping曲线形式对本申请的方法进行详细描述。图12是本申请实施例的一种高动态范围HDR视频的处理方法800的示意性流程图,该方法800可以应用在图1或图11所示的场景中,当然也可以应用在其他需要进行视频处理的场景中,本申请实施例在此不作限制。

还应理解,在本申请实施例中,以编码设备作为执行方法的执行主体为例,对方法进行说明。作为示例而非限定,执行方法的执行主体也可以是应用于编码设备的芯片、芯片系统、或处理器等。

如图12所示,图12中示出的方法800可以包括S801至S815。下面结合图12详细说明方法800中的各个步骤。

S801,编码设备根据动态元数据提取算法提取第N帧的HDR视频的基本的动态元数据。

S802,编码设备根据基本的动态元数据计算所述第N帧的HDR视频在自动模式下的色调映射tone-mapping曲线参数,比如曲线参数p和a。

S803,编码设备根据所述自动模式下的曲线参数p和a生成自动模式下的tone-mapping曲线。

S804,编码设备根据质量评价算法确定所述tone-mapping曲线造成的失真D′。

S805,编码设备根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的tone-mapping曲线参数的偏移量deltaC[N],其中,所述N大于0。

S806,编码设备根据所述动态元数据生成算法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频的动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

所述方法还包括:根据所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成调整后的tone-mapping曲线;根据质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT,所述DT用于预测第N+j帧采用导演模式下的偏移量deltaC[N+j],其中j大于等于1,小于等于M。

在一种实现方式中,所述根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,包括:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

在一种实现方式中,所述第一条件为从多个D″中选择D″小于第一阈值的D″,如该第一阈值为0.3,所述第一条件也可以为从多个D″中选择最小的D″。

具体而言,在得到预测的偏移量delta之后,可以采用穷举法搜索更优的偏移量。穷举法搜索中,K为整数,例如K是3,那么会搜索delta-3*stepsize,delta-2*stepzie,delta-stepsize,delta,delta+stepsize,delta+2*stepsize,delta+3*stepsize这7个不同值,从中选出主观失真最小的一个。偏移量记录为deltaC,参数p=P′+deltaC,通过p来计算a,参数集P={p,a},对应的主观失真记作DT。

S807,把deltaC[N]和D[N]加入到缓存的队列中去,用来预测下一帧f(N+1)的参数偏移量,D[N]=DT,偏移量deltaC[N]=deltaC。应注意,这里的队列就是指上面时域滤波用到的队列。队列采用先进先出的规则。如果队列满了,那么每次先把队首的去掉,然后在队尾添加新的数据。

应理解,方法801至804对应于方法501至504,因此方法801至804的相关描述可以参考方法501至504,为了避免重复此处不再描述。

在本申请实施例中,在自动模式的基础上,以质量评估模型为标准,优化曲线参数,可以达到更好的tone mapping效果;在计算资源足够的条件下,通过穷举法搜索最优的参数,可以最大可能的提高效果;省去自动模式和导演模式的切换,减小系统复杂度。

应理解,在方法800中编码设备也可以进行两次偏移量的修正以delta为基准,分别增加一个步长和减少一个步长算两个delta的修正值,并比较哪个修正值的失真更低。具体参考步骤S406和步骤S407。

上述本申请实施例中描述了编码设备需要对第N帧的HDR视频进行自动模式和导演模式的切换,或者对第N帧的HDR视频采用导演模式。编码需要对第N帧的HDR视频进行自动模式和导演模式的切换,或者对第N帧的HDR视频采用导演模式的动作也可以由解码设备执行本申请还提供了一种高动态范围HDR视频的处理方法,该方法由解码设备执行。

图13是本申请提供的一种高动态范围HDR视频的处理方法应用的系统的示意性框图。如图13所示,该方法可以应用于包括编码端910和解码端920的系统。

编码端910可以执行步骤S911,编码端910根据动态元数据提取算法提取HDR源视频的基本的动态元数据;S912,编码端910将提取的基本的动态元数据和压缩的视频一起传到解码端;S921,解码端920计算自动模式的曲线参数,S922,解码端920预测并修正曲线参数的偏移量并更新曲线参数,最后生成曲线;S923,解码端920根据更新的曲线参数生成曲线。解码端920在生成曲线参数后,根据解码的HDR视频进行显示适配,显示该HDR视频。

图14是本申请实施例的一种高动态范围HDR视频的处理方法1000的示意性流程图,该方法1000可以应用在图1或图13所示的场景中,当然也可以应用在其他需要进行视频处理的场景中,本申请实施例在此不作限制。

还应理解,在本申请实施例中,以解码设备作为执行方法的执行主体为例,对方法进行说明。作为示例而非限定,执行方法的执行主体也可以是应用于解码设备的芯片、芯片系统、或处理器等。

如图14所示,图14中示出的方法1000可以包括S1001至S1015。下面结合图14详细说明方法1000中的各个步骤。

S1001,解码设备根据动态元数据提取算法提取第N帧的HDR视频的基本的动态元数据。

S1002,解码设备根据基本的动态元数据计算所述第N帧的HDR视频在自动模式下的色调映射tone-mapping曲线参数p和a。

S1003,解码设备根据所述自动模式下的曲线参数p和a生成自动模式下的tone-mapping曲线。

S1004,解码设备根据质量评价算法确定所述自动模式下的tone-mapping曲线造成的主观失真D′。

在该步骤中,解码设备根据所述自动模式下的曲线参数p和a生成自动模式下的tone-mapping曲线进行tone-mapping,然后把tone mapping前后的两幅图输入到质量评估模型中,计算主观失真D′。

S1005,解码设备比较所述D′和DT,确定是否使用自动模式,其中,所述DT为门限值

S1006,当所述D′小于或者等于于所述DT时,解码设备使用自动模式适配所述第N帧的HDR视频。

S1007,当所述D′大于所述DT时,所述DT为预设值,解码设备使用时域滤波的方法来预测最优的曲线参数相对于自动模式的参数p的偏移量delta。

S1008,解码设备修正所述预测的曲线参数p的偏移量,修正的曲线参数p的偏移量为所述预测的曲线参数p的偏移量减去基本步长值stepsize,即deltaC1=delta-stepsize,stepsize对于参数p而言,建议0.1;根据自动模式下的曲线参数p和所述修正的曲线参数p的偏移量确定所述调整的曲线参数p1,p1=p+deltaC1,根据p1计算a1,参数p1和a1生成调整的tone-mapping曲线,根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D1。

S1009,解码设备修正所述预测的曲线参数p的偏移量,修正的曲线参数p的偏移量为所述预测的曲线参数p的偏移量加上该基本步长值stepsize,deltaC2=delta-stepsize;根据自动模式下的曲线参数p和所述修正的曲线参数p的偏移量确定所述调整的曲线参数p2,根据p2计算a2,参数p2和a2生成调整的tone-mapping曲线,根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D2。

在本申请实施例中,仅计算两次修正值,是因为每测试一个修正值,就需要计算一次质量评估模型,但是质量评估模型的计算量很大,所以本申请实施例中限制为两次。这样做不能保证每帧都取到最优值,但是每一帧都可以在预测值的基础上,更接近最优值一点(一个步长),可以达到让预测值随着时间的推移,渐渐收敛到最优值的附近。

S1010,解码设备比较该D1和D2的大小。

S1011,如果D1小于或等于D2,则修正的曲线参数p的偏移量为deltaC1,修正的曲线参数的失真DT=D1,参数集合P1={p1,a1},第N帧的HDR视频的曲线参数为P[N]=P1,失真D[N]=DT=D1,偏移量deltaC[N]=deltaC1,解码设备根据第N帧的HDR视频的曲线参数P1生成tone-mapping曲线。

S1012,如果D1大于D2,则修正的曲线参数p的偏移量为deltaC2,修正的曲线参数的失真DT=D2,参数集合P2={p2,a2},第N帧的曲线参数为P[N]=P2,失真D[N]=DT=D2,偏移量deltaC[N]=deltaC2,解码设备根据第N帧的HDR视频的曲线参数P2生成tone-mapping曲线。

S1013,把deltaC[N]和D[N]加入到缓存的队列中去,用来预测下一帧f(N+1)的参数偏移量。应注意,这里的队列就是指上面时域滤波用到的队列。队列采用先进先出的规则。如果队列满了,那么每次先把队首的去掉,然后在队尾添加新的数据。

在本申请实施例中,解码端在自动模式的基础上,以质量评估模型为标准,优化曲线参数,可以达到更好的tone mapping效果;本申请实施例中质量评估模型的计算次数,每帧是三次,一次是自动模式,两次使用在修正的过程中,计算量可控;动态tone mapping的曲线计算和优化需要知道目标显示器的最低和最高亮度,所以相对于实施例中编码端做优化,在解码端做,目标显示器的亮度信息更准确,效果会更好。

应理解,解码设备根据预测的曲线参数p的偏移量delta和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,具体可以参考方法506。

上述实施例中,解码设备需要进行自动模式的判定,但是预测并修正过的参数曲线,大概率好过自动模式,所以可以考虑省去自动模式判定,以减小系统的复杂度。另外,省去自动模式还可以省去自动模式的主观失真的计算。因此解码设备可以不进行自动模式的判定,直接对自动模式进行修正获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]。解码设备直接对自动模式进行修正获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]具体过程可以相应的参考方法800中编码设备采用导演模式传输HDR视频的过程。

还应理解,有关解码设备的执行过程都可以相应的参考编码设备,其不同之处在于:第一,解码设备优化后得到的参数P[N]不需要再写到动态元数据中;第二,解码设备会用优化后的曲线参数P[N]来生成曲线。

以上结合图1至图14对本申请实施例的多卡终端设备的通信参数测量方法做了详细说明。以下,结合图15至图16对本申请实施例通信装置进行详细说明。

图15示出了本申请实施例的装置1100的示意性框图。

一些实施例中,该装置1100可以为终端设备,也可以为芯片或电路,比如可设置于终端设备的芯片或电路。

一种可能的方式中,该装置1100可以包括处理单元1110(即,处理器的一例)和收发单元1130。一些可能的实现方式中,处理单元1110还可以称为确定单元。一些可能的实现方式中,收发单元1130可以包括接收单元和发送单元。

在一种实现方式中,收发单元1130可以通过收发器或者收发器相关电路或者接口电路实现。

在一种实现方式中,该装置还可以包括存储单元1120。一种可能的方式中,该存储单元1120用于存储指令。在一种实现方式中,该存储单元也可以用于存储数据或者信息。存储单元1120可以通过存储器实现。

一些可能的设计中,该处理单元1110用于执行该存储单元1120存储的指令,以使装置1100实现如上述方法中终端设备执行的步骤。或者,该处理单元1110可以用于调用存储单元1120的数据,以使装置1100实现如上述方法中终端设备执行的步骤。

一些可能的设计中,该处理单元1110用于执行该存储单元1120存储的指令,以使装置1100实现如上述方法中接入网设备执行的步骤。或者,该处理单元1110可以用于调用存储单元1120的数据,以使装置1100实现如上述方法中接入网设备执行的步骤。

例如,该处理单元1110、存储单元1120、收发单元1130可以通过内部连接通路互相通信,传递控制和/或数据信号。例如,该存储单元1120用于存储计算机程序,该处理单元1110可以用于从该存储单元1120中调用并运行该计算计程序,以控制收发单元1130接收信号和/或发送信号,完成上述方法中终端设备或接入网设备的步骤。该存储单元1120可以集成在处理单元1110中,也可以与处理单元1110分开设置。

可选地,若该装置1100为通信设备(例如,终端设备),该收发单元1130包括接收器和发送器。其中,接收器和发送器可以为相同或者不同的物理实体。为相同的物理实体时,可以统称为收发器。

当该装置1100为终端设备时,收发单元1130在发送信息时可以为发送单元或发射器,收发单元1130在接收信息时可以为接收单元或接收器,收发单元可以为收发器,此收发器、发射器或接收器可以为射频电路,当该装置包含存储单元时,该存储单元用于存储计算机指令,该处理器与存储器通信连接,处理器执行存储器存储的计算机指令,使该装置可以执行方法200、方法1100或者方法600。其中,处理器可以是一个通用中央处理器(CPU),微处理器,特定应用集成电路(Application Specific Intergrated Circuit,ASIC)。

可选地,若该装置1100为芯片或电路,该收发单元1130包括输入接口和输出接口。

当该装置1100为芯片时,收发单元1130可以是输入和/或输出接口、管脚或电路等。该处理单元1110可执行存储单元存储的计算机执行指令,以使该装置可以执行方法200、方法1100或者方法600。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元,如只读存储器(Read Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(Random Access Memory,RAM)等。

作为一种实现方式,收发单元1130的功能可以考虑通过收发电路或者收发的专用芯片实现。处理单元1110可以考虑通过专用处理芯片、处理电路、处理单元或者通用芯片实现。

作为另一种实现方式,可以考虑使用通用计算机的方式来实现本申请实施例提供的通信设备(例如终端设备,或接入网设备)。即将实现处理单元1110、收发单元1130功能的程序代码存储在存储单元1120中,通用处理单元通过执行存储单元1120中的代码来实现处理单元1110、收发单元1130的功能。

一些实施例中,装置1100可以为编码设备,或设置于编码设备的芯片或电路。当装置1100为编码设备,或设置于编码设备的芯片或电路时,获取单元1140,所述获取单元1140用于根据动态元数据生成算法获取第N帧的HDR视频的动态元数据,其中,所述N大于0;处理单元1110,用于根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;所述处理单元1110还用于根据所述曲线参数生成tone-mapping曲线;所述处理单元1110还用于根据质量评价算法确定所述tone-mapping曲线造成的失真D′;所述处理单元1110还用于比较所述D′和DT,确定所述第N帧的HDR视频采用的模式,所述模式是自动模式或导演模式,其中,所述DT为门限值;所述处理单元1110还用于根据确定的所述第N帧的HDR视频采用的模式,确定所述第N帧的HDR视频的元数据。

在一种实现方式中,所述处理单元1110具体用于:当所述D′大于所述DT时,确定所述第N帧的HDR视频采用导演模式,所述DT为所述第N帧的HDR视频采用导演模式下的失真;或者,当所述D′小于或者等于所述DT时,确定所述第N帧的HDR视频采用自动模式。

在一种实现方式中,所述处理单元1110还用于:根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述M大于0。

在一种实现方式中,所述处理单元1110还用于:根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

在一种实现方式中,所述处理单元1110具体用于:根据所述第N帧的HDR视频采用的模式、所述动态元数据生成算法和所述tone-mapping曲线参数的偏移量deltaC[N],生成所述第N帧的HDR视频的元数据。

在一种实现方式中,所述编码设备应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

在一种实现方式中,所述色调映射tone-mapping曲线为式(16)所示:

其中,曲线参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,曲线参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

在一种实现方式中,所述处理单元1110还用于:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述D″。

在一种实现方式中,所述处理单元1110具体用于:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

在一种实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

在一种实现方式中,所述处理单元1110具体用于:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

在一种实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

在一种实现方式中,所述处理单元1110还用于:

根据式(17)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

在一种实现方式中,所述处理单元1110具体用于:当所述第N帧的HDR视频采用的模式为自动模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据;或者,当所述第N帧的HDR视频采用的模式为导演模式时,所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

在一种实现方式中,所述所述第N帧的HDR视频的元数据包括标志位,所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标志位用于指示所述第N帧的HDR视频采用的模式为自动模式。

当该装置1100配置在或本身即为编码设备时,装置1100中各模块或单元可以用于执行上述方法中编码设备所执行的各动作或处理过程,这里,为了避免赘述,省略其详细说明。

一些实施例中,装置1100可以为解码设备,或设置于解码设备的芯片或电路。当装置1100为解码设备,或设置于解码设备的芯片或电路时,获取单元1140,所述获取单元1140用于获取第N帧的HDR视频和所述第N帧的HDR视频的元数据;处理单元1110,用于根据所述元数据的标志位,判断所述第N帧的HDR视频采用的模式。

在一种实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是自动模式时,所述处理单元1110还用于:根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射tone-mapping曲线参数;根据所述色调映射tone-mapping曲线参数生成自动模式下的tone-mapping曲线;根据所述自动模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

在一种实现方式中,当所述标志位指示所述第N帧的HDR视频采用的模式是导演模式时,所述处理单元1110还用于:从所述动态元数据中提取导演模式下的色调映射tone-mapping曲线参数;根据所述曲线参数生成导演模式下的tone-mapping曲线;

根据所述导演模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视频。

当该装置1100配置在或本身即为解码设备时,装置1100中各模块或单元可以用于执行上述方法中解码设备所执行的各动作或处理过程,这里,为了避免赘述,省略其详细说明。

一些实施例中,装置1100可以为解码设备,或设置于解码设备的芯片或电路。当装置1100为解码设备,或设置于解码设备的芯片或电路时,获取单元1140,所述获取单元1140用于根据动态元数据生成算法获取第N帧的HDR视频的动态元数据;处理单元1110,用于计算所述HDR视频的色调映射tone-mapping曲线参数;所述处理单元1110还用于根据所述曲线参数生成tone-mapping曲线;所述处理单元1110还用于根据质量评价算法确定所述tone-mapping曲线造成的失真D′;所述处理单元1110还用于根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述N大于0;所述处理单元1110还用于根据所述动态元数据生成算法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频的元数据。。

在一种实现方式中,所述处理单元1110还用于:根据所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成调整后的tone-mapping曲线;根据质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT,所述DT用于预测第N+j帧采用导演模式下的偏移量deltaC[N+j],其中j大于等于1,小于等于M。

在一种实现方式中,所述编码设备应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

在一种实现方式中,所述色调映射tone-mapping曲线为式(18)所示:

其中,曲线参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,曲线参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

在一种实现方式中,所述处理单元1110还用于:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述任一个D″。

在一种实现方式中,所述处理单元1110具体用于:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

在一种实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

在一种实现方式中,所述处理单元1110具体用于:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

在一种实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。

在一种实现方式中,所述处理单元1110还用于:

根据式(19)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

在一种实现方式中,所述处理单元1110具体用于:当所述第N帧的HDR视频采用的模式为导演模式时,所述第N帧的HDR视频的元数据包括基本动态元数据和P[N],所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。

在一种实现方式中,所述元数据包括标志位,所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式。

当该装置1100配置在或本身即为编码设备时,装置1100中各模块或单元可以用于执行上述方法中编码设备所执行的各动作或处理过程,这里,为了避免赘述,省略其详细说明。

一些实施例中,装置1100可以为解码设备,或设置于解码设备的芯片或电路。当装置1100为解码设备,或设置于解码设备的芯片或电路时,获取单元1140,所述获取单元1140用于获取第N帧的HDR视频和所述第N帧的HDR视频的动态元数据;处理单元1110,用于根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数;所述处理单元1110还用于根据所述曲线参数生成tone-mapping曲线;所述处理单元1110还用于根据质量评价算法确定所述tone-mapping曲线造成的失真D′;所述处理单元1110还用于比较所述D′和DT,确定是否使用自动模式,其中,所述DT为门限值。

在一种实现方式中,所述处理单元1110具体用于:当所述D′大于所述DT时,根据M帧窗口内(N-M,N)的帧的元数据、所述tone-mapping曲线参数和所述D′,获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[N],其中,所述M大于0。

在一种实现方式中,所述处理单元1110还用于:根据所述deltaC[N]生成调整后的tone-mapping曲线;根据所述质量评价算法确定所述调整后的tone-mapping曲线造成的失真DT

在一种实现方式中,所述解码设备应用于以下任一个或多个预设配置参数:1000nit、500nit和低动态范围SDR。

在一种实现方式中,所述色调映射tone-mapping曲线为式(20)所示:

其中,曲线参数a和p是根据所述第N帧的HDR视频的动态元数据来确定的,曲线参数b、n和m为预设值,L为输入的亮度,L′为输出的亮度。

在一种实现方式中,所述处理单元1110还用于:根据预测的曲线参数p的偏移量和K*基本步长值,确定所述调整的曲线参数p的多个偏移量,其中,K为正整数,K大于等于0;根据所述曲线参数p的多个偏移量,确定曲线参数p的多个偏移量中的每个偏移量对应的曲线参数p″和a″;根据所述多个偏移量中的每个偏移量对应的参数p″和a″生成多个调整的tone-mapping曲线;根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的失真D″;从所述多个D″中选择满足第一条件的任一个D″对应的tone-mapping曲线参数p″和a″为目标调整的曲线参数p′和a′,所述DT为选择的所述D″。

在一种实现方式中,所述处理单元1110具体用于:所述K为1,确定的偏移量为所述预测的曲线参数p的偏移量加所述基本步长值、和所述预测的曲线参数p的偏移量减所述基本步长值。

在一种实现方式中,所述第一条件为从两个失真D″中选择失真D″小的tone-mapping曲线参数。

在一种实现方式中,所述处理单元1110具体用于:根据所述基本delta±M*基本步长值stepsize,确定多个偏移量,其中,M为小于或等于K的每个正整数。

在一种实现方式中,所述第一条件为从多个D″中选择最小的D″或从多个D″中选择小于第一阈值的D″。。

在一种实现方式中,所述处理单元1110还用于:

根据式(21)确定所述预测的曲线参数p的偏移量:

其中,deltaC[N-k]表示第N-k帧使用的偏移量,D[N-k]表示第N-k帧的质量评价算法算出来的失真,M为窗口长度。

当该装置1100配置在或本身即为解码设备时,装置1100中各模块或单元可以用于执行上述方法中解码设备所执行的各动作或处理过程,这里,为了避免赘述,省略其详细说明。

图16为本申请提供的一种终端设备1200的结构示意图。该终端设备1200可以执行上述方法实施例中终端设备执行的动作。

为了便于说明,图16仅示出了终端设备的主要部件。如图16所示,终端设备1200包括处理器、存储器、控制电路、天线以及输入输出装置。

处理器主要用于对通信协议以及通信数据进行处理,以及对整个终端设备进行控制,执行软件程序,处理软件程序的数据,例如用于支持终端设备执行上述传输预编码矩阵的指示方法实施例中所描述的动作,处理器可以实现上述处理单元和获取单元的功能。存储器主要用于存储软件程序和数据,例如存储上述实施例中所描述的码本。控制电路主要用于基带信号与射频信号的转换以及对射频信号的处理。控制电路和天线一起也可以叫做收发器,主要用于收发电磁波形式的射频信号。输入输出装置,例如触摸屏、显示屏,键盘等主要用于接收用户输入的数据以及对用户输出数据。

当终端设备开机后,处理器可以读取存储单元中的软件程序,解释并执行软件程序的指令,处理软件程序的数据。当需要通过无线发送数据时,处理器对待发送的数据进行基带处理后,输出基带信号至射频电路,射频电路将基带信号进行射频处理后将射频信号通过天线以电磁波的形式向外发送。当有数据发送到终端设备时,射频电路通过天线接收到射频信号,将射频信号转换为基带信号,并将基带信号输出至处理器,处理器将基带信号转换为数据并对该数据进行处理。

本领域技术人员可以理解,为了便于说明,图16仅示出了一个存储器和处理器。在实际的终端设备中,可以存在多个处理器和存储器。存储器也可以称为存储介质或者存储设备等,本申请实施例对此不做限制。

例如,处理器可以包括基带处理器和中央处理器,基带处理器主要用于对通信协议以及通信数据进行处理,中央处理器主要用于对整个终端设备进行控制,执行软件程序,处理软件程序的数据。图16中的处理器集成了基带处理器和中央处理器的功能,本领域技术人员可以理解,基带处理器和中央处理器也可以是各自独立的处理器,通过总线等技术互联。本领域技术人员可以理解,终端设备可以包括多个基带处理器以适应不同的网络制式,终端设备可以包括多个中央处理器以增强其处理能力,终端设备的各个部件可以通过各种总线连接。所述基带处理器也可以表述为基带处理电路或者基带处理芯片。所述中央处理器也可以表述为中央处理电路或者中央处理芯片。对通信协议以及通信数据进行处理的功能可以内置在处理器中,也可以以软件程序的形式存储在存储单元中,由处理器执行软件程序以实现基带处理功能。

示例性的,在本申请实施例中,可以将具有收发功能的天线和控制电路视为终端设备1200的收发单元1210,将具有处理功能的处理器视为终端设备1200的处理单元1220。如图9所示,终端设备1200包括收发单元1210和处理单元1220。收发单元也可以称为收发器、收发机、收发装置等。可选的,可以将收发单元1210中用于实现接收功能的器件视为接收单元,将收发单元1210中用于实现发送功能的器件视为发送单元,即收发单元包括接收单元和发送单元。示例性的,接收单元也可以称为接收机、接收器、接收电路等,发送单元可以称为发射机、发射器或者发射电路等。

应理解,本申请实施例中,该处理器可以为中央处理单元(central processingunit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。

上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本申请实施例还提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被计算机执行时实现上述任一实施例中的编码设备或解码设备执行的步骤。

本申请实施例还提供了一种计算机程序产品,该计算机程序产品被计算机执行时实现上述任一实施例中的编码设备或解码设备执行的步骤。

本申请实施例还提供了一种系统芯片,该系统芯片包括:通信单元和处理单元。该处理单元,例如可以是处理器。该通信单元例如可以是通信接口、输入/输出接口、管脚或电路等。该处理单元可执行计算机指令,以使该通信装置内的芯片执行上述本申请实施例提供的编码设备或解码设备执行的步骤。

可选地,该计算机指令被存储在存储单元中。

本申请中的各个实施例可以独立的使用,也可以进行联合的使用,这里不做限定。

另外,本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatiledisc,DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasable programmableread-only memory,EPROM)、卡、棒或钥匙驱动器等)。另外,本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

应理解,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或一个以上;“A和B中的至少一个”,类似于“A和/或B”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和B中的至少一个,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

59页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种探测装置及探测方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类