多编解码器处理和速率控制
阅读说明：本技术 多编解码器处理和速率控制 (Multi-codec processing and rate control ) 是由 法维奥·默里 I·达蒙佳诺维克 于 2019-01-17 设计创作，主要内容包括：控制用于编码信号的比特率。所述信号是使用至少两种不同的编码算法进行编码的。将总比特率分配给所述信号的至少两个分量。所述信号的第一分量将使用第一编码算法来编码。所述信号的第二分量将使用第二编码算法来编码。(The bit rate for encoding the signal is controlled. The signal is encoded using at least two different encoding algorithms. The total bit rate is allocated to at least two components of the signal. A first component of the signal is to be encoded using a first encoding algorithm. The second component of the signal is to be encoded using a second encoding algorithm.)
技术领域
本发明涉及设备、方法、计算机程序和计算机可读介质。特别地，本发明涉及用于处理数据的设备、方法、计算机程序和计算机可读介质。处理数据可以包括但不限于获得、导出、输出、接收和重构数据。
背景技术
信号的压缩和解压缩是许多已知系统中的重要考虑因素。
许多类型的信号，例如视频、音频或体积信号，可以被压缩和编码以例如通过数据通信网络进行传输。其他信号可以以压缩形式存储在例如诸如数字多功能光盘(DVD)的传统存储介质上或者作为在线数据存储装置(例如，云存储装置)中的数据文件。
有许多被设计成有效地压缩和解压缩信号的已知技术。通过举例的方式，对于视频信号来说，存在基于标准的运动图像专家组(MPEG)压缩技术(诸如AVC/H.264或最近的HEVC/H.265)，由(例如，VP8、VP9)和(例如，VC1)开发的各种压缩技术，以及由V-开发并且称为
上述技术中的每一种的特征在于一些特定特征(例如，数据的处理方式、所使用的数据转换的类型、所使用的编码技术的类型等)，其在很大程度上对确定技术的性能负责。所述性能中的重要因素是用于编码数据集或信号的符号的数量。在数字通信中，这通常等于所使用的比特的数量(或其任何倍数)。在对随时间分布的大型资产，诸如，例如，视频进行编码时，这些比特随时间的分配(比特率)对于基于给定的度量(例如，主观体验的质量)来确保提供最佳的可能的数据重构的符号(比特)的分布来说至关重要。上述技术的每种实现方式使用其自己的且通常是定制的速率控制算法。
典型的比特率控制使用给定的输入视频信号和期望的比特率(例如，恒定的或可变的)来确定编码器设置，以尽可能高和恒定地维持图像质量。最重要的设置通常是编码过程中使用的量化步骤。
由于每种压缩技术的特定特征和通过这种技术的特定实现方式执行的速率控制的方式，压缩技术的实现方式对于某些视频帧/序列来说可能优于其他的，而对于其他视频帧/序列来说则可能劣于其他的。
视频序列是使用特定的压缩技术实现方式来进行编码的，从而导致压缩效率低下，这是因为并非总是将最佳技术用于视频序列。
发明内容
根据本发明的第一方面，存在一种用于控制用于编码信号的比特率的方法，其中所述信号是使用至少两种不同的编码算法进行编码的。所述方法可以包括将总比特率分配给所述信号的至少两个分量。所述信号的第一分量将使用第一编码算法来编码，并且所述信号的第二分量将使用第二编码算法来编码。此外，所述信号的第一分量可以用第一编码算法来编码，并且所述信号的第二分量可以用第二编码算法来编码。
所述方法还可以包括确定要分配用于使用所述第一编码算法来编码所述第一分量的第一比特率的最优值；以及确定要分配用于使用所述第二编码算法来编码所述第二分量的第二比特率的最优值。所述第一比特率的所述最优值和所述第二比特率的所述最优值可以通过优化所述信号的质量水平来共同确定。所述第一比特率的所述最优值和所述第二比特率的所述最优值可以通过优化成本函数来共同确定，所述成本函数包括所述第一编码算法的至少一个特性和所述第二编码算法的至少一个特性。所述优化过程可以在所述第一比特率和所述第二比特率之和应小于或等于所述总比特率的约束下执行。所述优化过程可以通过改变所述第一编码算法的所述至少一个特性或所述第二编码算法的所述至少一个特性来执行。所述优化过程可以使用神经网络或任何合适的深度学习算法来执行。所述方法还可以包括分配所述总比特率以部分地用于所述信号的所述第一分量，部分地用于所述信号的所述第二分量，以及部分地用于所述信号的第三分量，所述第三分量要使用第三编码算法进行编码。
根据本发明的第二方面，提供了一种用于解码所编码信号的方法，其中所述编码信号具有用第一编码算法编码的第一分量以及用第二编码算法编码的第二分量。所述第一解码算法可以用于解码所述第一分量，并且所述第二解码算法可以用于解码所述第二分量。可以通过组合所述解码的第一分量和所述解码的第二分量来完成所述信号的重构。所述信号可以通过仅解码所述编码信号的所述分量中的一个来进行重构。
所述信号可以包括一个或多个子信号，其中所述第一分量和所述第二分量是相同子信号的分量。在不同的实施例中，所述信号可以包括多个子信号，其中所述第一分量对应于一个或多个子信号，并且所述第二分量对应于一个或多个不同的子信号。所述信号可以是视频信号，并且子信号对应于所述视频信号的帧。所述信号可以是一个或多个图像，并且子信号对应于图像。
上述方法可以包括一旦进行了编码，就将所述信号的所述分量组合成单个编码信号。
上述方法还可以包括将所述信号分为两个或更多个分量，每一个均要用单独的编码算法进行编码。
上述方法还可以包括基于哪一种编码算法最适合编码所述信号的相应分量来从一组编码算法选择编码算法。
在本发明的第三方面，提供了一种用于解码所编码信号的方法，所述编码信号具有用第一编码算法编码的第一分量和用第二编码算法编码的第二分量，所述方法包括使用第一解码算法来解码所述第一分量；以及仅使用所述解码的第一分量来重构所述信号。
在本发明的第四方面，提供了一种包括一个或多个数据集的传输流，其中所述数据流中的每一个包括至少第一分量和第二分量，所述第一分量是使用第一编码算法进行编码的，并且所述第二分量是使用第二不同的编码算法进行编码的。
在本发明的第五方面，提供了一种用于控制编码信号的比特率的速率控制设备，其中所述信号是使用至少两种不同的编码算法进行编码的，所述设备被配置为将总比特率分配给所述信号的至少两个分量，其中所述信号的第一分量将使用第一编码算法来编码，并且所述信号的第二分量将使用第二编码算法来编码。
在本发明的第六方面，提供了一种用于使用两种不同的编码算法来编码信号的编码设备，所述设备被配置为用第一编码算法来编码所述信号的第一分量，以及用第二编码算法来编码所述信号的第二分量。
在本发明的第七方面，提供了一种用于对编码信号进行解码的解码设备，所述编码信号具有用第一编码算法编码的第一分量和用第二编码算法编码的第二分量，所述解码设备被配置为用第一解码算法解码所述第一分量以及用第二解码算法解码所述第二分量。
在本发明的第八方面，提供了一种用于解码所编码信号的解码设备，所述编码信号具有用第一编码算法编码的第一分量和用第二编码算法编码的第二分量，所述设备被配置为使用第一解码算法解码所述第一分量；以及仅使用所述解码的第一分量来重构所述信号。
从参考附图进行的、仅通过举例的方式给出的优选实施例的以下描述中，其他特征和优点将变得显而易见。
附图说明
图1示出了根据本发明的实施例的信号处理系统的示例的示意性框图；并且
图2示出了根据本发明的实施例的信号处理系统的示例的示意性框图。
具体实施方式
为了便于参考，下面的所有图是使用视频信号作为要压缩和解压缩的信号来进行描述的。然而，应理解，上述发明同样适用于可以被压缩的任何类型的信号，诸如1D信号(例如，音频信号等)、2D信号(例如，图像、视频等)以及N维信号(例如，体积信号、扫描、空时信号、医学成像等)。
参考图1，示出了信号处理系统的示例。由一系列未压缩的视频帧组成的视频序列100被馈送至编码系统110中以进行压缩。处理模块120与多编解码器选择单元130和一组编码器140通信。
编码器140中的每一个被配置为根据特定的压缩技术来对接收到的数据流进行编码。例如，第一编码器140-1根据第一压缩技术(例如，AVC/H.264)对其接收的信号进行编码，第二编码器140-2根据第二压缩技术(例如，PERSEUS)对其接收的信号进行编码，第N编码器140-N根据第N压缩技术(例如，VP9)对其接收的信号进行编码。
多编解码器选择单元130适于确定将使用所述一组编码器140中的哪些编码器，以及应将总比特率中的什么部分分配给所述选定编码器中的每一个。可以以下面进一步描述的各种方式来执行确定。多编解码器选择单元130还可以从各种编码器140接收一些反馈信息(实时或离线的)150，以便改善确定或首先进行确定。多编解码器选择单元130还可以选择一个或多个滤波操作来将帧或帧序列分解为多个分量，每个分量被馈送至对应的选定编码器。
处理模块120接收视频序列100，并且根据从多编解码器选择单元130接收的信息将所述序列馈送到两个或更多个编码器140。例如，如果联合速率控制130通知处理模块第一编码器140-1已经被分配了总比特率的80％，以及第二编码器140-2已经被分配了总比特率的20％，则处理模块120管理两个编码器140-1和140-2，使得两个编码器在对其相应的数据流进行编码时利用所分配的比特率。
应注意，尽管在图1中已将处理模块120绘制为与多编解码器选择单元130相分离的模块，但是由这两个部件执行的功能可以组合成单个模块，其执行相同或等效的功能。
在一个实施例中，多编解码器选择单元130基于每个编码器针对视频序列中的特定帧或一系列帧的相对强度来确定要选择的编码器和要分配给选定编码器中的每一个的比特率的部分。通过举例的方式，多编解码器选择单元130确定要分配给视频序列中的特定帧或一系列帧的总比特率。例如，可以基于用于传输编码的视频序列的可用带宽(例如，在实时流传输场景中)或基于诸如可用存储容量、所需的压缩文件大小等特定要求来选择总比特率。
此外，基于在一组编码器中的每个编码器的一个或多个特性，多编解码器选择单元130确定应使用编码器中的哪一个来编码视频序列中的特定帧或一系列帧。所述特性可能与视频序列中特定帧或一系列帧的一些属性相关。
例如，如果视频序列中的特定帧或一系列帧包含锋利的边缘以及具有均匀颜色的区域，则多编解码器选择单元130可以选择与实现改为最优于编码图片的均匀区域的压缩技术的另一个编码器并排的实现适合于对这种锋利的边缘进行最佳编码的压缩技术的编码器，为每个编码器分配总比特率的适当部分，以便优化编码并且随后指示处理模块120使用预定的智能滤波操作来使边缘与均匀的区域分离。处理模块120将智能滤波操作应用于视频序列中的特定帧或一系列帧，从而将视频序列中的原始特定帧或一系列帧中的帧中的每一个分解为包含边缘信息的第一分量和包含剩余信息的第二分量。然后，处理模块120可以针对每个帧将第一分量馈送到实现适合于对锋利的边缘进行最佳优化的压缩技术的第一编码器，并且将第二分量馈送到实现改为最优于编码均匀区域的压缩技术的第二编码器。
在另一种情形中，如果从空间角度来看视频序列中的特定帧或一系列帧高度复杂(例如，帧中有很多细节，这意味着空间相关性很低)，则多编解码器选择单元130可以选择与实现优于编码图像的剩余信息的压缩技术的另一个编码器一起的实现最优于编码图片中的高频信息的压缩技术的编码器，为每个编码器分配总比特率的适当部分，以便优化编码，并且随后指示处理模块120使用预定的滤波操作来分离高频信息。处理模块120将预定的滤波操作应用于视频序列中的特定帧或一系列帧，从而将视频序列中的原始特定帧或一系列帧中的帧中的每一个分解为包含高频信息的第一分量和包含剩余信息的第二分量。然后，处理模块120可以针对每个帧将第一分量馈送到实现优于编码高频信息的压缩技术的第一编码器以及将第二分量馈送到实现改为优于编码图片中的剩余信息的压缩技术的第二编码器。
在另一种情形中，多编解码器选择单元130可以选择实现适合于对图片的第一颜色分量(例如，Y分量)进行最优编码的压缩技术的编码器，实现适合于对图片的第二颜色分量(例如，U分量)进行最优编码的压缩技术的第二编码器，以及实现适合于对图片的第三颜色分量(例如，V分量)进行最优编码的压缩技术的第三编码器。替代地，其可以选择实现适合于对图片的颜色分量(例如，Y分量)进行最优编码的压缩技术的编码器以及实现适合于对图片的剩余颜色分量(例如，U和V分量)进行最优编码的压缩技术的第二编码器。在任何一种情况下，多编解码器选择单元130可以将总比特率的适当部分分配给每个编码器以便优化编码，并且随后指示处理模块120使用预定的滤波操作来分离颜色分量。处理模块120将预定的滤波操作应用于视频序列中的特定帧或一系列帧，从而将视频序列中的原始特定帧或一系列帧中的帧中的每一个分解为第一颜色分量(例如，Y)、第二颜色分量(例如，U)和第三颜色分量(例如，V)。然后，处理模块120可以针对每个帧将第一颜色分量馈送到实现最适合于对所述第一颜色分量进行最优编码的压缩技术的第一编码器，将第二颜色分量馈送到实现最适合于对所述第二颜色分量进行最优编码的压缩技术的第二编码器，以及将第三颜色分量馈送到实现最适合于对所述第三颜色分量进行最优编码的压缩技术的第三编码器，或替代地(在联合控制器仅选择两个编码器的情况下，一个用于第一颜色分量并且第二个用于第二和第三颜色分量)，将第二和第三分量馈送到实现最适合于对所述第二和第三颜色分量进行最优编码的压缩技术的第二编码器。
在另一种情形中，多编解码器选择单元130可以选择实现适合于对跨多个帧的移动进行最优编码的压缩技术的编码器以及实现适合于对帧内的静态部分进行最优编码的压缩技术的另一个编码器。然后，多编解码器选择单元130可以将总比特率的适当部分分配给每个编码器，以便优化编码，并且随后指示处理模块120使用预定的滤波操作分离移动分量与图片的其余部分。处理模块120将预定的滤波操作应用于视频序列中的特定帧或一系列帧，从而将视频序列中的原始特定帧或一系列帧分解为包含移动信息的第一分量和包含剩余信息的第二分量。然后，处理模块120可以将第一分量馈送到实现对优于编码跨多个帧的移动的压缩技术的第一编码器，以及将第二分量馈送到实现对适合于对帧内的静态部分进行最优编码的压缩技术的第二编码器。
在一个实施例中，多编解码器选择单元130基于优化成本函数来确定源于一组编码器140的要使用的编码器以及要分配到选定编码器中的每一个的总比特率的部分，成本函数考虑了以下因素：(i)要分配到每个编码器的总比特率的部分，以及(ii)与实现特定压缩技术的特定编码器相关联的工具集、参数和/或特性(例如，其是否更适合于某些复杂性、使用的转换类型、空间和/或时间预测、分层方法等)。例如，多编解码器选择单元130可以使用以下等式：
Rj＝g[T集(enc#1)，T集(enc#2)，...，T集(enc#N)]
C＝f[R1，R2，...，RN，T集(enc#1)，T集(enc#2)，...，T集(enc#N)，O图像，D]
其中Rj是要为第j个编码器选择的比特率并且是实现其相应压缩技术(即，T集)(enc#j)的各种编码器的工具集、参数和/或特性的函数，并且其中成本函数C是要选择的可能的比特率、工具集/特性、在视频序列(O图像)中未压缩的特定帧或一系列帧的一些特性以及通常需要最小化的失真(D)的函数。在一个实施例中，由多编解码器选择单元130使用的成本函数可以使用神经网络和/或旨在优化选择的深度学习算法来实现。可以在不脱离本发明的工作方式的情况下，使用其他函数和/或优化技术。
在一个实施例中，一旦处理模块120已经从多编解码器选择单元130接收到关于(i)应使用一组编码器140中的哪一个来对视频序列编码器中的特定帧或一系列帧进行编码，(ii)应将总比特率中的什么部分分配至选定编码器中的每一个，以及可选地(iii)要与编码器中的每一个一起使用的工具集、参数和/或特性的信息，处理模块120就通过将一个或多个相应的数据流馈送到每个编码器来以预定的组合方式相应地使用选定编码器来处理视频序列中的特定帧或一系列帧。一旦已经生成了每个解码器的输出(即，编码流140-1、......、140-N)，组合器150就将其组合成表示压缩版本的输入流的单个组合流170。存在各种可以组合流的方式。例如，单个组合流可以被组合成组合格式(例如，将编码流组合成单个比特流的格式)。在不同的示例中，编码流可以通过将编码流封装到比特流中来进行组合，在所述比特流中，编码流仍然有效地彼此独立，即使其看起来像是单个封装的比特流。
尽管未示出，但是处理模块120和/或组合器160可以与编码器140结合工作以执行各个分量的编码，并且生成编码分量140-1至140-N和组合的编码流170。例如，由处理模块120执行的滤波操作和由组合器160执行的操作中的一些可以作为编码过程的一部分执行，即，当编码器140对各种分量进行编码时。
作为非限制性示例，如果多编解码器选择单元130选择第一编码器140-1(例如，实现HEVC/H.265压缩技术)和第二编码器140-2(例如，实现PERSEUS压缩技术)，则处理模块120可以首先使用第一编码器140-1来使用分配给第一编码器140-1的总比特率的一部分编码在视频序列中的特定帧或一系列帧的降采样版本，以产生第一编码流。之后，处理模块120可以对第一编码流的解码版本进行升采样，并且将其与视频序列中的原始特定帧或一系列帧一起馈送到第二编码器140-2，以便第二编码器140-2使用分配给第二编码器140-2的总比特率的一部分来产生第二编码流。这种组合的进一步描述可以在例如通过引用并入本文的PCT专利公开号WO 2014/170819和PCT专利公开号WO 2017/089839中找到。
参考图2，示出了信号处理系统的示例。由一系列压缩视频帧组成的帧的编码序列200被馈送到解码系统210中进行解压缩。处理模块220接收帧200的编码序列，并且将其分离为多个压缩分量230-1至230-N。处理模块220将接收到的多个压缩分量馈送到对应的解码器240。解码器240中的每一个将其对应的压缩分量解码为解码分量250-1至250-N。然后，重组器260将解码的分量250-1至250-N组合成单个解码的帧或帧序列270。
边信息流201也可以由解码系统210接收。所述边信息流201可以包括关于多个分量的数量的信息，要应用于帧序列的特定滤波操作以及解码帧序列所需的任何其他信息。边信息流201可以在单个编码比特流中与帧200的编码序列一起发送，或者替代地作为单独的独立流发送。
处理模块220基于帧200的编码序列的格式和/或基于边信息201来分离序列。处理模块220还基于与编码分量230-1至230-N相关联的特定解码技术来选择一组解码器240。例如，如果处理模块220接收到两个编码分量230-1和230-2，并且编码分量230-1需要实现适合于解码锋利的边缘的解压缩技术的解码器且分量230-2需要实现改为优于解码均匀区域的解压缩技术的解码器，则处理模块220选择实现适合于解码锋利的边缘的解压缩技术的第一解码器，以及实现改为优于解码均匀区域的解压缩技术的第二解码器，以及产生解码分量250-1和250-2。处理模块220可以基于帧200的编码序列的格式和/或基于边信息201来确定要选择的一组解码器240。例如，当其接收到帧200的编码序列时，处理模块220可以分析序列的格式，并且基于其确定存在两个或更多个编码分量230-1至230-N，其中的每一个都需要特定的解码算法以便进行解码。替代地或结合地，处理模块220可以经由边信息流201接收关于编码分量230-1至230-N以及要与它们中的每一个一起使用的特定解码算法的信息(包括，例如，用于设备解码算法的参数)。
重组器260接收解码分量250-1至250-N，并且将其重组以生成单个解码的帧或帧序列270。可以基于在所述过程期间使用的特定编码器240或基于从边信息流201接收的边信息来执行组合。例如，如果解码的分量包括已由实现适合于解码锋利的边缘的解压缩技术的解码器240解码的第一解码分量250-1以及已由实现改为优于解码均匀区域的解压缩技术的解码器解码的第二解码分量250-2，则重组器260可以使用适合于合并和/或组合解码分量250-1和250-2的预定的滤波器。例如，简单的滤波器实现方式可以简单地使解码分量250-1与解码分量250-2重叠以生产单个解码流270。
尽管未示出，但是处理模块220和/或重组器260可以与解码器240相结合地工作以执行编码分量230-1至230-N的解码并且生成解码分量250-1至250-N和组合的解码流270。例如，由重组器260执行的滤波操作和/或由处理模块220执行的操作中的一些可以作为解码过程的一部分执行，即，当解码器240对各种编码分量进行解码时。
上述方法有效地接收未压缩的帧(或未压缩的一系列帧)，将其分解为两个或更多个分量，将总的可用比特率分配给对应的两个或更多个编码器，将两个或更多个分量馈送到对应的两个或更多个编码器以生成两个或更多个编码分量，并且随后将两个或更多个分量组合成单个编码流，单个编码流随后进行传输或存储以在之后的阶段进行解码。
上述方法的优点之一是，可以在相同的原始输入流的分解版本上同时有效地使用两个或更多个编码器(以及其实现的相应的压缩技术)，以便使用编码器的最佳可能的组合并且因此优化编码系统的整体编码性能。如上面所讨论的，常规编码系统一次实现一种压缩技术。对于以上情况有各种技术原因。首先，每种压缩技术通常需要专用硬件以便执行编码过程，并且因此仅使用一个专用硬件。其次，如上面所讨论的，每个实现方式需要相当复杂的速率控制，以便管理该实现方式所需的比特率。第三，每种压缩技术都有其自己不同的语法和比特流，并且因此编码格式被设置为严格遵守这种语法和比特率，并且不允许与其有任何背离。通过使用本发明，可以使用两种或更多种压缩技术(例如，AVC/H.264和PERSEUS，或“Y”编码器和“UV”编码器)并且协同利用其特性，以便针对给定的期望比特率优化编码效率和使编码系统的质量最大化。
本发明的另一个优点是能够以更大的粒度来优化视频编码序列。通过在视频序列被编码时多路复用编码器，可以为每个帧选择压缩技术的最佳组合，从而使编码系统不仅能够为整个编码序列，而且可以为编码序列的每个部分始终实现最佳的可实现的质量。
本发明的另一个优点是能够实现逆向兼容性。例如，如果组合的编码序列是使用AVC/H.264和PERSEUS以期望的总比特率进行编码的，则传统系统仍可能仍然能够解码AVC/H.264编码序列，而无需能够解码PERSEUS部分。
应理解，关于任一个实施例描述的任何特征都可以单独使用，或者与描述的其他特征结合使用，并且还可以与任何其他实施例的一个或多个特征结合使用，或者与任何其他实施例的任何组合结合使用。此外，在不脱离所附权利要求限定的本发明的范围的情况下，还可以采用上面未描述的等效物和修改形式。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：视频压缩中的多线帧内预测的方法和装置