具体实施方式

图5示出了用于对至少三个音频信号进行编码的多信号编码器的优选实施方式。该至少三个音频信号被输入到信号处理器100中，以单独地预处理每个音频信号来获得至少三个经预处理的音频信号180，其中预处理被执行为使得经预处理的音频信号相对于在预处理之前的对应信号被白化。该至少三个经预处理的音频信号180被输入到自适应联合信号处理器200，该自适应联合信号处理器200被配置为执行对该至少三个经预处理的音频信号的处理以获得至少三个经联合处理的信号，或者在实施例中，获得未处理的信号和至少两个经联合处理的信号，如稍后将说明的。多信号编码器包括信号编码器300，该信号编码器300连接到自适应联合信号处理器200的输出并且被配置为对自适应联合信号处理器200输出的每个信号进行编码以获得一个或多个经编码的信号。信号编码器300的输出处的这些经编码的信号被转发给输出接口400。输出接口400被配置用于发送或存储经编码的多信号音频信号500，其中输出接口400的输出处的经编码的多信号音频信号500包括由信号编码器300生成的该一个或多个经编码的信号、与信号预处理器200执行的预处理相关的边信息520(即，白化信息)，并且附加地，经编码的多信号音频信号还包括与自适应联合信号处理器200执行的处理相关的边信息530(即，与自适应联合信号处理相关的边信息)。

在优选实施方式中，信号编码器300包括速率回路处理器，该速率回路处理器由比特分配信息536控制，该比特分配信息536由自适应联合信号处理器200生成并且不仅被从框200转发到框300，而且还在边信息530内被转发给输出接口400，并因此转发到经编码的多信号音频信号中。经编码的多信号音频信号500通常以逐帧的方式生成，其中，成帧(framing)以及通常对应的加窗和时频转换在信号预处理器100内执行。

在图5b中示出了经编码的多信号音频信号500的帧的示例性图示。图5b示出了针对于由框300生成的经单独编码的信号的比特流部分510。框520针对于由框100生成并转发给输出接口400的预处理边信息。此外，联合处理边信息530由图5a的自适应联合信号处理器200生成，并被引入到图5b所示的经编码的多信号音频信号帧中。在图5b的图示的靠右处，经编码的多信号音频信号的下一帧将被写入串行比特流中，同时在图5b的图示的靠左处，经编码的多信号音频信号的早期的帧将被写入。

如稍后将说明的，预处理包括时间噪声成形处理和/或频域噪声成形处理或LTP(长期预测)处理或加窗处理操作。对应的预处理边信息550可以包括时间噪声成形(TNS)信息、频域噪声成形(FDNS)信息、长期预测(LTP)信息或者加窗或窗口信息中的至少一种。

时间噪声成形包括在频率上对频谱帧的预测。使用具有较低频率的频谱值的加权组合来预测具有较高频率的频谱值。TNS边信息包括加权组合的权重，也称为通过频率上的预测导出的LPC系数。经白化的频谱值是预测残差值，即，针对每个频谱值，原始频谱值和预测频谱值之间的差。在解码器侧，执行LPC合成滤波的逆预测，以便撤消在编码器侧的TNS处理。

FDNS处理包括使用针对对应频谱值的加权因子来对帧的频谱值进行加权，其中加权值是根据从经加窗的时域信号的块/帧计算出的LPC系数导出的。FDNS边信息包括从时域信号导出的LPC系数的表示。

对于本发明也有用的另一种白化过程是使用缩放因子的频谱均衡，使得经均衡的频谱表示比未均衡的版本更白化的版本。边信息将是用于加权的缩放因子，并且逆过程包括使用所发送的缩放因子在解码器侧撤销均衡。

另一种白化过程包括使用逆滤波器对频谱执行逆滤波，该逆滤波器由在语音编码领域中已知的、从时域帧导出的LPC系数控制。边信息是逆滤波器信息，并且使用所发送的边信息在解码器中撤消该逆滤波。

另一种白化过程包括在时域中执行LPC分析并计算时域残差值，该时域残差值然后被转换到频谱范围。通常，因此获得的频谱值类似于通过FDNS获得的频谱值。在解码器侧，后期处理包括使用所发送的LPC系数表示来执行LPC合成。

在优选实施方式中，联合处理边信息530包括成对处理边信息532、能量缩放信息534和比特分配信息536。成对处理边信息可以包括以下至少之一：声道对边信息比特、全中/边或双单声道或频带方式中/边信息、以及在频带方式中/边指示的情况下的中/边掩码，其中，中/边掩码针对帧中的每个带宽指示该频带是通过中/边处理还是L/R处理来处理。成对处理边信息可以附加地包括智能间隙填充(IGF)或诸如SBR(频谱带复制)信息的其他带宽扩展信息等。

针对每个经白化(即，经预处理)的信号180，能量缩放信息534可以包括能量缩放值和指示能量缩放是放大还是缩小的标志。例如，在八个声道的情况下，框534将包括八个缩放值(例如，八个经量化的ILD值)和八个标志，该八个标志针对该八个声道中的每一个指示：在编码器内是完成放大还是缩小，或在解码器内是必须完成放大还是缩小。当帧中某个经预处理的声道的实际能量低于所有声道内针对该帧的平均能量时，编码器中的放大是必要的，而当帧中某个声道的实际能量高于帧内所有声道的平均能量时，缩小是必要的。联合处理边信息可以包括针对经联合处理的信号中的每一个或者针对未处理的信号(如果可用)和每个经联合处理的信号的比特分配信息，并且该比特分配信息被信号编码器300使用(如图5a所示)并且相应地被图10所示的信号解码器使用，该信号解码器经由输入接口从经编码的信号接收该比特流信息。

图6示出了自适应联合信号处理器的优选实施方式。自适应联合信号处理器200被配置为对该至少三个经预处理的音频信号执行宽带能量归一化，使得每个经预处理的音频信号都具有归一化的能量。输出接口400被配置为包括针对每个经预处理的音频信号的宽带能量归一化值来作为进一步的边信息，其中该值对应于图5b的能量缩放信息534。图6示出了宽带能量归一化的优选实施方式。在步骤211中，计算每个声道的宽带能量。进入框211的输入由经预处理(经白化)的声道组成。结果是C_total个声道中每个声道的宽带能量值。在框212中，通常通过将各个值相加并且将该各个值除以声道数来计算平均宽带能量。然而，可以执行其他平均计算过程，例如几何平均等。

在步骤213中，对每个声道进行归一化。为此，确定缩放因子或值以及放大或缩小信息。因此，框213被配置为输出在534a处指示的针对每个声道的缩放标志。在框214中，执行对在框212中确定的缩放比例的实际量化，并且在534b处针对每个声道输出该经量化的缩放比例。该经量化的缩放比例还被指示为声道间水平差即，对于某个声道k，相对于具有平均能量的参考声道。在框215中，使用经量化的缩放比例来缩放每个声道的频谱。框215中的缩放操作由框213的输出控制，即，由关于是要执行放大还是执行缩小的信息来控制。框215的输出表示针对每个声道的经缩放的频谱。

图7示出了自适应联合信号处理器200相对于级联的对处理的优选实施方式。自适应联合信号处理器200如框221所指示的被配置为计算每个可能的声道对的互相关值。框229示出了选择具有最高互相关值的对，并且在框232a中，针对该对确定联合立体声处理模式。联合立体声处理模式可以包括针对完整帧的中/边编码、频带方式的中/边编码，即，针对多个频带中的每个频带确定：该频带将要以中/边模式还是以L/R模式处理，或者对于实际的帧，是否要针对正在考虑的该特定的对执行全频带双单声道处理。在框232b中，实际使用如框232a中确定的模式来执行针对所选择对的联合立体声处理。

在框235、框238中，继续利用完整树或简化树处理的级联处理或继续非级联处理，直到某个终止标准。在该某个终止标准处，生成例如由框229输出的对指示和由框232a输出的立体声模式处理信息，并在关于图5b说明的成对处理边信息532中将该对指示和该立体声模式处理信息输入到比特流中。

图8示出了用于准备由图5a的信号编码器300执行的信号编码的自适应联合信号处理器的优选实施方式。为此，在框282中，自适应联合信号处理器200计算每个经立体声处理的信号的信号能量。框282接收经联合立体声处理的信号作为输入，并且在因为声道未被发现与任何其他声道具有足够的互相关性以形成有用的声道对而导致该声道未经受立体声处理的情况下，该声道以逆转的或修改的或非归一化的能量输入到框282中。这通常被指示为“能量恢复原状的信号”，但是在图6的框215中执行的能量归一化不一定要被完全恢复原状。存在用于处理尚未被发现与另一声道一起用于声道对处理的声道信号的某些备选方案。一个过程是逆转最初在图6的框215中执行的缩放。视情况而定，另一过程是仅部分地逆转缩放，或者另一过程是以某种不同的方式来加权经缩放的声道。

在框284中，计算由自适应联合信号处理器200输出的所有信号中的总能量。在框286中，基于每个立体声经处理信号或者(如果可用)能量恢复原状的或能量加权的信号的信号能量，并基于框284输出的总能量，来针对每个信号计算比特分配信息。在一个方面，由框286生成的该边信息536被转发给图5a的信号编码器300，并且附加地经由逻辑连接530转发给输出接口400，使得该比特分配信息被包括在图5a或图5b的经编码的多信号音频信号500中。

在优选实施例中，基于图9所示的过程执行实际的比特分配。在第一过程中，指派用于非LFE(低频增强)声道的最小数量的比特，并且，如果可用，指派低频增强声道比特。信号编码器300需要这些最小数量的比特，而与某个信号内容无关。根据图8的框286生成并输入到框291中的比特分配信息536指派剩余的比特。该指派是基于经量化的能量比来完成的，并且优选地使用经量化的能量比而不是非经量化的能量。

在步骤292中，执行精炼。当量化使得剩余比特被指派并且结果高于可用比特数时，必须对在框291中指派的比特执行减法。然而，当能量比的量化导致框291中的指派过程使得仍有比特要被进一步指派时，在精炼步骤292中可以附加地给定或分配这些比特。如果在精炼步骤之后，仍然存在信号编码器要使用的任何比特，则执行最终捐赠步骤293，并且对具有最大能量的声道完成最终捐赠。在步骤293的输出处，针对每个信号所指派的比特预算是可用的。

在步骤300中，使用通过步骤290、291、292、293的过程生成的所指派的比特预算来对每个信号执行量化和熵编码。基本上，通过与较低能量的声道/信号相比更精确地量化较高能量的声道/信号的这种方式来执行比特分配。重要的是，不使用原始信号或经白化的信号来进行比特分配，而是使用自适应联合信号处理器200的输出处的信号来进行比特分配，该信号的能量由于联合声道处理而不同于输入到自适应联合信号处理中的信号的能量。在该上下文中，还应注意，尽管声道对处理是优选的实施方式，但是可以借助于互相关来选择和处理其他声道组。例如，可以借助于自适应联合信号处理器形成三个或甚至四个声道的组，并且以级联的完整过程或具有简化树的级联过程或在非级联的过程内相应地进行处理。

借助于图10的信号解码器700，使用从经编码的多信号音频信号500中提取的分配信息536，以相同的方式在解码器侧执行框290、291、292、293中所示的比特分配。

优选实施例

在该实施方式中，编解码器通过引入[7]中针对联合立体声编码描述的概念，使用新概念来融合[6]中描述的任意声道的信号自适应联合编码的灵活性。这些新概念是：

a)使用在感知上白化的信号，以用于进一步的编码(类似于他们在语音编码器中使用的方式)。这具有若干优点：

·简化编解码器架构

·噪声成形特性/屏蔽阈值的紧凑表示(例如，作为LPC系数)

·统一变换和语音编解码器架构，并因此实现组合的音频/语音编码

b)使用任意声道的ILD参数以有效地编码平移(panned)源

c)基于能量在经处理的声道之间的灵活比特分配。

编解码器使用频域噪声成形(FDNS)以通过在[8]中描述的速率回路结合在[9]中描述的频谱包络扭曲来在感知上白化信号。编解码器使用ILD参数进一步将经FDNS白化的频谱朝平均能量水平归一化。以[6]中描述的自适应方式选择用于联合编码的声道对，其中立体声编码由频带方式(bandwise)M/S与L/R决定的对比组成。当如[7]中描述的在L/R和M/S模式下进行编码时，频带方式M/S决定基于每个频带中的估计比特率。经频带方式M/S处理的声道之间的比特率分配基于能量。

实施例涉及具有信号自适应联合声道处理的基于MDCT的多信号编码和解码系统，其中，信号可以是声道，并且多信号是多声道信号，或者备选地，音频信号是声场描述的分量，例如环境立体声(Ambisonics)分量，即一阶环境立体声中的W、X、Y、Z或高阶环境立体声描述中的任何其他分量。信号也可以是声场的A格式或B格式或任何其他格式描述的信号。因此，对于多信号音频信号的“分量”或其他“信号”而言，针对“声道”给出的相同公开也是有效的。

取决于经白化的频谱的编码器单个声道处理

按照如图1的框图所示的处理步骤，对每个单个声道进行分析并变换为经白化的MDCT域频谱。

在[8]中描述了时域瞬态检测器、加窗、MDCT、MDST和OLA的处理框。MDCT和MDST形成调制复数交叠变换(MCLT)；分别执行MDCT和MDST等同于执行MCLT；“MCLT至MDCT”表示仅采用MCLT的MDCT部分，并丢弃MDST。

时间噪声成形(TNS)类似于[8]中的描述来完成，且TNS和频域噪声成形(FDNS)的顺序是自适应的。在图中存在2个TNS框将被理解为有可能改变FDNS和TNS的顺序。TNS和FDNS的顺序决定可以是例如[9]中描述的决定。

频域噪声成形(FDNS)以及FDNS参数的计算类似于[9]中描述的过程。一个区别是，根据MCLT频谱来计算TNS未被激活的帧的FDNS参数。在TNS被激活的帧中，根据MDCT频谱估计MDST频谱。

图1示出了信号处理器100的优选实施方式，该信号处理器对至少三个音频信号执行白化以获得被单独预处理的经白化的信号180。信号预处理器100包括用于声道k的时域输入信号的输入。该信号被输入到加窗器102、瞬态检测器104和LTP参数计算器106。瞬态检测器104检测输入信号的当前部分是否是瞬态的，并且在确认输入信号的当前部分是瞬态的情况下，瞬态检测器104控制加窗器102设置较小的窗口长度。窗口指示(即，已经选择了哪个窗口长度)也被包括在边信息中，并且具体地被包括在图5b的预处理边信息520中。此外，由框106计算的LTP参数也被引入到边信息框中，并且这些LTP参数可以例如用于执行某种类型的经解码信号的后期处理或本领域中已知的其他过程。加窗器140生成加窗的时域帧，其被引入到时间到频谱转换器108中。时间到频谱转换器108优选地执行复数交叠变换。如框112所指示的，从该复数交叠变换中，可以导出实部以获得MDCT变换的结果。框112的结果(即，MDCT频谱)被输入到TNS框114a和随后连接的FDNS框116中。备选地，仅执行FDNS而没有TNS框114a，或反之亦然，或在FDNS处理之后执行TNS处理，如框114b所指示的。通常，存在框114a或框114b。在框114b的输出处(当不存在框114a时)或在框116的输出处(当不存在框114b)时，针对每个声道k获得经白化的单独处理的信号，即，经预处理的信号。TNS框114a或114b和FDNS框116生成预处理信息并将其转发到边信息520中。

在任何情况下，都不必要在框108内进行复数变换。此外，对于某些应用，时间到频谱转换器仅执行MDCT也是足够的，且如果需要该变换的虚部，则视情况也可以根据实部来估计该虚部。TNS/FDNS处理的特征是，在TNS是未被激活的情况下，FDNS参数是从复数频谱(即，从MCLT频谱)计算的，而在TNS是激活的帧中，MDST频谱是从MDCT频谱估计的，使得对于频域噪声成形操作而言，始终具有可用的完整复数频谱。

联合声道编码系统描述

在所描述的系统中，在将每个声道变换到经白化的MDCT域之后，基于[6]中描述的算法，应用用于联合编码的对任意声道之间的变化中的相似性的信号自适应利用。通过该过程，可以检测并选择将要使用频带方式M/S变换来进行联合编码的各个声道对。

图2给出了编码系统的概述。为简单起见，框箭头表示单个声道处理(即，将处理框应用于每个声道)，并且图1中详细表示了框“MDCT域分析”。

在以下段落中，将详细描述针对每帧应用的算法的各个步骤。图3给出了所描述算法的数据流程图。

应当注意，在系统的初始配置中，存在声道掩码，声道掩码指示多声道联合编码工具对哪些声道是激活的。因此，对于存在LFE(低频效果/增强)声道的输入，在工具的处理步骤中不会考虑这些LFE声道。

所有声道的朝向平均能量的能量归一化

如果存在ILD，也就是说如果声道被平移，则M/S变换并不高效。我们通过将所有声道的在感知上白化的频谱的幅度归一化为平均能量水平来避免该问题。

ο针对每个声道计算能量E_k，k＝0，...，C_total

其中N是频谱系数的总数。

ο计算平均能量

ο将每个声道的频谱归一化为平均能量

如果(缩小)

其中a是缩放比例。该缩放比例被均匀地量化并作为边信息比特发送给解码器。

其中ILD_RANGE＝1＜＜ILD_bits

然后通过以下公式给出经量化的缩放比例，以该经量化的缩放比例来对频谱进行最终缩放

如果(放大)

以及

其中如先前的情况进行计算.

为了在解码器处区别我们进行了缩小还是放大并且为了使归一化恢复原状，除了针对每个声道的直外，发送1比特标志(0＝缩小/1＝放大)。ILD_RANGE指示用于所发送的经量化的缩放值的比特数，并且该值对于编码器和解码器是已知的，且不必在经编码的音频信号中发送。

计算所有可能的声道对的归一化声道间互相关值

在该步骤中，为了决定和选择哪个声道对具有最高程度的相似度且因此适合被选择作为用于立体声联合编码的对，计算每个可能声道对的声道间归一化互相关值。每个声道对的归一化互相关值由互频谱(cross-spectrum)给出，如下所示：

其中

N是每帧频谱系数的总数，X_MDCT和Y_MDCT是所考虑的声道对的相应频谱。

每个声道对的归一化互相关值被存储在以下互相关向量中

其中P＝(C_total*(C_total-1))/2是可能的对的最大数量。

如图1所示，取决于瞬态检测器，我们可以具有不同的框大小(例如，10或20ms窗口框大小)。因此，假设两个声道的频谱分辨率相同，计算声道间互相关。否则，将该值设置为0，从而确保不选择这种声道对来用于联合编码。

使用唯一表示每个声道对的索引方案。在图4中示出了用于索引六个输入声道的这种方案的示例。

在整个算法中保持相同的索引方案，其也被用于将声道对发信号通知给解码器。发信号通知一个声道对数量所需的比特数为

声道对选择和联合编码立体声处理

在计算互相关向量之后，要考虑用于联合编码的第一声道对是具有最高互相关值并且高于优选地为0.3的最小值阈值的相应声道对。

所选择的声道对用作立体声编码过程(即，频带方式M/S变换)的输入。对于每个频谱带，对声道将使用M/S编码还是使用离散L/R编码进行编码的决定取决于针对每种情况估计的比特率。选择在比特方面要求不高的编码方法。该过程在[7]中详细描述。

该过程的输出导致所选择声道对中的每个声道的更新的频谱。此外，创建需要与解码器共享的有关该声道对的信息(边信息)，即，选择了哪种立体声模式(全M/S、双单声道或频带方式M/S)以及如果频带方式M/S是所选择的模式，以及对是选择M/S编码(1)还是选择L/R(0)进行指示的相应掩码。

对于接下来的步骤，该算法有两种变体：

ο级联声道对树

对于该变体，针对受所选择声道对的所改变频谱(如果我们用M/S变换)影响的声道对来更新互相关向量。例如，在有6个声道的情况下，如果选择并处理的声道对是图4中索引为0的声道对，则意味着声道0与声道1的编码，然后在立体声处理之后，我们将需要针对受影响的声道对(即索引0、1、2、3、4、5、6、7、8)来重新计算互相关。

然后，该过程如前所述的继续：选择具有最大互相关的声道对，确认其在最小阈值以上，并应用立体声操作。这意味着可以重新选择作为先前声道对的一部分的声道来用作新声道对的输入，称为“级联”。当声道对的输出与表示空间域中不同方向的另一任意声道之间仍可存在剩余相关时，这可能会发生。当然，不应将同一声道对选择两次。

当达到最大允许迭代次数(绝对最大值为P)时，或者在更新互相关向量后，没有任何声道对值超过阈值0.3(在任意声道之间不存在相关)，则过程继续。

ο简化树

级联声道对树过程在理论上是最佳的，因为它试图移除所有任意声道的相关并提供最大的能量压缩。另一方面，它相当复杂，因为所选择声道对的数量可能比更多，导致附加的计算复杂度(来自立体声操作的M/S决定过程)且还导致需要针对每个声道对发送给接收机的附加元数据。

对于简化树变体，不允许“级联”。这确保了，当从上述过程开始，在更新互相关向量时，不会重新计算先前声道对立体声操作的受影响声道对的值，而是将其设置为0。因此，不可能选择其声道之一已经是现有声道对的一部分的声道对。

这是描述图2中“自适应联合声道处理”框的变体。

这种情况导致与具有预定义声道对(例如，L和R、后L和后R)的系统类似的复杂度，因为可以选择的最大声道对为

应该注意的是，可能存在所选择声道对的立体声操作不会改变声道的频谱的情况。这当M/S决定算法决定编码模式应为“双单声道”时会发生。在这种情况下，所涉及的任意声道不再被视为声道对，因为它们将被分开编码。此外，更新互相关向量将没有效果。为了继续该过程，考虑具有下一个最高值的声道对。在这种情况下的步骤如上所述的继续。

保留先前帧的声道对选择(立体声树)

在许多情况下，在帧与帧之间，任意声道对的归一化互相关值可能是接近的，并且因此选择可以经常在该接近值之间切换。这可导致频繁的声道对树切换，可能导致输出系统的可听到的不稳定。因此，选择使用稳定机制，其中仅在信号发生显著改变且任意声道之间的相似性改变时才选择新的一组声道对。为了检测这一点，比较当前帧与先前帧的互相关向量，并且当差异大于某个阈值时，则允许选择新的声道对。

互相关向量在时间上的变化计算如下：

如果C_diff＞t，则允许选择要被联合编码的新声道对(如先前步骤所述)。所选择的阈值由下式给出

t＝0.15C_tot(C_tot-1)/2

另一方面，如果差异很小，则使用与先前帧相同的声道对树。对于每个给定的声道对，如先前所述地应用频带方式M/S操作。然而，如果给定声道对的归一化互相关值不超过阈值0.3，则发起对创建新树的新声道对的选择。

使单个声道的能量恢复原状

在用于声道对选择的迭代过程终止之后，可能存在不是任何声道/对的一部分且因此被分开编码的声道。对于那些声道，将能量水平朝平均能量水平的初始归一化恢复回到其原始能量水平。取决于发信号通知放大或缩小的标志，使用经量化的缩放比例的倒数来使这些声道的能量恢复原状。

用于多声道处理的IGF

关于IGF分析，在立体声声道对的情况下，应用附加的联合立体声处理(在[10]中对其进行了完整描述)。这是必要的，因为对于IGF频谱中的某个目的地范围，信号可以是高度相关的平移声源。在针对该特定区域选择的源区域没有很好地相关的情况下，尽管对于目的地区域而言能量是匹配的，但是空间图像可由于不相关的源区域而受到影响。

因此，如果核心区域的立体声模式不同于IGF区域的立体声模式，或者如果核心的立体声模式标记为频带方式M/S，则对每个声道对应用立体声IGF。如果这些条件不适用，则执行单个声道IGF分析。如果存在没有在声道对中被联合编码的单个的声道，则这些单个的声道还将经历单个声道IGF分析。

对用于编码每个声道的频谱的可用比特的分配

在联合声道对立体声处理的过程之后，每个声道被量化并且由熵编码器分开编码。因此，对于每个声道，应给出可用的比特数。在该步骤中，使用经处理的声道的能量来将总可用比特分配给每个声道。

由于联合处理，每个声道的频谱可能已改变，因此重新计算每个声道的能量(对其的计算在上面归一化步骤中描述)。新能量表示为作为第一步骤，基于能量的比例(将使用其来分配比特)被计算为：

这里应注意的是，在输入组成也来自LFE声道的情况下，比例计算不考虑该输入。对于LFE声道，仅当该声道具有非零内容时，才指派最小数量的比特bits_LFE。该比例被均匀地量化：

rt_RANGE＝1＜＜rt_bits

经量化的比例被存储在比特流中，将被解码器使用来向每个声道指派相同量的比特，以读取所发送的声道频谱系数。

比特分配方案在以下描述：

ο针对每个声道指派熵编码器所需的最小量的比特bits_min

ο剩余比特，即， 被使用经量化的比例来划分：

ο因为该经量化的比例，比特被大致地分配，并且因此其可以因此，在第二精炼步骤中，差异bits_diff＝bits_split-bits_total被按比例地从声道比特bits_k中减去：

ο在精炼步骤之后，如果与bits_total相比仍存在bits_split不一致，则该差异(通常为很少的比特数)被捐赠给具有最大能量的声道。

解码器遵循完全相同的过程，以便确定要读取的比特数，来解码每个声道的频谱系数。rt_RANGE指示用于比特分配信息bits_k的比特数，并且该值对于编码器和解码器是已知的，且不必在经编码的音频信号中发送。

每个声道的量化和编码

量化、噪声填充和熵编码，包括速率回路，如[8]中所述。可以使用所估计的G_est来使速率回路最佳化。功率频谱P(MCLT的幅值)用于如[8]中描述的量化和智能间隙填充(IGF)中的音调/噪声测量。由于经白化和频带方式M/S处理的MDCT频谱被用于功率频谱，因此必须在MDST频谱上完成相同的FDNS和M/S处理。必须针对MDST频谱完成与针对MDCT所完成的相同的基于ILD的归一化缩放。对于TNS被激活的帧，用于功率频谱计算的MDST频谱从经白化和M/S处理的MDCT频谱中估计。

图2示出了编码器并且具体地图2的自适应联合信号处理器200的优选实施方式的框图。所述至少三个经预处理的音频信号180都被输入到能量归一化框210中，该能量归一化框210在其输出处生成声道能量比边比特534，该声道能量比边比特534一方面包括经量化的比例，且另一方面包括针对每个声道指示放大或缩小的标志。然而，也可以执行其他没有针对放大或缩小的显式标志的过程。

经归一化的声道被输入到框220中，以执行互相关向量计算和声道对选择。基于框220中的过程，该过程优选地是使用级联全树或级联简化树处理的迭代过程，或者备选地是非迭代非级联处理，在框240中执行对应的立体声操作，框240可以执行全频带或频带方式中/边处理或任何其他对应的立体声处理操作，例如旋转、缩放、任何加权或非加权的线性或非线性组合等。

在框240的输出处，可以执行立体声智能间隙填充(IGF)处理或任何其他带宽扩展处理，例如频谱带复制处理或谐波带宽处理。各个声道对的处理是经由声道对边信息比特发信号通知的，并且尽管在图2中未示出，由框260生成的IGF或通用带宽扩展参数也被写入到用于图5b的联合处理边信息530并且具体地成对处理边信息532的比特流中。

图2的最后阶段是声道比特分配处理器280，该声道比特分配处理器280计算比特分配比例，如例如关于图9所说明的。图2示出了作为量化器和编码器的信号编码器300的示意表示(该信号编码器300由声道比特率边信息530控制)，并且附加地示出了输出接口400或比特流写入器400的示意表示，其将信号编码器300的结果与图5b的所有所需边信息比特520、530组合。

图3示出了由框210、220、240执行的实质过程的优选实施方式。在该过程开始之后，如图2或图3中的210处所指示地执行ILD归一化。在步骤221中，计算互相关向量。互相关向量由针对框210输出的从0到N的声道的每个可能声道对的归一化互相关值组成。对于图4中的示例，其中有六个声道，可以检查从0到14的15个不同的可能性。互相关向量的第一个元素具有声道0和声道1之间的互相关值，并且例如，互相关向量的索引为11的元素具有声道2和声道5之间的互相关。

在步骤222中，执行计算以确定是否要维持针对先前帧确定的树。为此，计算互相关向量在时间上的变化，并且优选地，计算互相关向量的各个差异的总和以及具体地计算差异的幅值。在步骤223中，确定差异的总和是否大于阈值。如果是这种情况，则在步骤224中，将标志keepTree设置为0，这意味着不保留该树，而是计算新树。然而，当确定总和小于阈值时，框225将标志keepTree设置为1，使得从先前帧确定的树也被应用于当前帧。

在步骤226中，检查迭代终止标准。在确定未达到最大声道对(CP)数量的情况下(当然，这是第一次访问框226的情况)，并且当如框228所确定的将标志keepTree设置为0时，过程继续进行框229，以选择具有互相关向量中的最大互相关的声道对。然而，当维持早期帧的树时，即，如在框225中已检查的，keepTree等于1时，框230确定“强制”声道对的互相关是否大于阈值。如果不是这种情况，则过程继续步骤227，这意味着尽管框223中的过程确定了相反结论，但是仍然要确定新树。框230中的评估以及框227中的对应结果可以推翻框223和225中的确定。

在框231中，确定具有最大互相关的声道对是否高于0.3。如果是这种情况，则执行框232中的立体声操作，在图2中也将其指示为240。当在框233中确定立体声操作是双单声道时，在框234中设置值keepTree等于0。然而，当确定立体声模式不同于双单声道时，由于已经执行了中/边操作并且立体声操作框240(或232)的输出由于该处理而不同，因此必须重新计算互相关向量235。当实际上存在中/边立体声操作或通常不同于双单声道的立体声操作时，才必须更新CC向量235。

然而，当在框226中的检查或在框231中的检查导致“否”答案，控制进行到框236，以检查是否存在单个声道。如果是这种情况，即，如果发现在声道对处理中未与另一个声道一起处理的单个声道，则在框237中逆转ILD归一化。备选地，框237中的逆转只能是部分逆转，或者可以是某种加权。

在迭代完成的情况下并且在框236和237也完成的情况下，过程结束并且所有声道对都已被处理，并且在自适应联合信号处理器的输出处，在框236导致“否”答案的情况下存在至少三个经联合处理的信号，或当框236已导致“是”答案时，存在至少两个联合处理的信号和与“单个声道”相对应的未处理信号。

解码系统描述

解码过程开始于对经联合编码的声道的频谱进行解码和逆量化，然后是噪声填充，如[11]或[12]中的6.2.2“MDCT based TCX”中所述的。分配给每个声道的比特数是基于在比特流中编码的窗口长度、立体声模式和比特率比例确定的。在完全解码比特流之前，必须知道分配给每个声道的比特数。

在智能间隙填充(IGF)框中，在频谱的某个范围(称为目标块)内被量化为零的线被填充了来自频谱的不同范围(称为源块)的已处理内容。由于频带方式立体声处理，对于源块和目标块，立体声表示(即，L/R或M/S)可能会有所不同。为了确保良好的质量，如果源块的表示与目标块的表示不同，则在解码器中的间隙填充之前将源块处理以将其变换为目标块的表示。在[10]中已经描述了该过程。与[11]和[12]相反，IGF本身被应用在经白化的频谱域而不是原始频谱域。与已知的立体声编解码器(例如，[10])相比，IGF被应用在经白化的、ILD补偿的频谱域中。

从比特流信令中，还知道是否存在被联合编码的声道对。逆处理应从在编码器中形成的最后一个声道对开始，特别是针对级联声道对树，以便转换回每个声道的原始的经白化频谱。对于每个声道对，基于立体声模式和频带方式M/S决定来应用逆立体声处理。

对于在声道对中涉及并被联合编码的所有声道，基于从编码器发送的值，频谱被去归一化为原始能量水平。

图10示出了用于对经编码的信号500进行解码的多信号解码器的优选实施方式。多信号解码器包括输入接口600、用于解码由输入接口600输出的至少三个经编码的信号的信号解码器700。多信号解码器包括联合信号处理器800，用于根据经编码的信号中包括的边信息执行联合信号处理，以获得至少三个经处理的解码信号。该多信号解码器包括后期处理器900，用于根据包括在经编码的信号中的边信息来对该至少三个经处理的解码信号进行后期处理。特别地，以使得经后期处理的信号比后期处理之前的信号白化较少的方式来执行后期处理。经后期处理的信号直接或间接地表示经解码的音频信号1000。

由输入接口600提取并转发给联合信号处理器800的边信息是图5b所示的边信息530，并且由输入接口600从经编码的多信号音频信号中提取的边信息(其被转发给后期处理器900以用于执行去白化操作)，是关于图5b示出和说明的边信息520。

联合信号处理器800被配置为从输入接口600提取或接收针对每个经联合立体声解码的信号的能量归一化值。该针对每个经联合立体声解码的信号的能量归一化值对应于图5b的能量缩放信息530。自适应联合信号处理器200被配置为使用联合立体声边信息或如由包括在经编码的音频信号500中的联合立体声边信息532所指示的联合立体声模式，对解码信号进行成对处理820，以在框820的输出处获得经联合立体声解码的信号。在框830中，使用能量归一化值执行经联合立体声解码的信号的重新缩放操作以及具体地能量重新缩放，以在图10的框800的输出处获得经处理的解码信号。

为了确保声道已接收到如在框237中关于图3说明的逆转ILD归一化，联合信号处理器800被配置为检查从经编码的信号中提取的针对特定信号的能量归一化值是否具有预定义的值。如果是这种情况，则在能量归一化值具有该预定义值的情况下，不执行能量重新缩放，或仅执行对特定信号的减小的能量重新缩放，或者对该单独声道执行任何其他加权操作。

在实施例中，信号解码器700被配置为从输入接口600接收如框620所指示的每个经编码的信号的比特分配值。在图12中的536处示出的该比特分配值被转发给框720，使得信号解码器700确定所使用的比特分配。优选地，为了图12的框720中确定所使用的比特分配，通过信号解码器700来执行与关于图6和图9中的编码器侧说明的步骤(即，步骤290、291、292、293)相同的步骤。在框710/730中，执行单独的解码以便获得到图10的联合信号处理器800的输入。

使用边信息框532中包括的某些边信息，联合信号处理器800具有频带复制、带宽扩展或智能间隙填充处理功能。该边信息被转发给框810，并且框820使用框810所应用的带宽扩展过程的结果来执行联合立体声(解码器)处理。在框810中，智能间隙填充过程被配置为：当带宽扩展或IGF处理的目的地范围被指示为具有另一立体声表示时，将源范围从一个立体声表示变换为该另一立体声表示。当目的地范围被指示为具有中/边立体声模式时，并且当源范围被指示为具有L/R立体声模式时，L/R源范围立体声模式将被变换为中/边源范围立体声模式，并且然后以源范围的中/边立体声模式表示来执行IGF处理。

图14示出了联合信号处理器800的优选实施方式。联合信号处理器被配置为提取有序信号对信息，如框630所示。该提取可以由输入接口600来执行，或者联合信号处理器可以从输入接口的输出中提取该信息，或者可以在没有特定输入接口的情况下直接提取该信息，这也是关于联合信号处理器或信号解码器描述的其他提取过程的情况。

在框820中，联合信号处理器从最后一个信号对开始执行优选级联的逆处理，其中术语“最后一个”是指由编码器确定和执行的处理顺序。在解码器中，“最后一个”信号对是最先处理的信号对。框820接收边信息532，针对在框630中示出的信号对信息所指示的以及例如以如关于图4说明的方式实现的每个信号对，该边信息指示特定对是否是双单声道、全MS或具有相关联的MS掩码的频带方式MS过程。

在框820中的逆处理之后，在框830中再次依赖于指示每个声道的归一化信息的边信息534来执行声道对中所涉及的信号的去归一化。关于图14中的框830示出的去归一化优选地是使用能量归一化值的重新缩放，当标志534a具有第一值时为缩小，并且当标志534a具有第二值(与第一个值不同)时执行作为放大的重新缩放。

图15a示出了作为图10的信号解码器和联合信号处理器的框图的优选实施方式，并且图15b示出了图10的后期处理器900的优选实施方式的框图表示。

信号解码器700包括用于经编码的信号500中包括的频谱的解码器和解量化器级710。信号解码器700包括比特分配器720，该比特分配器720优选地接收针对每个经编码的信号的窗口长度、某个立体声模式和比特分配信息来作为边信息。在优选的实施方式中，比特分配器720具体使用步骤290、291、292、293来执行比特分配，其中在步骤291中使用每个经编码的信号的比特分配信息，并且其中，在框290或291中使用关于窗口长度和立体声模式的信息。

在框730中，还对频谱中的被量化为零且不在IGF范围内的范围执行也优选地使用噪声填充边信息的噪声填充。噪声填充优选地限于框710输出的信号的低频带部分。在框810中，并且使用某些边信息，执行智能间隙填充或通常的带宽扩展处理，重要的是，其是对经白化的频谱操作的。

在框820中，并使用边信息，逆立体声处理器执行用于撤消在图2的项目240中执行的处理的过程。使用边信息中包括的每个声道的所发送的经量化的ILD参数来执行最终的解缩放。框830的输出被输入到后期处理器的框910，该后期处理器执行逆TNS处理和/或逆频域噪声成形处理或任何其他去白化操作。框910的输出是简单频谱，该频谱被频率到时间转换器920转换到时域。根据某个编码或解码规则，将框920的针对相邻帧的输出在重叠相加处理器930中进行重叠相加，以最终从重叠操作中获得多个(multiplicity of)的经解码的音频信号，或者一般地，经解码的音频信号1000。该信号1000可以由各个声道组成，或者可以由诸如环境立体声分量的声场描述的分量组成，或者可以由高阶环境立体声描述的任何其他分量组成。该信号也可以是声场的A格式或B格式或任何其他格式描述的信号。所有这些备选方案在图15b中统称为经解码的音频信号1000。

随后指出优选实施例的其他优点和特定特征。

本发明的范围是为处理在感知上白化和ILD补偿的信号时提供针对[6]中的原理的解决方案。

ο具有如[8]中所述的速率回路结合如[9]中所述的频谱包络扭曲的FDNS，提供了分离量化噪声的感知成形和速率回路的简单但非常有效的方式。

ο对经FDNS白化的频谱的所有声道使用平均能量水平，允许简单且有效的方式来决定是否存在如[7]中所述的针对被选择用于联合编码的每个声道对的M/S处理的优点。

ο对于所描述的系统，针对每个声道编码单个宽带ILD足够了，并且因此与已知方法相比，实现了比特节省。

ο通过选择具有高度互相关的信号的声道对来用于联合编码通常导致全频谱M/S变换，由于针对每个频带来发信号通知M/S或L/R大部分被发信号通知全M/S变换的单个比特所取代，因此节省了额外的平均比特。

ο基于经处理的声道的能量的灵活而简单的比特分配。

优选实施例的特征

如先前段落所述，在该实施方式中，编解码器通过引入[7]中针对联合立体声编码描述的概念，使用新方法来融合[6]中描述的任意声道的信号自适应联合编码的灵活性。所提出的发明的新颖性归纳为以下差异：

ο关于全局ILD补偿，针对每个声道对的联合处理与[6]中描述的多声道处理有所不同。在选择声道对并进行M/S决定和处理之前，全局ILD均衡声道的水平，并因此实现更有效的特别是平移源的立体声编码。

ο关于全局ILD补偿，针对每个声道对的联合处理与[7]中描述的立体声处理有所不同。在所提出的系统中，不存在针对每个声道对的全局ILD补偿。为了能够将[7]中所述的M/S决定机制用于任意声道，将所有声道归一化到单个能量水平，即平均能量水平。该归一化发生在选择用于联合处理的声道对之前。

ο在自适应声道对选择过程之后，如果存在不是用于联合处理的声道对的一部分的声道，则该声道的能量水平将反转为初始能量水平。

ο用于熵编码的比特分配没有如[7]中所述的在每个声道对上实现。作为替代，考虑所有声道的能量，并如本文档中相应段落中所描述的分配比特。

ο存在[6]中描述的自适应声道对选择的显式“低复杂度”模式，其中不允许将作为迭代声道对选择过程期间声道对的一部分的单个声道作为该声道对选择过程期间另一声道对的一部分。

ο通过我们使用[6]的信号自适应声道对选择的事实，增强了将简单频带方式M/S用于每个声道并因此减少了需要在比特流中发送的信息量的优点。通过选择高度相关的声道进行联合编码，对于大多数情况，宽带M/S转换是最佳的，即M/S编码用于所有频带。这可以用单个比特来发信号通知，并因此与频带方式M/S决定相比，需要少得多的信令信息。它显著减少了需要针对所有声道对发送的信息比特的总量。

本发明的实施例涉及具有在感知上白化和ILD补偿频谱的多声道系统的信号自适应联合编码，其中联合编码由基于针对熵编码器的所估计的比特数的简单每频带M/S变换决定组成。

虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对对应框或项目或者对应装置的特征的描述。可以由(或使用)硬件设备(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的某一个或多个方法步骤。

新颖的编码音频信号可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。

取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。

换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。

因此，本发明方法的另一实施例是因此表示计算机程序的数据流或信号序列，该计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。

另一实施例包括处理装置，例如，计算机或可编程逻辑设备，该处理装置被配置为或适于执行本文所述的方法之一。

另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。

根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传送计算机程序的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。

本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。

本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。

上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

参考文献(全部通过引用整体并入本文)

[1]″Information technology-MPEG audio technologies Part 3：Unifiedspeech and audio coding，″ISO/IEC 23003-3，2012.

[2]″Information technology-MPEG audio technologies Part 1：MPEGSurround，″ISO/IEC 23003-1，2007.

[3]J.Herre，J.Hilpert，K.Achim and J.Plogsties，″MPEG-H 3D Audio-The NewStandard for Coding of Immersive Spatial Audio，″Journal of Selected Topics inSignal Processing，vol.5，no.9，pp.770-779，August 2015.

[4]″Digital Audio Compression(AC-4)Standard，″ETSI TS 103 190 V1.1.1，2014-04.

[5]D.Yang，H.Ai，C.Kyriakakis and C.Kuo，″High-fidelity multichannelaudio coding with Karhunen-Loeve transform，″Transactions on Speech and AudioProcessing，vol.11，no.4，pp.365-380，July 2003.

[6]F.Schuh，S.Dick，R.Füg，C.R.Helmrich，N.Rettelbach and T.Schwegler，″Efficient Multichannel Audio Transform Coding with Low Delay and Complexity，″in AES Convention，Los Angeles，September 20，2016.

[7]G.Markovic，E.Fotopoulou，M.Multrus，S.Bayer，G.Fuchs，J.Herre，E.Ravelli，M.Schnell，S.Doehla，W.Jaegers，M.Dietz and C.Helmrich，″Apparatus andmethod for mdct m/s stereo with global ild with improved mid/side decision″.International Patent WO2017125544A1，27July 2017.

[8]3GPP TS 26.445，Codecfor Enhanced Voice Services(EVS)；Detailedalgorithmic description.

[9]G.Markovic，F.Guillaume，N.Rettelbach，C.Helmrich and B.Schubert，″Linear prediction based coding scheme using spectral domain noise shaping″.EUPatent 2676266B1，14February 2011.

[10]S.Disch，F.Nagel，R.Geiger，B.N.Thoshkahna，K.Schmidt，S.Bayer，C.Neukam，B.Edler and C.Helmrich，″Audio Encoder，Audio Decoder and RelatedMethods Using Two-Channel Processing Within an Intelligent Gap FillingFramework″.International Patent PCT/EP2014/065106，15072014.

[11]″Codec for Encanced Voice Services(EVS)；Detailed algorithmicdescription，″3GPP TS 26.445 V 12.5.0，December 2015.

[12]″Codec for Encanced Voice Services(EVS)；Detailed algorithmicdescription，″3GPP TS 26.445V 13.3.0，September 2016.

[13]Sascha Dick，F.Schuh，N.Rettelbach，T.Schwegler，R.Fueg，J.Hilpert andM.Neusinger，″APPARATUS AND METHOD FOR ENCODING OR DECODING A MULTI-CHANNELSIGNAL″.Inernational Patent PCT/EP2016/054900，08 March 2016。