分布式音频虚拟化系统
阅读说明：本技术 分布式音频虚拟化系统 (Distributed audio virtualization system ) 是由 D·诺 J-M·卓特 T·莫哈迈德 于 2017-12-18 设计创作，主要内容包括：一种音频信号处理系统,能够被配置为使用至少一对扬声器或耳机在三维声场中提供虚拟化的音频信息。该系统能够包括：音频输入端,被配置为接收包括至少N个离散音频信号的音频节目信息,第一虚拟化处理器电路,被配置为通过对N个音频信号中的M个音频信号进行滤波来生成中间虚拟化的音频信息,以及第二虚拟化处理器电路,被配置为通过对N个音频信号中的K个音频信号进行不同的滤波来生成进一步虚拟化的音频信息,其中K、M和N为整数。该系统能够包括音频信号组合电路,以将中间虚拟化的音频信息与N个音频信号中除所述M个音频信号以外的至少一个音频信号进行组合,以渲染少于N个音频信号以传输到第二虚拟化处理器电路。(An audio signal processing system can be configured to provide virtualized audio information in a three dimensional sound field using at least one pair of speakers or headphones. The system can include: an audio input configured to receive audio program information comprising at least N discrete audio signals, a first virtualization processor circuit configured to generate intermediate virtualized audio information by filtering M of the N audio signals, and a second virtualization processor circuit configured to generate further virtualized audio information by differently filtering K of the N audio signals, wherein K, M and N are integers. The system can include an audio signal combining circuit to combine the intermediately virtualized audio information with at least one of the N audio signals other than the M audio signals to render less than the N audio signals for transmission to the second virtualized processor circuit.)
优先权要求
本专利申请要求于2017年3月8日提交的美国临时专利申请No.62/468,677和于2017年12月15日提交的美国专利申请序列No.15/844,096的优先权权益，这两个申请通过引用整体并入本文。
背景技术
音频在消费电子产品中提供内容丰富的多媒体体验方面发挥着重要作用。消费电子设备的可扩展性和移动性以及无线连接性的增长为用户提供了对内容的即时访问。各种音频再现系统可以用于通过耳机或扬声器回放。在一些示例中，音频节目内容可以包括多于一对立体声音频信号，诸如包括环绕声或其它多声道配置。
常规的音频再现系统可以从各种音频或音频/视频源(诸如CD播放器、TV调谐器、手持媒体播放器等)接收数字或模拟音频源信号信息。音频再现系统可以包括专用于广播音频和/或视频信号的选择、处理和路由的家庭影院接收器或汽车音频系统。音频输出信号可以被处理并输出，以通过扬声器系统回放。这样的输出信号可以是发送到耳机或一对前置扬声器的双声道信号，或者是用于环绕声回放的多声道信号。对于环绕声回放，音频再现系统可以包括多声道解码器。
音频再现系统还可以包括处理装备，诸如用于连接模拟音频源的模数转换器或者数字音频输入接口。音频再现系统可以包括用于处理音频信号的数字信号处理器，以及用于将经处理的输出信号转换成发送到换能器的电信号的数模转换器和信号放大器。可以按照由各种应用确定的各种配置来布置扬声器。扬声器例如可以是独立单元，或者可以结合在设备中，诸如在消费电子产品(诸如电视机、膝上型计算机、手持式立体声设备等)的情况下。由于技术和物理限制，在此类设备中可能会损害或限制音频回播。这样的限制在具有物理限制的电子设备中尤其明显，其中扬声器之间的距离窄，诸如在膝上型电脑和其它紧凑型移动设备中。为了解决这样的音频约束，使用各种音频处理方法来通过一对耳机或一对扬声器再现双声道或多声道音频信号。这些方法包括引人注目的空间增强效果，以改善听众的体验。
已经提出了各种技术来实现基于头部相关传递函数(HRTF)的音频信号处理，诸如用于使用耳机或扬声器进行三维音频再现。在一些示例中，这些技术用于再现相对于听众位于水平面内或相对于听众位于较高位置的虚拟扬声器。为了减少在基于扬声器的系统中远离“甜点位置”的听众位置的水平定位伪像，可以应用各种滤波器将该影响限制到较低的频率。
发明内容
音频信号处理可以跨多个处理器电路或软件模块分布，诸如在可缩放系统中或由于系统限制。例如，TV音频系统解决方案可以包括组合的数字音频解码器和虚拟化器后处理模块，以使总体计算预算不超过单个集成电路(IC)或片上系统(SOC)的容量。为了适应这种限制，解码器和虚拟化器模块可以在分离的级联硬件或软件模块中实现。
在示例中，内部I/O数据总线(诸如在TV音频系统架构中)可以被限制到6或8个声道(例如，对应于5.1或7.1环绕声系统)。但是，可以期望或要求将更多的解码器输出音频信号发送到虚拟化器输入端，以提供引人入胜的沉浸式音频体验。因此，本发明人已经认识到要解决的问题包括跨多个处理器电路和/或设备分布音频信号处理，以使得能够通过扬声器或在一些示例中通过耳机对多声道音频信号进行多维音频再现。在示例中，问题可以包括使用具有声道计数限制的传统(legacy)硬件架构来分布或处理多维音频信息。
上述问题的解决方案包括使用扬声器或耳机进行多维音频再现的各种方法，诸如可以用于在条形扬声器、家庭影院系统、TV、膝上型计算机、移动或可穿戴设备或其它系统或设备上回放沉浸式音频内容。本文描述的方法和系统可以使得能够跨两个或更多个处理器电路或模块分布虚拟化后处理，同时减少中间发送的音频声道计数。
在示例中，解决方案可以包括或使用一种用于提供虚拟化音频信息的方法，该方法包括：接收包括至少N个离散音频信号的音频节目信息；以及使用第一虚拟化处理器电路使用接收到的所述音频节目信息的至少一部分来生成中间虚拟化的音频信息。中间虚拟化的音频信息的生成可以包括：将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号以提供第一虚拟化滤波器输出；以及使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息，其中中间虚拟化的音频信息包括J个离散音频信号。该示例还可以包括将中间虚拟化的音频信息发送到第二虚拟化处理器电路，其中第二虚拟化处理器电路被配置为通过将不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成进一步虚拟化的音频信息，并且N、M和J是整数。该示例还可以包括基于J个音频信号来渲染K个输出信号。在示例中，M小于N，而K小于J。在示例中，第一虚拟化滤波器不同于第二虚拟化滤波器。例如，第一虚拟化滤波器可以与第一平面(例如，垂直平面)中的虚拟化对应，并且第二虚拟化滤波器可以与不同的第二平面(例如，水平平面)中的虚拟化对应。在示例中，该解决方案包括或使用去相关处理。例如，中间虚拟化的音频信息的生成可以包括在应用第一虚拟化滤波器之前对M个音频信号中的至少一个进行去相关或执行去相关处理。
本概述旨在提供本专利申请的主题的概述。并不旨在提供本发明的排他性或详尽的解释。包括详细描述以提供关于本专利申请的更多信息。
附图说明
在不一定按比例绘制的附图中，相同的标号可以在不同的视图中描述相似的部件。具有不同字母后缀的相同标号可以表示相似部件的不同实例。附图通过示例而非限制的方式总体上图示了本文档中讨论的各种实施例。
图1总体上图示了音频信号虚拟化处理的示例。
图2总体上图示了四声道三维音频再现系统的示例。
图3总体上图示了多阶段虚拟化处理的示例，
图4总体上图示了包括由第一和第二双声道虚拟化器模块进行的独立虚拟化处理的示例。
图5总体上图示了包括使用第一和第二双声道虚拟化器模块的虚拟化处理的示例。
图6总体上图示了示出多个音频信号的虚拟化处理的框图的示例。
图7总体上图示了包括分布式音频虚拟化系统的示例。
图8总体上图示了被配置为对各种音频信号执行分布式虚拟化处理的第一系统的示例。
图9总体上图示了被配置为对各种音频信号执行分布式虚拟化处理的第二系统的示例。
图10是图示可被配置为执行本文讨论的任何一种或多种方法的机器的部件的框图。
具体实施方式
在下面包括虚拟环境渲染和音频信号处理(诸如用于经由耳机或其它扬声器进行再现)的示例的描述中，参考构成详细描述的一部分的附图。附图通过说明的方式示出了可以在其中实践本文公开的发明的具体实施例。这些实施例在本文中也被称为“示例”。这样的示例可以包括除了所示出或描述的那些元件之外的元件。但是，本发明人还设想仅提供所示出或描述的那些元件的示例。本发明人或者关于特定示例(或其一个或多个方面)或者关于本文所示出或描述的其它示例(或其一个或多个方面)设想使用所示出或描述的那些元件(或其一个或多个方面)的任意组合或置换的示例。
如本文所使用的，短语“音频信号”是表示物理声音的信号。本文描述的音频处理系统和方法可以包括被配置为使用各种滤波器来使用或处理音频信号的硬件电路系统和/或软件。在一些示例中，系统和方法可以使用来自多个音频声道的信号或与多个音频声道对应的信号。在示例中，音频信号可以包括数字信号，该数字信号包括与多个音频声道对应的信息。
各种音频处理系统和方法可以用于在各种扬声器配置上再现双声道或多声道音频信号。例如，可以通过耳机、通过一对书架式扬声器或者通过环绕声或沉浸式音频系统来再现音频信号，诸如使用相对于听众位于各个位置的扬声器。一些示例可以包括或使用引人注目的空间增强效果以增强收听体验，诸如在物理扬声器的数量或朝向受到限制的时候。
在通过引用整体并入本文的授予Walsh等人的标题为“Virtual AudioProcessing for Loudspeaker or Headphone Playback”的美国专利No.8,000,485中，音频信号可以利用虚拟化器处理器电路进行处理，以创建虚拟化的信号和经修改的立体声图像。作为'485专利中技术的补充或替代，本发明人已经认识到，虚拟化处理可以被用于使用最少数量的扬声器来递送包括各种朝向空间的部件的准确声场表示。
在示例中，相对虚拟化滤波器(诸如可以从头部相关传递函数中得出的)可以应用于渲染被听众感知为包括在听众之上或之下的各种指定海拔或升高的声音信息的虚拟音频信息，以进一步增强聆听众的体验。在示例中，使用在水平面中提供的扬声器来再现这样的虚拟音频信息，并且虚拟音频信息被感知为源自相对于水平面升高的扬声器或其它源，诸如即使在没有物理或真实扬声器存在于感知到的始发位置的情况下。在示例中，虚拟音频信息提供从水平面中的音频信息延伸并可选地包括水平面中的音频信息的声音提升的印象或听觉错觉。类似地，可以应用虚拟化滤波器，以将由听众感知到的虚拟音频信息渲染为包括在水平面内或水平面之间的各个位置处的声音信息，诸如在声场中与扬声器的物理位置不对应的位置处。
图1总体上图示了音频信号虚拟化处理的示例100。在示例100中，将指定为LI和RI的输入信号对提供给双声道虚拟化器模块110。双声道虚拟化器模块110可以包括第一处理器电路，该第一处理器电路被配置为处理输入信号对并提供被指定为LO和RO的输出信号对。在示例中，输出信号对被配置为使用立体声扬声器对或耳机进行回放。
在示例中，诸如当输入和输出信号对表示相对于听众的解剖学正中平面对称地定位的扬声器的信息时，可以使用经耳混洗器(transaural shuffler)拓扑来实现虚拟化器模块110。在这个示例中，可以如等式(1)和(2)中所示的那样指定和差虚拟化滤波器，并且可以由双声道虚拟化器模块110中的第一处理器电路应用。
H1，SUM＝{H1i+H1c}{H0i+H0c}-1； (1)
H1，DIFF＝{Hli-Hlc}{H0i-H0c}-1 (2)
在等式(1)和(2)的示例中，为简化起见，省略了对频率的依赖，并使用以下符号：
H0i：用于左侧或右侧物理扬声器位置的同侧HRTF(例如，被配置用于输出信号对LO、RO的再现)；
H0c：用于左侧或右侧物理扬声器位置的对侧HRTF(例如，被配置用于输出信号对LO、RO的再现)；
H1i：用于左侧或右侧虚拟扬声器位置的同侧HRTF(例如，被配置用于输出信号对L1、R1的再现)；以及
H1c：用于左侧或右侧虚拟扬声器位置的对侧HRTF(例如，被配置用于输出信号对L1、R1的再现)。
在耳机再现的情况下，H0c基本上为零并且H0i与耳机到耳朵的传递函数对应。
图2总体上图示了四声道三维音频再现系统的示例200。示例200可以包括或使用虚拟化处理以将虚拟化的音频信号信息提供给听众202以进行再现。在示例200中，虚拟化处理器电路201接收输入信号L1、R1、L2和R2，并将虚拟化处理应用于输入信号，并且渲染或提供比输入信号更少数量的输出信号。双耳和经耳3D音频虚拟化算法可以用于处理各种输入信号，包括基于和差“混洗器”的各个拓扑，这些拓扑充分利用诸如声道布局的左右对称性、头部相关传递函数(HRTF)的最小相位模型和频谱均衡方法之类的特性，以及数字IIR滤波器近似。在示例中，虚拟化处理器电路201从诸如环绕声解码器电路之类的音频解码器电路接收多个输入信号L1、R1、L2和R2，并使用一对扬声器来渲染基本相同的信息。
在图2中，三维音频再现系统或处理器电路201提供表示为LO和RO的输出信号。基于虚拟化处理，当使用一对扬声器(诸如在图2的示例中与L和R对应的扬声器)再现LO和RO信号时，音频信息被听众202感知为包括来自关于扬声器环境分布的多个来源的信息。例如，当使用图中被指定为L和R的扬声器来再现LO和RO信号时，听众202可以将音频信号信息感知为来自左前或右前方扬声器L1和R1、来自左后或右后方扬声器L2和R2，或者来自扬声器之间某个中间位置或幻像源。
图3总体上图示了多阶段虚拟化处理的示例300。在示例中，来自图2的三维音频再现系统或处理器电路201可以使用图3的示例300中的虚拟化处理来实现或应用。图3的示例包括第一双声道虚拟化器模块310和第二双声道虚拟化器模块320。第一双声道虚拟化器模块310被配置为接收指定为L1和R1的第一输入信号对，第二双声道虚拟化器模块320被配置为接收指定为L2和R2的第二输入信号对。在示例中，L1和R1表示前立体声对，而L2和R2表示后立体声对(例如，参见图2)。在其它示例中，L1、R1、L2和R2可以表示其它音频信息(诸如用于侧面、后方或升高的声音信号)，诸如被配置或设计用于使用特定扬声器布置进行再现。在示例中，第一双声道虚拟化器模块310被配置为应用或使用和差虚拟化滤波器，诸如等式(1)中所示的。
第二双声道虚拟化器模块320可以包括第二处理器电路，该第二处理器电路被配置为接收第二输入信号对L2和R2并生成中间虚拟化的音频信息，作为被指定为L2,O和R2,O的输出信号。在示例中，第二双声道虚拟化器模块320被配置为应用或使用和差虚拟化滤波器，诸如等式(2)中所示的，以生成中间虚拟化的输出信号L2,O和R2,O。在示例中，第二双声道虚拟化器模块320因此被配置为提供或生成部分虚拟化的信号或多个部分虚拟化的信号。这一个或多个信号被认为是部分虚拟化的，因为第二双声道虚拟化器模块320可以被配置为以受限的方式提供虚拟化处理。例如，第二双声道虚拟化器模块320可以被配置用于水平平面虚拟化处理，而垂直平面虚拟化处理可以在其它地方或使用不同的设备来执行。在再现给听众之前，可以将部分虚拟化的信号与一个或多个其它虚拟化或非虚拟化的信号组合。在示例中，第二双声道虚拟化器模块320可以应用或使用等式3和4中描述的函数来提供中间虚拟化的输出信号。
H2/1，SUM＝{H2i+H2c}{H1i+H1c}-1； (3)
H2/I，DIFF＝{H2i-H2c}{H1i-H1c}-1 (4)
在等式(3)和(4)的示例中，为简化起见，省略了对频率的依赖，并使用以下符号：
H2i：用于左侧或右侧虚拟扬声器位置(L2，R2)的同侧HRTF；
H2c：用于左侧或右侧虚拟扬声器位置(L2，R2)的对侧HRTF。
在图3的示例中，中间虚拟化的输出信号L2,O和R2,O在虚拟化指定为L1和R1的第一输入信号对之前与指定为L1和R1的第一输入信号对组合。然后使用第一双声道虚拟化器模块310进一步处理或虚拟化组合的信号。第一和第二双声道虚拟化器模块310和320可以被配置为应用不同的虚拟化处理，诸如为了实现不同的虚拟化效果。例如，第一双声道虚拟化器模块310可以被配置为提供水平平面虚拟化处理，并且第二双声道虚拟化器模块320可以被配置为提供垂直平面虚拟化处理。可以使用不同的模块类似地使用或应用其它类型的虚拟化处理。
本发明人已经认识到，根据图3的示例，由模块310和320进行虚拟化处理并组合中间信号的结果基本上等同于两个模块独立进行的虚拟化处理。例如，图4总体上图示了示例400，该示例400包括由第一和第二双声道虚拟化器模块410和420进行的独立虚拟化处理。在图4的示例中，第一双声道虚拟化器模块410接收指定为L1和R1的输入信号对，并生成指定为L1,O和R1,O的部分虚拟化的输出信号对，并且第二双声道虚拟化器模块420接收指定为L2和R2的输入信号对并生成指定为L3,O和R3,O的部分虚拟化的输出信号对。图4的示例400还包括求和模块430，该求和模块430包括被配置为对部分虚拟化的输出信号对L1,O和R1,O以及L3,O和R3,O求和以提供虚拟化的输出信号LO和RO的电路。
在图4的示例中，第一双声道虚拟化器模块410被配置为应用如等式(1)和(2)所示的，并且类似于上面在图1的双声道虚拟化器模块110的示例中所描述的和差虚拟化滤波器。第二双声道虚拟化器模块420被配置为应用如等式(5)和(6)所示的和差虚拟化滤波器。
H2，SUM＝{H2i+H2c}{H0i+H0c}-1； (5)
H2，DIFF＝{H2i-H2c}{H0i-H0c}-1 (6)
通过将等式(1)和(2)与等式(3)和(4)进行比较，可以观察到，图3和4的四声道成对虚拟化器示例基本相同。
图5总体上图示了示例500，其包括由第一和第二双声道虚拟化器模块510和520进行的虚拟化处理。在图5的示例中，第二双声道虚拟化器模块520接收指定为L2和R2的输入信号对，并生成指定为L4,O和R4,O的部分虚拟化的输出信号对。图5的示例500还包括求和模块530，该求和模块530包括被配置为将部分虚拟化的输出信号对L4,O和R4,O与输入信号对L1和R1求和并将求和的信号提供给第一双声道虚拟化器模块510的电路。第一双声道虚拟化器模块510接收求和的信号对并生成虚拟化的输出信号LO和RO。
在图5的示例中，第一双声道虚拟化器模块510被配置为应用如等式(1)和(2)所示的，并且类似于上面在图1的双声道虚拟化器模块110的示例中所描述的和差虚拟化滤波器。第二双声道虚拟化器模块520被配置为应用如等式(7)所示的和差虚拟化滤波器。
H2/1＝H2i/H1i＝H2c/H1c (7)
因此图5的示例总体上图示了图3的四声道虚拟化器的简化版本，其中，当传递函数H2/1，SUM和H2/1，DIFF近似相等时，即，当同侧与对侧HRTF比率大致相等时，第二双声道虚拟化器模块520将相同的滤波器应用于两个输入信号。
本文所述的任何一个或多个虚拟化处理示例可以包括或使用去相关处理。例如，来自图1、3、4和/或5的多个虚拟化器模块中的任何一个可以包括或使用被配置为去相关一个或多个音频输入信号的去相关器电路。在示例中，去相关器电路在虚拟化器模块的至少一个输入端之前，使得虚拟化器模块处理彼此去相关的信号对。下面提供关于去相关处理的进一步的示例和讨论。
图6总体上图示了示出多个音频信号的虚拟化处理的框图的示例600。示例600包括使用数据总线电路602耦合到第二音频信号处理设备620的第一音频信号处理设备610。
第一音频信号处理设备610可以包括解码器电路611。在示例中，解码器电路611接收包括数字或模拟信号信息的多声道输入信号601。在示例中，多声道输入信号601包括数字位流，该数字位流包括关于多个音频信号的信息。在示例中，多声道输入信号601包括用于环绕声或沉浸式音频节目的音频信号。在示例中，沉浸式音频节目可以包括九个或更多个声道，诸如以DTS:X 11.1ch格式。在示例中，沉浸式音频节目包括八个声道，包括左前和右前置声道(L1和R1)、中央声道(C)、低频声道(Lfe)、左后和右后声道(L2和R2)，以及左和右升高(elevation)声道(L3和R3)。可以类似地使用更多或更少的声道或信号。
解码器电路611可以被配置为解码多声道输入信号601并提供解码器输出612。解码器输出612可以包括多个离散的信息声道。例如，当多声道输入信号601包括关于11.1沉浸式音频节目的信息时，解码器输出612可以包括用于十二个离散音频声道的音频信号。在示例中，总线电路602至少包括十二个声道，并且使用相应的声道将所有音频信号从第一音频信号处理设备610发送到第二音频信号处理设备620。第二音频信号处理设备620可以包括虚拟化处理器电路621，该虚拟化处理器电路621被配置为从总线电路602接收一个或多个信号。虚拟化处理器电路621可以诸如使用一个或多个HRTF或其它滤波器来处理接收到的信号，以生成包括虚拟化的音频信号信息的音频输出信号603。在示例中，音频输出信号603包括立体声输出音频信号对(例如，LO和RO)，其被配置为在收听环境中使用一对扬声器或使用耳机进行再现。在示例中，第一或第二音频信号处理设备610或620可以应用一个或多个滤波器或功能以容纳与收听环境有关的伪像，以进一步增强听众的体验或对音频输出信号603中虚拟化的分量的感知。
在一些音频信号处理设备中，特别是在消费者级别，总线电路602可以被限制到指定或预定数量的离散声道。例如，一些设备可以被配置为容纳最多但不大于六个声道(例如，对应于5.1环绕声系统)。当音频节目信息包括例如多于例如六个声道的信息时，如果使用总线电路602发送节目信息，那么音频节目的至少一部分可能丢失。在一些示例中，丢失的信息对于整个节目或听众的体验可能是至关重要的。本发明人已经认识到可以使用分布式虚拟化处理来解决这个声道计数问题。
图7总体上图示了包括分布式音频虚拟化系统的示例700。示例700可以用于诸如使用物理扬声器或耳机来提供多声道沉浸式音频渲染。示例700包括使用第二数据总线电路702耦合到第二音频信号处理设备720的第一音频信号处理设备710。在示例中，第二数据总线电路702包括与图6的示例中的数据总线电路602所提供的带宽相同的带宽。即，第二数据总线电路702可以包括比携带关于多声道输入信号601的所有信息所需的带宽低的带宽。
在图7的示例中，第一音频信号处理设备710可以包括解码器电路611和第一虚拟化处理器电路711。在示例中，解码器电路611接收多声道输入信号601，诸如可以包括数字或模拟信号信息。如上面在图6的示例中类似地解释的，多声道输入信号601包括数字位流，该数字位流包括关于多个音频信号的信息，并且在示例中可以包括用于沉浸式音频节目的音频信号。
解码器电路611可以被配置为解码多声道输入信号601并提供解码器输出612。解码器输出612可以包括多个离散的信息声道。例如，当多声道输入信号601包括有关沉浸式音频节目(例如，11.1格式)的信息时，解码器输出612可以包括用于例如十二个离散音频声道的音频信号。在示例中，总线电路702包括少于十二个声道，因此不能将每个音频信号从第一音频信号处理设备710发送到第二音频信号处理设备720。
在示例中，解码器输出612可以由第一音频信号处理设备710诸如使用第一虚拟化处理器电路711进行部分虚拟化。例如，第一虚拟化处理器电路711可以包括或使用图3的示例300、图4的示例400或图5的示例500，以接收多个输入信号，将第一虚拟化处理应用于接收到的输入信号的至少一部分以渲染或提供中间虚拟化的音频信息，并然后将中间虚拟化的音频信息与一个或多个其它输入信号组合。
现在参考作为代表性和非限制性示例的图7和5，多声道输入信号601(参见图7)可以包括指定为L1、R1、L2和R2的输入信号对(参见图5)。第一虚拟化处理器电路711可以至少接收指定为L2和R2的输入信号对，并且可以对该信号对执行第一虚拟化处理。在示例中，第一虚拟化处理器电路711将第一HRTF滤波器应用于L2和R2信号中的一个或多个，以渲染或生成指定为L4,O和R4,O的部分虚拟化的输出信号对。第一虚拟化处理器电路或指定的求和模块可以接收部分虚拟化的输出信号对L4,O和R4,O，并将部分虚拟化的输出信号对L4,O和R4,O与另外的输入信号对L1和R1求和。在将信号求和之后，由第一音频信号处理设备710向第二数据总线电路702提供少于四个音频信号声道。因此，在多声道输入信号60包括四个音频信号的示例中，第二数据总线电路702可以用于将部分虚拟化的信息从第一音频信号处理设备710发送到另一个设备，诸如不会有信息丢失。
在图7的示例中，第二数据总线电路702将部分虚拟化的信息提供给第二音频信号处理设备720。第二音频信号处理设备720可以使用第二虚拟化处理器电路721进一步处理接收到的信号，并且生成另外的虚拟化的输出信号(例如，在图5的示例中的输出信号LO和RO)。
第二虚拟化处理器电路721可以被配置为从第二数据总线电路702接收一个或多个信号。第二虚拟化处理器电路721可以诸如使用一个或多个HRTF或其它滤波器来处理接收到的信号，以生成包括虚拟化的音频信号信息的音频输出信号703。在示例中，音频输出信号703包括立体声输出音频信号对(例如，图5的示例中的LO和RO)，其被配置用于在收听环境中使用一对扬声器或使用耳机进行再现。在示例中，第一或第二音频信号处理设备710或720可以应用一个或多个滤波器或功能以容纳与收听环境有关的伪像，以进一步增强听众的体验或对音频输出信号703中虚拟化的分量的感知。
换句话说，图7的示例总体上图示了第一音频信号处理设备710，其包括第一虚拟化处理器电路711，该第一虚拟化处理器电路711被配置为处理或“虚拟化”来自多声道输入信号601中的一个或多个声道的信息，以提供一个或多个对应的中间虚拟化的信号。然后，可以将中间虚拟化的信号与多声道输入信号601中的一个或多个其它声道组合，以提供部分虚拟化的音频节目，该音频节目包括比多声道输入信号601中所包括的声道数量少的声道。即，第一虚拟化处理器电路711可以接收包括第一数量的声道的音频节目，然后应用虚拟化处理并渲染比最初对于音频节目接收到的数量更少的声道，诸如不会丢失由其它声道提供的信息或保真度。可以使用第二数据总线电路702来发送部分虚拟化的音频节目而不丢失信息，并且可以使用另一个虚拟化处理器(例如，使用第二音频信号处理设备710和/或第二虚拟化处理器电路721)来进一步处理或进一步虚拟化所发送的信息，诸如在输出到声音再现系统(诸如物理扬声器或耳机)之前。
在示例中，一种用于使用图7的系统提供虚拟化的音频信息的方法包括：接收至少包括N个离散音频信号的音频节目信息，诸如与声道输入信号601对应。该方法可以包括诸如使用第一虚拟化处理器电路711使用接收到的音频节目信息的至少一部分来生成中间虚拟化的音频信息。例如，生成中间虚拟化的音频信息可以包括将第一虚拟化滤波器(例如，基于HRTF)应用于N个音频信号中的M个，以提供第一虚拟化滤波器输出，并使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息。在示例中，中间虚拟化的音频信息包括J个离散音频信号，并且J小于N。在示例中，M小于或等于N。该方法还可以包括使用第二数据总线电路702将中间虚拟化的音频信息发送到第二虚拟化处理器电路721，并且第二数据总线电路702可以具有少于N个声道。在示例中，第二虚拟化处理器电路721可以被配置为通过将不同的第二虚拟化滤波器应用于J个音频信号中的一个或多个来生成进一步的虚拟化的音频信息。例如，第一虚拟化处理器电路711可以被配置为将水平平面虚拟化至少应用于L2和R2信号，以渲染或提供虚拟化信号L4,O和R4,O，诸如可以与其它输入信号L1和R1组合并使用第二数据总线电路702发送。第二虚拟化处理器电路721可以被配置为将其它虚拟化处理(例如，垂直平面虚拟化)应用于从第二数据总线电路702接收的组合的信号，以提供虚拟化的输出信号以经由扬声器或耳机再现。
图8总体上图示了被配置为对各种音频信号执行分布式虚拟化处理的第一系统的示例800。示例800包括使用第三数据总线电路803耦合到第二音频处理模块821的第一音频处理模块811。第一音频处理模块811被配置为接收各种成对的输入信号801、应用第一虚拟化处理并且通过在第一虚拟化处理之后组合一个或多个信号或声道来减少总音频信号或声道计数。第一音频处理模块811使用第三数据总线电路803将数量减少的信号或声道提供给第二音频处理模块821。第二音频处理模块821应用第二虚拟化处理并且在图8的示例中渲染成对的输出信号804。在示例中，多个成对的输入信号801包括可以接收沉浸式音频节目信息的各种声道，包括信号声道L1和R1(例如，对应于前置立体声对)、L2和R2(例如，对应于后置立体声对)、L3和R3(例如，对应于高度(height)或升高的立体声对)、中央声道C以及低频声道Lfe。成对的输出信号804可以包括指定为LO和RO的立体声输出信号对。可以类似地使用其它声道类型或名称。
在示例800中，第一音频处理模块811包括由第一处理器电路812进行的第一阶段虚拟化处理，该第一处理器电路812接收输入信号L3和R3，诸如与高度音频信号对应。第一处理器电路812包括去相关器电路，该去相关器电路被配置为对输入信号L3和R3中的至少一个应用去相关处理，诸如以便增强空间化处理并减少经处理的信号中音频伪像的出现。在去相关器电路之后，诸如使用双声道虚拟化器模块对去相关的输入信号进行处理或虚拟化(参见例如图5的示例的第二双声道虚拟化器模块520和等式(7))。在第一处理器电路812之后，来自第一处理器电路812的输出信号可以与输入信号801中的一个或多个其它信号组合。例如，如图8所示，可以诸如使用求和电路813将来自第一处理器电路812的输出信号与L1和R1信号进行组合或求和，以渲染信号L1,3和R1,3。可以使用第一音频处理模块811处理输入信号801中的一个或多个其它信号，但是，为了本说明性示例的简洁和简单，省略了对这种其它处理的讨论。在将部分虚拟化的L3和R3信号与输入信号L3和R1组合以提供信号L1,3和R1,3的情况下，第一音频处理模块811因此可以向第三数据总线电路803提供六个输出信号(例如，在图8的示例中指定为L1,3、R1,3、L2、R2，C和Lfe)。
第三数据总线电路803可以将六个信号发送到第二音频处理模块821。在该示例中，第二音频处理模块821包括多个第二阶段虚拟化处理电路，包括第二处理器电路822、第三处理器电路823和第四处理器电路824。在该图示中，第二至第四处理器电路822-824被示为离散处理器，但是可以使用一个或多个物理处理电路来组合或执行针对一个或多个电路的处理操作。第二处理器电路822被配置为接收信号L1,3和R1,3，第三处理器电路823被配置为接收信号L2和R2，并且第四处理器电路824被配置为接收信号C和Lfe。第二至第四处理器电路822-824的输出被提供给第二求和电路825，该第二求和电路825被配置为对来自各种处理器电路的输出信号求和，以渲染成对的输出信号804，指定为LO和RO。
在图8的示例中，第二处理器电路822接收输入信号L1,3和R1,3，诸如与来自第一处理器电路812的虚拟化的高度音频信号与由第一音频处理模块811接收到的L1和R2信号的组合对应。第二处理器电路822包括去相关器电路，该去相关器电路被配置为对输入信号L1,3和R1,3中的至少一个应用去相关处理，诸如以便增强空间化处理并减少经处理的信号中音频伪像的出现。在去相关器电路之后，诸如使用双声道虚拟化器模块对去相关的信号进行处理或虚拟化(参见例如图4的示例的第一双声道虚拟化器模块410和等式(1和2))。
第四处理器电路824可以可选地包括去相关器电路(未示出)，该去相关器电路被配置为对输入信号L2和R2中的至少一个应用去相关处理，诸如以便增强空间化处理并减少经处理的信号中音频伪像的出现。诸如使用双声道虚拟化器模块对输入信号L2和R2进行处理或虚拟化(参见例如图4的示例的第二双声道虚拟化器模块420和等式(5和6))。在图8的示例中，第三处理器电路823被配置为诸如可选地使用全通滤波器和/或去相关处理来接收和处理C和Lfe信号。
因此，图8的示例图示了使用成对虚拟化处理(诸如在图1和3-5中示出的)的用于双声道输出的(诸如通过前置扬声器对(参见例如图2))成对多声道虚拟化器。在这个示例中，使用包括去相关器的第一级虚拟化器来处理高度声道对(L3，R3)。这种虚拟化器拓扑，包括使用由第一处理器电路812实现的指定的虚拟高度滤波器，在计算上可以是有利的，因为它使得能够与前输入信号对共享水平平面虚拟化处理。此外，所示的拓扑允许诸如独立于水平平面或其它虚拟化处理来优化或调谐虚拟高度效果的有效性或程度。
图9总体上图示了第二系统的示例900，该第二系统被配置为对各种音频信号执行分布式虚拟化处理。示例900包括使用第三数据总线电路803耦合到第四音频处理模块921的第三音频处理模块911。图9的示例包括或使用与上述图8的示例800中相同的一些电路系统和处理。
例如，第三音频处理模块911被配置为接收各种成对的输入信号801、应用虚拟化处理并且通过在虚拟化处理之后组合一个或多个信号或声道来减少总音频信号或声道计数。第三音频处理模块911使用六声道第三数据总线电路803将数量减少的信号或声道提供给第四音频处理模块921。第四音频处理模块921应用其它虚拟化处理并在图9的示例中渲染成对的输出信号904。在示例中，当各种模块和处理器被配置为提供基本上相同的虚拟化处理，但是以不同的次序并且通过对不同的基本信号或信号组合进行操作时，来自图8和9的示例的成对的输出信号804和904可以基本相同。
在示例900中，第三音频处理模块911包括由第四处理器电路824进行的第一阶段虚拟化处理。即，第四处理器电路824接收输入信号L2和R2，诸如与后方立体声音频信号对应。在第四处理器电路824之后，来自第四处理器电路824的输出信号可以与输入信号801中的一个或多个其它信号组合。例如，如图9所示，可以诸如使用第一求和电路913将来自第四处理器电路824的输出信号与L1和R1信号进行组合或求和，以渲染信号L1,2和R1,2。可以使用第三音频处理模块911来处理输入信号801中的一个或多个其它信号，但是，为了本说明性示例的简洁和简单，省略了对这种其它处理的讨论。在将部分虚拟化的L2和R2信号与输入信号L1和R1组合以提供信号L1,2和R1,2的情况下，第四音频处理模块911因此可以向第三数据总线电路803提供六个输出信号(例如，在图9的示例中指定为L1,2、R1,2、L2、R2，C和Lfe)。
第三数据总线电路803可以将六个信号发送到第四音频处理模块921。在这个示例中，第四音频处理模块921包括多个第二阶段虚拟化处理电路，包括第一处理器电路812、第二处理器电路822和第三处理器电路823。在该图示中，第一、第二和第三处理器电路812、822和823被示为离散处理器，但是可以使用第四音频处理模块921中的一个或多个物理处理电路来组合或执行针对一个或多个电路的处理操作。第二处理器电路822被配置为接收信号L1,2和R1,2。第一处理器电路823被配置为接收信号L1和R3，并且第三处理器电路824被配置为接收信号C和Lfe。来自第一处理器电路812的虚拟化的输出被提供给第二求和电路924，在第二求和电路924中，该输出与来自第三数据总线电路803的接收到的信号L1,2和R1,2求和，并然后被提供给第二处理器电路822。在这个示例中，第二处理器电路822将虚拟化处理应用于L2、R2以及L3和R3的组合，这些信号之后的信号已经接受由第一和第四处理器电路812和824进行的其它虚拟化处理。在第四音频处理模块921中进行处理之后，第一、第二和第三处理器电路812、822和823的输出被提供给第三求和电路925，第三求和电路925被配置为对来自各种处理器电路的输出信号求和，以渲染成对的输出信号904，指定为LO和RO。
因此，图8和9图示了用于双声道输出的(诸如通过前置扬声器对(参见例如图2))成对的多声道虚拟化处理系统的示例。示例包括成对的虚拟化处理，诸如图1和3-5中所示的。在图8的示例中，使用包括去相关器的第一阶段虚拟化器来处理高度声道对(L3，R3)。这种虚拟化器拓扑，包括使用由第一处理器电路812实现的指定虚拟高度滤波器，在计算上可以是是有利的，因为它使得能够与前输入信号对共享水平平面虚拟化处理。此外，所示的拓扑允许诸如独立于水平平面或其它虚拟化处理来优化或调谐虚拟高度效果的有效性或程度。在图9的示例中，后方立体声声道对(L2，R2)使用第一阶段虚拟化器进行处理。这种虚拟化器拓扑，包括使用由第四处理器电路824实现的指定的虚拟水平面滤波器，在计算上可以是是有利的，因为它使得能够与前输入信号对共享高度或其他虚拟化处理。类似于图8的示例，图9所示的拓扑优化了在多个不同平面中进行虚拟化处理的调谐灵活性。例如，当将图9的示例应用于渲染针对耳机音频的双声道输出时，这种虚拟化器拓扑通过耳机为各个听众提供虚拟前方和虚拟后方效果的独立的调谐，诸如可以有助于最小化前-后混淆的发生、虚假的升高误差，并最大化感知到的外在化。
本文讨论的一些模块或处理器被配置为诸如在虚拟化处理之前应用或使用信号去相关处理。去相关是一种减少两个或更多个音频信号或声道之间的相关性的音频处理技术。在一些示例中，去相关可以被用于修改听众对音频信号的感知的空间图像。使用去相关处理来调整或修改空间图像或感知的其它示例可以包括减少一对音频声道之间的感知到的“幻像”源效果，加宽一对音频声道之间的感知到的距离，改善当通过耳机将其再现时音频信号的感知到的外在化，和/或在再现的声场中增加感知到的扩散。
例如，通过在虚拟化之前对左/右信号对应用去相关处理，在左右输入声道之间平移的源信号将在基本位于以听众位置为中心并且连接虚拟扬声器的预期(due)位置的最短弧线上的虚拟位置处被听众听到。本发明人已经认识到，这样的去相关处理可以有效地避免各种虚拟定位伪像，诸如头内定位、前-后混淆和升高误差。
在示例中，除其它以外，去相关处理尤其可以使用全通滤波器来执行。滤波器可以应用于输入信号中的至少一个，并且在示例中可以通过嵌套的全通滤波器来实现。可以通过选择滤波器的不同部件的不同设置或值来提供声道间去相关。可以类似地使用用于去相关滤波器的各种其它设计。
在示例中，用于减小两个(或更多个)音频信号之间的相关性的方法包括使每个音频信号的相位随机化。例如，相应的全通滤波器(诸如各自基于频域中的不同随机相位计算)可以用于对每个音频信号进行滤波。在一些示例中，去相关可以将音色变化或其它非预期的伪像引入可以分开进行解决的音频信号中。
各种系统和机器可以被配置为执行本文描述的信号处理任务中的一个或多个。例如，虚拟化处理模块或虚拟化处理器电路、去相关电路、虚拟化或空间化滤波器或其它模块或处理中的任何一个或多个都可以使用通用机器或使用专用的专用机器来实现，这些机器诸如使用从有形的、非暂态的处理器可读介质中检索到的指令来执行各种处理任务。
图10是图示根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令1016并执行本文讨论的方法中的任何一个或多个的机器1000的部件的框图。具体而言，图10以计算机系统的示例形式示出了机器1000的示意图，在该机器1000内，可以执行使得机器1000执行本文讨论的方法中的任何一个或多个的指令1016(例如，软件、程序、应用、小应用、app或其它可执行代码)。例如，指令1016可以实现图5-7和图11-17等的模块或电路或部件。指令1016可以将通用的、未编程的机器1000变换成被编程为以所描述的方式(例如，作为音频处理器电路)执行所描述和示出的功能的特定机器。在替代实施例中，机器1000作为独立设备操作，或者可以耦合(例如，联网)到其它机器。在联网部署中，机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者在对等(或分布式)网络环境中作为对等机器操作。
机器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统或系统部件、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能器具)、其它智能设备、web器具、网络路由器、网络交换机、网桥、耳机驱动器，或能够顺序地或以其它方式执行指定要由机器1000采取的动作的指令1016的任何机器。另外，虽然仅示出了单个机器1000，但是术语“机器”也应被认为包括机器1000的集合，其单独地或共同地执行指令1016以执行本文讨论的方法中的任何一个或多个。
机器1000可以包括或使用处理器1010(诸如包括音频处理器电路)、非暂态存储器/存储装置1030以及I/O部件1050，它们可以被配置为彼此通信，诸如经由总线1002。在示例实施例中，处理器1010(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、另一个处理器或其任意合适的组合)可以包括例如可以执行指令1016的电路，诸如处理器1012和处理器1014。术语“处理器”旨在包括多核处理器1012、1014，其可以包括可以同时执行指令1016的两个或更多个独立处理器1012、1014(有时称为“核”)。虽然图10示出了多个处理器1010，但是机器1000可以包括具有单个核的单个处理器1012、1014、具有多个核的单个处理器1012、1014(例如，多核处理器1012、1014)、具有单个核的多个处理器1012、1014、具有多个核的多个处理器1012、1014或其任意组合，其中任何一个或多个处理器可以包括被配置为对音频信号应用高度滤波器以渲染经处理的或虚拟化的音频信号的电路。
存储器/存储装置1030可以包括存储器1032(诸如主存储器电路或其它存储器存储电路)，以及存储单元1036，两者都可以诸如经由总线1002被处理器1010访问。存储单元1036和存储器1032存储实施本文描述的方法或功能中的任何一个或多个的指令1016。在指令1016由机器1000执行期间，指令1016还可以全部或部分地驻留在存储器1032内、存储单元1036内、处理器1010中的至少一个内(例如，处理器1012、1014的高速缓存存储器内)或其任意合适的组合。因而，存储器1032、存储单元1036和处理器1010的存储器是机器可读介质的示例。
如本文所使用的，“机器可读介质”是指能够临时或永久地存储指令1016和数据的设备，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓存存储器、其它类型的存储装置(例如、可擦可编程只读存储器(EEPROM))和/或其任意合适的组合。术语“机器可读介质”应当被认为包括能够存储指令1016的单个介质或多个介质(例如，集中式或分布式数据库或者相关联的高速缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储由机器(例如，机器1000)执行的指令(例如，指令1016)的任何介质或多种介质的组合，使得指令1016在由机器1000的一个或多个处理器(例如，处理器1010)执行时使机器1000执行本文所述的方法中的任何一个或多个。因而，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”不包括信号本身。
I/O部件1050可以包括各种部件，以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等等。包括在特定机器1000中的具体I/O部件1050将取决于机器1000的类型。例如，诸如移动电话之类的便携式机器将可能包括触摸输入设备或其它这样的输入机制，而无头服务器机器可能将不包括这种触摸输入设备。将认识到的是，I/O部件1050可以包括在图10中未示出的许多其它部件。I/O部件1050仅出于简化以下讨论的目的而按功能分组，并且该分组绝不是限制性的。在各种示例实施例中，I/O部件1050可以包括输出部件1052和输入部件1054。输出部件1052可以包括视觉部件(例如，显示器，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)之类)、声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机制)、其它信号发生器等等。输入部件1054可以包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向工具)、触感输入部件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏，或其它触感输入部件)、音频输入部件(例如，麦克风)等。
在进一步的示例实施例中，I/O部件1050可以包括各种各样的其它部件当中的生物特征部件1056、运动部件1058、环境部件1060或位置部件1062。例如，生物特征部件1056可以包括检测表达(例如，手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件，诸如例如可以影响特定于听众或特定于环境的冲激响应或HRTF的包含、使用或选择。在示例中，生物特征部件1056可以包括一个或多个传感器，这些传感器被配置为感测或提供关于环境中检测到的听众110的位置的信息。运动部件1058可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等等，诸如可以用于跟踪听众110的位置的改变。环境部件1060可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测混响衰减时间的一个或多个麦克风，诸如针对一个或多个频率或频带)、接近传感器或房间音量检测部件(例如，检测附近物体的红外传感器)、气体传感器(例如，气体检测传感器，以安全地检测有害气体的浓度或测量大气中的污染物)，或其它可以提供与周围物理环境对应的指示、测量或信号的部件。位置部件1062可以包括位置传感器部件(例如，全球定位系统(GPS)接收器部件)、海拔传感器部件(例如，检测可以从中导出海拔的气压的海拔计或气压计)、朝向传感器部件(例如，磁力计)等。
可以使用多种技术来实现通信。I/O部件1050可以包括通信部件1064，其可操作以分别经由耦合(coupling)1082和耦合1072将机器1000耦合到网络1080或设备1070。例如，通信部件1064可以包括网络接口部件或其它合适的设备以与网络1080接口。在另外的示例中，通信部件1064可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、
而且，通信部件1064可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件1064可以包括射频识别(RFID)标签阅读器部件、NFC智能标签检测部件、光学阅读器部件(例如，用于检测一维条形码(诸如通用产品代码(UPC)条形码)、多维条形码(诸如快速响应(QR)码、Aztec码、DataMatrix、Dataglyph、MaxiCode、PDF49、Ultra Code、UCC RSS-2D条形码和其它光学条形码)的光学传感器)，或声学检测部件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由通信部件1064导出各种信息，诸如经由因特网协议(IP)地理位置定位的位置、经由
在各种示例实施例中，网络1080的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通旧电话服务(POTS)网络、蜂窝电话网络、无线网络、
指令1016可以经由网络接口设备(例如，通信部件1064中包括的网络接口部件)使用传输介质并且使用多种众所周知的传输协议中的任何一种(例如，超文本传输协议(HTTP))通过网络1080被发送或接收。类似地，指令1016可以使用传输介质经由耦合器1072(例如，对等耦合器)被发送或接收到设备1070。术语“传输介质”应被认为包括能够存储、编码或携带由机器1000执行的指令1016的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以促进这种软件的通信。
对于相关领域的技术人员而言，本文讨论的概念和示例的许多变化将是清楚的。例如，取决于实施例，本文描述的任何方法、处理或算法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或省略(使得并非所有描述的动作或事件是实践各种方法、处理或算法所必需的)。而且，在一些实施例中，动作或事件可以被同时执行，诸如通过多线程处理、中断处理、或多个处理器或处理器核或在其它并行架构上，而不是顺序地执行。此外，可以由可以一起工作的不同机器和计算系统执行不同的任务或处理。
结合本文公开的实施例描述的各种说明性逻辑块、模块、方法和算法处理以及序列可以被实现为电子硬件、计算机软件或二者的组合。为了说明硬件和软件的这种可互换性，在一些情况下，一般按照其功能来描述各种部件、块、模块和处理动作。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。因此，可以针对特定应用以各种方式来实现所描述的功能，但是这种实现决定不应当被解释为造成背离本文档的范围。本文所述的沉浸式空间音频处理和再现系统以及方法和技术的实施例可以在多种类型的通用或专用计算系统环境或配置内操作，诸如以上在图10的讨论中所描述的。
本发明的各个方面可以独立使用或一起使用。例如，方面1可以包括或使用主题(诸如用于执行动作的装置、系统、设备、方法、部件，或包括指令的设备可读介质，这些指令在由设备执行时可以使设备执行动作)，诸如可以包括或使用一种用于提供虚拟化的音频信息的方法，所述方法包括接收包括至少N个离散音频信号的音频节目信息，以及使用第一虚拟化处理器电路使用接收到的所述音频节目信息的至少一部分来生成中间虚拟化的音频信息。在方面1中，除其它事项之外，所述生成可以包括将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号以提供第一虚拟化滤波器输出，以及使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息，其中中间虚拟化的音频信息包括J个离散音频信号。方面1还可以包括
将中间虚拟化的音频信息发送到第二虚拟化处理器电路，其中第二虚拟化处理器电路被配置为通过将不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成进一步虚拟化的音频信息。在示例中，N、M和J是整数。
方面2可以包括或使用方面1的主题，或者可以可选地与方面1的主题组合，可选地包括基于所述进一步虚拟化的音频信息渲染K个输出信号，其中所述K个输出信号被配置用于使用耳机进行再现。
方面3可以包括或使用方面1的主题，或者可以可选地与方面1的主题组合，可选地包括基于所述进一步虚拟化的音频信息渲染K个输出信号，其中所述K个输出信号被配置用于使用一对扬声器进行再现。
方面4可以包括或使用方面1至3的一个或任意组合的主题，或者可以可选地与方面1至3的一个或任意组合的主题组合，可选地包括所述音频节目信息包括至少一个高度音频信号，所述高度音频信号包括被配置用于使用至少一个升高的扬声器来进行再现的音频信息，以及其中应用第一虚拟化滤波器包括将高度虚拟化滤波器应用于所述至少一个高度音频信号。
方面5可以包括或使用方面4的主题，或者可以可选地与方面4的主题组合，可选地包括使用第二虚拟化处理器电路生成所述进一步虚拟化的音频信息，包括将除高度虚拟化滤波器以外的虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号。
方面6可以包括或使用方面1至5的一个或任意组合的主题，或者可以可选地与方面1至5的一个或任意组合的主题组合，可选地包括所述音频节目信息包括环绕声音频信号，所述环绕声音频信号包括用于使用多个相应扬声器进行再现的音频信息，以及其中应用第一虚拟化滤波器包括将水平平面虚拟化滤波器应用于所述环绕声信号中的一个或多个环绕声信号，以及其中将所述不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号包括应用除水平平面虚拟化滤波器以外的其它虚拟化滤波器。
方面7可以包括或使用方面1至5的一个或任意组合的主题，或者可以可选地与方面1至5的一个或任意组合的主题组合，可选地包括所述音频节目信息至少包括左前和右前音频信号，所述左前和右前音频信号包括被配置用于使用相应的左前和右前扬声器进行再现的音频信息，以及其中应用第一虚拟化滤波器包括至少对左前和右前音频信号应用水平平面虚拟化滤波器。
方面8可以包括或使用方面1至7的一个或任意组合的主题，或者可以可选地与方面1至7的一个或任意组合的主题组合，可选地包括M小于N。
方面9可以包括或使用方面8的主题，或者可以可选地与方面8的主题组合，可选地包括使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息包括将第一虚拟化滤波器输出与所述N个音频信号中除所述M个音频信号以外的一个或多个音频信号组合。
方面10可以包括或使用方面1至9的一个或任意组合的主题，或者可以可选地与方面1至9的一个或任意组合的主题组合，以可选地包括M等于N。
方面11可以包括或使用方面1至10的一个或任意组合的主题，或者可以可选地与方面1至10的一个或任意组合的主题组合，以可选地包括J小于N。
方面12可以包括或使用方面1至11的一个或任意组合的主题，或者可以可选地与方面1至11的一个或任意组合的主题组合，可选地包括在第二虚拟化处理器电路处接收中间虚拟化的音频信息，以及使用第二虚拟化处理器电路通过将所述不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成所述进一步虚拟化的音频信息。
方面13可以包括或使用方面12的主题，或者可以可选地与方面12的主题组合，可选地包括生成所述进一步虚拟化的音频信息包括渲染K个输出信号以使用至少K个扬声器进行回放，其中K是小于J的整数。
方面14可以包括或使用方面13的主题，或者可以可选地与方面13的主题组合，可选地包括渲染K个输出信号包括渲染被配置用于使用耳机或扬声器进行再现的一对输出信号。
方面15可以包括或使用方面13的主题，或者可以可选地与方面13的主题组合，可选地包括所述至少K个扬声器布置在第一空间平面中，并且其中生成所述进一步虚拟化的音频信息包括渲染输出信号，当使用所述K个扬声器进行再现时，该输出信号被配置为被听众感知为包括在除第一空间平面以外的空间平面中的可听信息。
方面16可以包括或使用方面13的主题，或者可以可选地与方面13的主题组合，可选地包括生成所述进一步虚拟化的音频信息包括生成信息，使得当使用所述至少K个扬声器再现所述进一步虚拟化的音频信息时，所述进一步虚拟化的音频信息被听众感知为源自相对于扬声器平面的升高或降低的源。
方面17可以包括或使用方面1至16的一个或任意组合的主题，或者可以可选地与方面1至16的一个或任意组合的主题组合，可选地包括发送中间虚拟化的音频信息包括使用包括少于N个声道的数据总线。
方面18可以包括或使用方面1至17的一个或任意组合的主题，或者可以可选地与方面1至17的一个或任意组合的主题组合，可选地包括生成中间虚拟化的音频信息包括在应用第一虚拟化滤波器之前将所述M个音频信号中的至少两个音频信号去相关。
方面19可以包括方面1至18的一个或任意组合的主题，或者可以可选地与方面1至18的一个或任意组合的主题组合，以包括或使用主题(诸如用于执行动作的装置、方法、部件，或包括指令的机器可读介质，这些指令在由机器执行时可以使机器执行动作)，诸如可以包括或使用一种系统，所述系统包括用于接收多个音频输入信号的装置，用于将第一虚拟化处理应用于所述多个音频输入信号中的一个或多个音频输入信号以生成中间虚拟化的信号的装置，用于将中间虚拟化的信号与所述多个音频输入信号中的至少另一个音频输入信号组合以提供部分虚拟化的信号的装置，以及用于将第二虚拟化处理应用于部分虚拟化的音频信号以生成虚拟化的音频输出信号的装置。
方面20可以包括或使用方面19的主题，或者可以可选地与方面19的主题组合，可选地包括用于将部分虚拟化的信号从第一设备发送到远程第二设备的装置，所述远程第二设备包括用于应用第二虚拟化处理的装置，其中所述多个音频输入信号包括至少N个离散信号，以及其中用于发送部分虚拟化的信号的装置包括用于发送少于N个信号的装置。
方面21可以包括或使用方面19或20的一个或任意组合的主题，或者可以可选地与方面19或20的一个或任意组合的主题组合，可选地包括用于应用第一虚拟化处理的装置包括用于应用水平平面虚拟化和垂直平面虚拟化之一的装置，并且其中用于应用第二虚拟化处理的装置包括用于应用水平平面虚拟化和垂直平面虚拟化中的另一个的装置。
方面22可以包括或使用方面19至21的一个或任意组合的主题，或者可以可选地与方面19至21的一个或任意组合的主题组合，可选地包括用于应用第一虚拟化处理的装置包括用于将第一头部相关传递函数应用于所述多个音频输入信号中的至少一个音频输入信号的装置。
方面23可以包括或使用方面19至22的一个或任意组合的主题，或者可以可选地与方面19至22的一个或任意组合的主题组合，可选地包括用于对所述多个音频输入信号中的至少两个音频输入信号进行去相关以提供多个去相关的信号的装置，并且其中用于应用第一虚拟化处理的装置包括用于将第一虚拟化处理应用于去相关的信号中的第一去相关的信号的装置。
方面24可以包括或使用方面19至23的一个或任意组合的主题，或者可以可选地与方面19至23的一个或任意组合的主题组合，可选地包括用于应用第二虚拟化处理的装置还包括用于生成代表所述多个音频输入信号的虚拟化的音频输出信号的立体声对的装置。
方面25可以包括或使用方面19至24的一个或任意组合的主题，或者可以可选地与方面19至24的一个或任意组合的主题组合，可选地包括用于接收多个音频输入信号的装置包括用于接收N个离散音频输入信号的装置，其中用于将中间虚拟化的信号与所述多个音频输入信号中的至少另一个音频输入信号组合的装置包括提供多个部分虚拟化的信号的装置，以及其中部分虚拟化的信号的数量小于N。
方面26可以包括方面1至25的一个或任意组合的主题，或者可以可选地与方面1至25的一个或任意组合的主题组合，以包括或使用主题(诸如用于执行动作的装置、方法、部件，或包括指令的机器可读介质，这些指令在由机器执行时可以使机器执行动作)，诸如可以包括或使用被配置为使用至少一对扬声器或耳机在三维声场中提供虚拟化的音频信息的音频信号处理系统，其中虚拟化的音频信息被听众感知为包括在听众的第一解剖平面以外的平面中的可听信息，所述系统包括：音频输入端，被配置为接收包括至少N个离散音频信号的音频节目信息，第一虚拟化处理器电路，被配置为通过将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号来生成中间虚拟化的音频信息，以及第二虚拟化处理器电路，被配置为通过将不同的第二虚拟化滤波器应用于所述N个音频信号中的K个音频信号来生成进一步虚拟化的音频信息，其中K、M和N是整数。
方面27可以包括或使用方面26的主题，或者可以可选地与方面26的主题组合，可选地包括音频信号组合电路，所述音频信号组合电路被配置为将中间虚拟化的音频信息与所述N个音频信号中除所述M个音频信号以外的至少一个音频信号进行组合，以提供包括少于N个音频信号的部分虚拟化的音频节目信息，其中第二虚拟化处理器电路被配置为使用部分虚拟化的音频节目信息来生成进一步虚拟化的音频信息。
方面28可以包括或使用方面26或27的一个或任意组合的主题，或者可以可选地与方面26或27的一个或任意组合的主题组合，可选地包括数据总线电路，所述数据总线电路包括少于N个声道，其中所述数据总线电路耦合到第一虚拟化处理器电路和第二虚拟化处理器电路，并且所述数据总线电路被配置为将部分虚拟化的音频节目信息从第一虚拟化处理器电路发送到第二虚拟化处理器电路。
方面29可以包括或使用方面26至28的一个或任意组合的主题，或者可以可选地与方面26至28的一个或任意组合的主题组合，以可选地包括音频解码器电路，所述音频解码器电路被配置为接收环绕声源信号并基于接收到的环绕声源信号将所述音频节目信息提供给音频输入端。
方面30可以包括或使用方面26至29的一个或任意组合的主题，或者可以可选地与方面26至29的一个或任意组合的主题组合，可选地包括接收到的音频节目信息包括至少一个高度音频信号，所述高度音频信号包括被配置为使用至少一个升高的扬声器进行再现的音频信息，其中第一虚拟化处理器电路被配置用于将第一虚拟化滤波器作为高度虚拟化滤波器应用于所述至少一个高度音频信号。
方面31可以包括或使用方面30的主题，或者可以可选地与方面30的主题组合，可选地包括第二虚拟化滤波器是除高度虚拟化滤波器以外的虚拟化滤波器。
方面32可以包括或使用方面26至31的一个或任意组合的主题，或者可以可选地与方面26至31的一个或任意组合的主题组合，可选地包括去相关电路，所述去相关电路被配置为将去相关滤波器应用于所述N个离散音频信号中的一个或多个离散音频信号，以将对应的一个或多个去相关信号提供给第一虚拟化处理器电路和/或第二虚拟化处理器电路。
方面33可以包括或使用方面26至32的一个或任意组合的主题，或者可以可选地与方面26至32的一个或任意组合的主题组合，可选地包括第一虚拟化处理器电路和/或第二虚拟化处理器电路包括头部相关传递函数推导电路，所述头部相关传递函数推导电路被配置为基于与听众对应的同侧和对侧头部相关传递函数信息来推导第一虚拟化滤波器。
方面34可以包括或使用方面26至33的一个或任意组合的主题，或者可以可选地与的面26至33的一个或任意组合的主题组合，可选地包括第二虚拟化处理器电路被配置为生成进一步虚拟化的音频信息作为被配置用于使用耳机或扬声器进行再现的立体声信号对。
这些非限制性方面中的每一个可以独立存在，或者可以与本文提供的一个或多个其它方面或示例以各种置换或组合的方式组合。
在本文件中，如在专利文件中常用的，术语“一”或“一个”包括一个或多于一个，独立于“至少一个”或“一个或多个”的任何其它情况或用法。在本文件中，除非另有说明，否则术语“或”用于表示非排他性的或，使得“A或B”包括“A但不包括B”、“B但不包括A”和“A和B”。在本文件中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等效词。
除非另外特别说明或在所使用的上下文中以其它方式理解，否则本文中所使用的条件语言，诸如“能够”、“可能”、“可以”、“例如”等一般旨在传达某些实施例包括而某些实施例不包括某些特征、元素和/或状态。因此，这样的条件语言一般不旨在暗示特征、元素和/或状态以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或状态是否要在任何特定实施例中被包括或将被执行的逻辑。
虽然上面的详细描述已经示出、描述并指出了应用于各种实施例的新颖特征，但是将理解的是，在不脱离本公开的前提下，可以对所示设备或算法的形式和细节进行各种省略、替换和改变。如将认识到的，本文描述的本发明的某些实施例可以以不提供本文阐述的所有特征和优点的形式来实施，因为一些特征可以与其它特征分开使用或实践。
而且，虽然已经用特定于结构特征或方法或动作的语言描述了主题，但是应该理解的是，所附权利要求书中定义的主题不必限于上述特定特征或动作。更确切地说，上述具体特征和动作被公开为实现权利要求的示例形式。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：自驱式车辆用的自主的广播系统