阅读说明：本技术 全向可听噪声源定位装置 (Omnidirectional audible noise source positioning device ) 是由 河田宏史 于 2020-02-12 设计创作，主要内容包括：本发明提供用于能够同时测量封闭或开放空间中的环绕声再现和噪声源定位的设备的系统和方法。当在封闭空间的移动对象中需要环绕声再现和噪声源定位时,特别使用该系统和方法。封闭空间中的移动对象不限于特定产品,可以考虑例如汽车、火车、电梯等。(The present invention provides systems and methods for a device capable of simultaneous measurement of surround sound reproduction and noise source localization in closed or open spaces. The system and method are particularly useful when surround sound reproduction and noise source localization are required in moving objects in an enclosed space. The moving object in the closed space is not limited to a specific product, and may be, for example, a car, a train, an elevator, or the like.)

全向可听噪声源定位装置

技术领域

本公开总体上涉及声音系统，并且更具体地涉及用于为三维视频提供三维声音的系统和方法。

背景技术

在现有技术中，产品的声音(噪声)问题一直难以在开发者和客户之间共享。这是因为声音是感官评价，并且除非开发者和客户处于相同的情形(例如，位置、环境条件)以听到特定声音，否则通常不能被共享。

在现有技术实现中，已经开发了环绕声技术，用于在记录和再现声音时再现三维声音方向和传播。可以用特殊的麦克风来重放环绕声。期望这样的现有技术实现促进与产品开发者和客户的信息共享。

在现有技术实现中，存在用于产生三维音频的虚拟现实(VR)，然而，这些现有技术实现不提供用于进行音频的实际记录的任何手段，也不提供用于噪声源定位的任何实现。通常，即使在涉及环绕声再现方法的现有技术实现中，也没有关于噪声源定位或用于这种噪声源定位的记录的描述。

发明内容

现有技术实现不进行任何噪声源定位，这是确定给定环境的声音(噪声)问题的要求。现有技术实现利用了以声学相机为代表的声压级(幅度)的评估。然而，诸如封闭房间的封闭空间由于涉及多个声波的干扰而变成非常复杂的声场。特别地，在诸如汽车或火车的移动对象中，即使在移动对象开始移动之前，周围环境中的噪声(诸如外部噪声和空调噪声)也很大。当对象处于运动中时，很难将环境的噪声与处于声压级的其它噪声清楚地分开。

本文中描述的示例性实施方式涉及移动对象，并且更具体地涉及从能够记录来自对象中的所有方向的声音的麦克风搜索一个或多个噪声源的方法。

本发明的方面可涉及一种系统，该系统涉及：一种麦克风阵列，该麦克风阵列涉及以三维形状沿相对于彼此的位置布置的至少四个麦克风；360度相机；以及处理器，该处理器用于针对通过所述麦克风阵列接收的音频，计算所述麦克风阵列的所述至少四个麦克风中的两个之间的三维声强，并且利用所述三维声强相对于视频馈源的显示视图将音频覆盖到所述360度相机的所述视频馈源上。

本公开的方面可以包括一种用于涉及麦克风阵列和360度相机的系统的方法，所述麦克风阵列涉及以三维形状沿相对于彼此的位置布置的至少四个麦克风；所述方法涉及针对通过所述麦克风阵列接收的声音，计算所述麦克风阵列的所述至少四个麦克风中的两个之间的三维声强，以及利用相对于视频馈源的显示视图的所述三维声强，覆盖所述360度相机的所述视频馈源。

本公开的方面可以包括计算机程序，该计算机程序存储用于一种系统的指令，该系统涉及麦克风阵列和360度相机，所述麦克风阵列涉及以三维形状沿相对于彼此的位置布置的至少四个麦克风；所述指令涉及针对通过所述麦克风阵列接收的声音，计算所述麦克风阵列的所述至少四个麦克风中的两个之间的三维声强，以及利用相对于视频馈源的显示视图的所述三维声强，覆盖所述360度相机的所述视频馈源。所述指令可以存储在非暂时性计算机可读介质中。

本公开的方面可以涉及与麦克风阵列和360度相机连接的装置，所述麦克风阵列涉及以三维形状沿相对于彼此的位置布置的至少四个麦克风；所述装置处理器，该处理器用于针对通过所述麦克风阵列接收的声音，计算所述麦克风阵列的所述至少四个麦克风中的两个之间的三维声强，并且利用所述三维声强相对于所述视频馈源的显示视图来覆盖所述360度相机的所述视频馈源。

本发明的方面可涉及一种系统，该系统涉及：一种麦克风阵列，该麦克风阵列涉及以三维形状沿相对于彼此的位置布置的至少四个麦克风；360度相机；以及处理器，该处理器用于针对通过所述麦克风阵列接收的音频，计算所述麦克风阵列的所述至少四个麦克风中的两个之间的三维声强，并且利用所述三维声强相对于所述视频馈源的显示视图来覆盖所述360度相机的所述视频馈源。

附图说明

图1是根据示例性实施方式的装置的系统概要。

图2是根据示例性实施方式的环境立体声麦克风的麦克风部分的示例性前视图。

图3示出了根据示例性实施方式的麦克风舱(microphone capsules)和坐标轴的示例性布置。

图4示出了根据示例性实施方式的涉及全向图像的示例性系统。

图5示出了根据示例性实施方式的设备的示例性流程图。

图6示出了具有适于在示例性实施方式中使用的示例性计算机设备的示例性计算环境。

具体实施方式

以下详细描述提供了本申请的附图和示例性实现的进一步细节。为了清楚起见，省略了附图之间的冗余元件的附图标记和描述。在整个说明书中使用的术语是作为示例提供的，而不是限制性的。例如，根据实践本申请的实现的本领域普通技术人员的期望实现，术语“自动”的使用可以涉及到涉及用户或管理员对实现的某些方面的控制的全自动或半自动实现。选择可以由用户通过用户界面或其他输入手段来进行，或者可以通过期望的算法来实现。可以单独地或组合地利用本文描述的示例性实现，并且可以通过根据期望实现的任何手段来实现示例性实现的功能。

本文描述的示例性实施方式涉及用于能够同时测量封闭或开放空间中的环绕声再现和噪声源定位的设备的系统和方法。当在封闭空间的移动对象中需要环绕声再现和噪声源定位时，特别使用该系统和方法。封闭空间中的移动对象不限于特定产品，可以考虑例如汽车、火车、电梯等。

对于噪声源定位，示例性实施方式集中于指示声能流的量和方向的声强。由于声强不容易受到背景噪声的影响，因此尽管具有大的背景噪声，本文中描述的示例性实现方式也可以利用声强来定位涉及移动对象的房间中的噪声源。

在示例性实施方式中，可以通过测量多个麦克风的声压和麦克风之间的距离来计算声强。

在本文描述的示例性实施方式中，用于环绕声拾取的特殊麦克风被用于评估点麦克风，其中声强是根据测量的声压和麦克风之间的距离来计算的，其中全向噪声源由此可以被定位。利用这样的示例性实施方式，由此可以同时执行环绕声再现和噪声源定位。

根据本文描述的示例性实施方式，由此可以不受移动对象的背景噪声的影响，并且还可以在不间接引入用于噪声源定位测量的测量设备的情况下同时在所有方向上执行环绕声再现。

在下文中，将参照附图描述全向可听噪声源定位装置的示例性实施方式。

图1是根据示例性实施方式的装置的系统概要。在图1的示例中，装置的测量方面涉及特殊麦克风(在本文中被称为环境立体声麦克风101)、声音记录设备102和用于进行全方位拍摄的视频记录设备103。该装置的分析方面涉及转换器104和计算器105，转换器104用于转换由用于VR环境立体声再现的环境立体声麦克风101拾取的声音，计算器105用于计算声强。

图2是根据示例性实施方式的环境立体声麦克风101的麦克风部分的示例性前视图。存在四个麦克风舱111、112、113、114，其中麦克风从规则四面体的每个面面向外。通过由转换器104产生由四个麦克风舱(111至114)拾取的信号的球面调和函数，环绕声再现或环境立体声是可能的。

为了使用本文中描述的麦克风装置，示例性实施方式还涉及用于根据上述的环境立体声麦克风101的信号来计算声强并根据该计算进行噪声源定位的系统和方法。具体地，示例性实施方式涉及用于计算声强的算子105的两种方法，直接法和互谱法。可以根据期望的实施方式来利用任一方法。

在第一个实施方式中，利用直接法计算声强，如下所述。

图3示出根据示例性实施方式的麦克风舱(111至114)和坐标轴的示例性布置。每个麦克风舱(111至114)布置在规则四面体的顶点处。规则四面体的重心G是声学中心，并且x、y和z轴坐标如图3所示地以声学中心为原点进行定义。

首先，由每个麦克风测量声学中心处的声压p0(t)，并将其作为声压p1(t)至p4(t)的平均值给出。

当使用p0(t)时，如果声波近似为从声学中心到每个麦克风的距离Δr处的平面波，则从声学中心到每个麦克风的方向上的粒子速度ui(t)可以通过以下等式获得。

其中，ρ是传播介质的密度。

另一方面，考虑到四面体的几何条件，在x轴、y轴和z轴方向上，粒子速度ui(t)与粒子速度分量ux(t)、uy(t)、uz(t)之间存在以下关系。

u4(t)＝-uz(t) (等式6)

从这些等式(等式3至6)中，推导出x、y、z轴方向上的粒子速度分量如下。

声强可由声压与粒子速度乘积的时间平均值求得。换句话说，根据等式1、2和等式7至9，可以通过利用四个麦克风舱(111至114)测量声压来测量三维声强。由于可以在实时处理中利用所描述的方法，所以可以在观看现场等处的显示的同时执行测量。

在第二示例性实施方式中，利用互谱法测量三维声强，具体如下。在该方法中，在频域中显示(等式2)，并且通过经处理的以下等式来近似地计算声强I(x)。

其中，G₁₂(x,ω)是由两个麦克风测量的声压p1(t)和p2(t)的互谱函数，Im{}是虚部。换句话说，由两个麦克风测量的声压的交叉谱的虚部是傅里叶逆变换。由于从声压的傅里叶变换获得交叉谱，因此该方法可以由此校正每个麦克风的灵敏度和相位特性的差异。

从上述示例性实施方式中，可以使用环境立体声麦克风101来计算声强，并且在所有方向上搜索噪声源定位。因此，示例性实施方式使得可以通过使用环境立体声麦克风101同时执行环绕声再现和噪声源定位。

图4示出了根据示例性实施方式的涉及全向图像的示例性系统。如图4所示，可以使用全向图像可视地执行噪声源定位。而且，只要环境立体声麦克风101可以同时进行测量，四个麦克风可以是分开的，但是麦克风的顶点位置应当在规则四面体上，以便于本文描述的示例性实现。然而，根据所需的实施方式，可利用除四面体之外的其它形状，只要可基于麦克风阵列内的两个麦克风之间进行的测量来计算声强即可。在这些实施方式中，应根据所使用的形状来调整本文中所描述的等式以测量两个麦克风之间的声强。

此外，根据期望的实施方式，多个麦克风阵列可以与多个相机一起使用。在示例性实施方式中，可以在建筑物中的每个房间中设置系统的多个实例并且将其用作监视系统，其中可以根据期望的实施方式来切换实例之间的音频和视频馈源。

图5示出了根据示例性实施方式的设备的示例性流程图。在501，如图1和图4所示的系统通过麦克风阵列记录声音，通过360度相机记录视频。在502，根据(例如)相对于本文所提供的等式所描述的实施方式来计算麦克风阵列的麦克风之间的三维声强。在503，开发麦克风信号的球面调和函数，并且创建用于环绕声再现的声音。在504，将环绕声覆盖到视频馈源上，其中，可以相对于从视频馈源以适当的三维声强显示的视点来播放环绕声。从这样的示例性实施方式中，用户可以以360度的方式在界面上导航视频馈源，然后相对于视频馈源在界面上识别和定位声源。在示例性实施方式中，音频可以覆盖在视频馈源上，其中视频馈源上的热图指示符基于所计算的声强来指示音频源的位置。例如，在要测量的对象处于稳定状态的情况下，全向画面可以用作全向视频的替代。

图6示出了具有适于在示例性实施方式中使用的示例性计算机设备(诸如在图1和图4的系统中示出的录音设备或装置)的示例性计算环境。计算环境600中的计算机设备605可以包括一个或多个处理单元、核或处理器610、存储器615(例如，RAM、ROM等)、内部存储器620(例如，磁、光、固态存储器和/或有机存储器)和/或I/O接口625，它们中的任何一个可以耦接在通信机制或总线630上以用于通信信息或嵌入计算机设备605中。

计算机设备605可以通信地耦接到输入/用户接口635和输出设备/接口640。输入/用户接口635和输出设备/接口640中的任何一个或两者可以是有线或无线接口，并且可以是可拆卸的。输入/用户接口635可包括可用于提供输入的任何物理的或虚拟的设备、组件、传感器或接口(例如，按钮、触摸屏接口、键盘、指向/光标控制、麦克风、相机、盲文、运动传感器、光学读取器等)。输出设备/接口640可以包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例性实现中，输入/用户接口635和输出设备/接口640可以嵌入或物理耦接到计算机设备605。在其他示例性实现中，其他计算机设备可以用作或提供计算机设备605的输入/用户接口635和输出设备/接口640的功能。在涉及触摸屏显示器、电视显示器或任何其它形式的显示器的示例性实施方式中，显示器被配置成提供用户界面。

计算机设备605的示例可以包括但不限于高度移动的设备(例如，智能手机、车辆和其他机器中的设备、由人和动物携带的设备等)、移动设备(例如，平板电脑、笔记本、膝上型电脑、个人计算机、便携式电视、无线电等)、以及未被设计用于移动性的设备(例如，台式计算机、其他计算机、信息亭、其中嵌入有和/或耦接有一个或多个处理器的电视、无线电等)。

计算机设备605可以通信地耦接(例如，经由I/O接口625)到外部存储器645和网络650，用于与包括相同或不同配置的一个或多个计算机设备在内的任何数量的联网组件、设备和系统进行通信。计算机设备605或任何连接的计算机设备可以用作、提供服务器、客户端、精简型服务器、通用机器、专用机器或另一标签的服务或被称为服务器、客户端、精简型服务器、通用机器、专用机器或另一标签。

I/O接口625可以包括但不限于使用任何通信或I/O协议或标准(例如，以太网802.11x、通用系统总线、WiMax、调制解调器、蜂窝网络协议等)的有线和/或无线接口，用于向计算环境600中的至少所有连接的组件、设备和网络传送信息和/或从计算环境600中的至少所有连接的组件、设备和网络传送信息。网络650可以是任何网络或网络的组合(例如，因特网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)。

计算机设备605可以使用计算机可用或计算机可读介质(包括暂时介质和非暂时介质)来使用和/或通信。暂时介质包括传输介质(例如，金属电缆、光纤)、信号、载波等。非暂时介质包括磁介质(例如，盘和带)、光学介质(例如，CD ROM、数字视频盘、蓝光盘)、固态介质(例如，RAM、ROM、闪存、固态存储器)和其他非易失性存储装置或存储器。

在一些示例性计算环境中，计算机设备605可用于实现技术、方法、应用、过程或计算机可执行指令。计算机可执行指令可以从暂时介质中检索，并存储在非暂时介质上和从非暂时介质中检索。可执行指令可以源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript等)中的一种或多种。

处理器610可以在本地或虚拟环境中的任何操作系统(OS)(未示出)下执行。可以部署一个或多个应用，其包括逻辑单元660、应用编程接口(API)单元665、输入单元670、输出单元675和单元间通信机制695，用于不同单元彼此通信、与OS通信以及与其他应用(未示出)通信。所描述的单元和元件可以在设计、功能、配置或实现上变化，并且不限于所提供的描述。处理器610可以是配置成执行从存储器615加载的指令的物理处理器或中央处理单元(CPU)的形式。

在一些示例性实现中，当API单元665接收到信息或执行指令时，可以将其传送到一个或多个其他单元(例如，逻辑单元660、输入单元670、输出单元675)。在一些实例中，在上文所描述的一些示例性实现中，逻辑单元660可用于控制单元之间的信息流并且引导由API单元665、输入单元670、输出单元675提供的服务。例如，一个或多个过程或实现的流可由逻辑单元660单独地或结合API单元665来控制。输入单元670可用于获得用于示例性实现中所描述的计算的输入，并且输出单元675可用于基于示例性实现中所描述的计算来提供输出。

处理器610可以用于执行图5的流程，以便于如图1和图4所示的系统的功能性。这种系统可涉及麦克风阵列，该麦克风阵列涉及以如图2和图3中所示的三维形状沿相对于彼此的位置布置的至少四个麦克风，以及一个360度相机。

在示例性实施方式中，处理器610可被配置成针对通过麦克风阵列接收的音频，计算麦克风阵列的至少四个麦克风中的至少两个之间的三维声强；并且利用三维声强相对于如图5中所示的且如相对于图1至图5所描述的视频馈源的显示视图将音频覆盖到360度相机的视频馈送上。

如图3中所示，三维形状布置可以是规则四面体。

如图3和图4中所示并且关于其对应描述，处理器610可用于通过基于由所述至少四个麦克风中的所述至少两个麦克风测量的声压的交叉频谱的傅里叶逆变换来计算所述三维声强来计算所述麦克风阵列的所述至少四个麦克风中的所述至少两个麦克风之间的三维声强。

如图1和图2中所示且关于其对应描述，处理器610可用于通过以下方式来计算麦克风阵列的所述至少四个麦克风中的所述至少两个麦克风之间的三维声强：计算麦克风阵列的声学中心的声压；导出麦克风阵列的所述至少四个麦克风中的每一个与所述声学中心之间的粒子速度；以及基于所述麦克风阵列的所述至少四个麦克风中的所述每一个与所述声学中心之间的导出速度，根据沿x轴、y轴和z轴的粒子速度计算来计算三维声强。

根据所需的实施方式，麦克风阵列可以是由如图2中所示的四个麦克风组成的环境立体声麦克风。

处理器610还可以用于通过视频馈源上的三维声强的热图表示，利用三维声强相对于视频馈源的显示视图将音频覆盖到360度相机的视频馈送上。取决于期望的实现方式，热图可以是基于所计算的声强的颜色强度(例如，黄色到红色)或灰度级强度的形式，其可以在视频馈源上设置关于声音的位置源的指示符。可根据所需的实施方式利用其它热图表示，并且本公开不限于任何特定热图表示。

详细描述的一些部分是根据计算机内的运算的算法和符号表示来呈现的。这些算法描述和符号表示是数据处理领域的技术人员用来向本领域的其他技术人员传达其创新的本质的手段。算法是导致期望的结束状态或结果的一系列定义的步骤。在示例性实现中，所执行的步骤需要有形量的物理操纵以实现有形结果。

除非另有特别说明，从论述中显而易见的，可以理解的是在整个说明书中，利用诸如“处理”、“计算”、“计算”、“确定”、“显示”等的术语的论述可以包括计算机系统或其他信息处理设备的动作和处理，该计算机系统或其他信息处理设备进行操纵并将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据转换成类似地表示为计算机系统的存储器或寄存器或其他信息存储、传输或显示设备内的物理量的其他数据。

示例性实施方式还可以涉及用于执行本文中的操作的装置。该装置可以为所需目的专门构造，或者其可以包括由一个或更多个计算机程序选择性地激活或重新配置的一个或更多个通用计算机。这样的计算机程序可以存储在计算机可读介质中，诸如计算机可读存储介质或计算机可读信号介质。计算机可读存储介质可以包括有形介质，诸如但不限于光盘、磁盘、只读存储器、随机存取存储器、固态设备和驱动器、或适于存储电子信息的任何其他类型的有形或非暂时性介质。计算机可读信号介质可以包括诸如载波的介质。本文中呈现的算法和显示器并非固有地与任何特定计算机或其他装置相关。计算机程序可以涉及纯软件实现，其涉及执行期望实现的操作的指令。

根据本文的示例，各种通用系统可以与程序和模块一起使用，或者可以证明构造更专用的装置来执行期望的方法步骤是方便的。另外，不参考任何特定编程语言来描述示例性实现。应当理解，可以使用各种编程语言来实现本文中描述的示例性实现的教导。编程语言的指令可由一个或更多个处理装置(例如，中央处理单元(CPU)、处理器或控制器)来执行。

如本领域已知的，上述操作可以通过硬件、软件或软件和硬件的某些组合来执行。示例性实现的各个方面可以使用电路和逻辑设备(硬件)来实现，而其他方面可以使用存储在机器可读介质(软件)上的指令来实现，这些指令如果由处理器执行，则将使得处理器执行用于执行本申请的实现的方法。此外，本申请的一些示例性实施可仅在硬件中执行，而其他示例性实施可仅在软件中执行。此外，所描述的各种功能可以在单个单元中执行，或者可以以任何数量的方式分布在多个组件上。当由软件执行时，基于存储在计算机可读介质上的指令由处理器(诸如通用计算机)来执行方法。如果需要，指令可以以压缩和/或加密的格式存储在介质上。

此外，通过考虑本申请的说明书和教导的实践，本申请的其他实现对于本领域技术人员而言将是显而易见的。所描述的示例性实现的各个方面和/或组件可以单独使用或以任何组合使用。希望说明书和示例性实现仅被认为是示例，本申请的真实范围和精神由所附权利要求来指示。