具体实施方式

图1是示意地表示构成空间的室62的透视斜视图。图2是表示声场辅助系统1的结构的框图。

室62构成大致长方体形状的空间。音源65存在于室62中的前方的舞台60上。室62的后方相当于听众就坐的观众席。音源65是例如声音、歌唱音、原声乐器、电乐器或电子乐器等。

此外，室62的形状及音源的配置等不限定于图1的例子。本发明的音信号处理方法及音信号处理装置无论针对何种形状的空间都能够提供希望的声场，能够实现比以往更丰富的音像及空间的扩展。

声场辅助系统1在室62内具有指向性传声器11A、指向性传声器11B、指向性传声器11C、无指向性传声器12A、无指向性传声器12B、无指向性传声器12C、扬声器51A～扬声器51J、扬声器61A～扬声器61F。

扬声器51A～扬声器51J设定于壁面。扬声器51A～扬声器51J是指向性较高的扬声器，主要朝向观众席输出音。扬声器51A～扬声器51J输出再现了初始反射音的初始反射音控制信号。另外，扬声器51A～扬声器51J输出再现了音源的直接音的直接音控制信号。

扬声器61A～扬声器61F设置于天花板。扬声器61A～扬声器61F是指向性较低的扬声器，向室62的整体输出音。扬声器61A～扬声器61F输出再现了回响音的回响音控制信号。另外，扬声器61A～扬声器61F输出再现了音源的直接音的直接音控制信号。此外，扬声器的数量不限定于图1所示的数量。

指向性传声器11A、指向性传声器11B及指向性传声器11C主要对舞台上的音源65的音进行拾音。但是，如图2所示，音源65的音也可以线路输入(line input)。线路输入是指不是通过传声器对从乐器等音源输出的音进行拾音而输入，而是从与音源连接的音频线缆等输入音信号。或者，音源65的音也可以是将讲话人或歌唱者等表演者的音声或歌唱音从手持式传声器、支架式传声器、针式传声器等输入。音源的音优选以高SN比进行拾音。

无指向性传声器12A、无指向性传声器12B及无指向性传声器12C设置于天花板。无指向性传声器12A、无指向性传声器12B及无指向性传声器12C对包含音源65的直接音及室62内的反射音等在内的室62内的整体的音进行拾音。图1所示的指向性传声器及无指向性传声器的数量分别为3个。但是，传声器的数量不限于图1所示的例子。另外，传声器及扬声器的设置位置不限于图1所示的例子。

在图2中，在图1所示的结构的基础上，声场辅助系统1还具有音信号处理部10和存储器31。音信号处理部10主要由CPU及DSP(Digital Signal Processor)构成。音信号处理部10在功能方面具有音信号取得部21、增益调整部22、混频器23、声像(panning)处理部23D、FIR(Finite Impulse Response)滤波器24A、FIR滤波器24B、电平设定部25A、电平设定部25B、输出信号生成部26、输出部27、延迟调整部28、位置信息取得部29、脉冲响应取得部151及电平平衡调整部152。音信号处理部10是本发明的音信号处理装置的一个例子。

构成音信号处理部10的CPU读取在存储器31存储的动作用程序，对各结构进行控制。CPU通过该动作用程序而在功能方面构成位置信息取得部29、脉冲响应取得部151及电平平衡调整部152。此外，动作用程序无需存储于存储器31。CPU例如也可以每次从未图示的服务器下载动作用程序。

图3是表示音信号处理部10的动作的流程图。首先，音信号取得部21取得音信号(S11)。音信号取得部21从指向性传声器11A、指向性传声器11B、指向性传声器11C、无指向性传声器12A、无指向性传声器12B及无指向性传声器12C取得音信号。或者，音信号取得部21也可以从电乐器或电子乐器等对音信号进行线路输入。另外，音信号取得部21也可以从直接设置于针式传声器等乐器或表演者的传声器输入音信号。音信号取得部21在取得了模拟信号的情况下将该模拟信号变换为数字信号而输出。

增益调整部22对由音信号取得部21取得的音信号的增益进行调整。增益调整部22例如将与音源65靠近的位置的指向性传声器的增益设定得高。此外，增益调整部22在本发明中不是必须的结构。

混频器23对由增益调整部22进行了增益调整的音信号进行混频。另外，混频器23将混频后的音信号分配至多个信号处理系统。

混频器23将分配的音信号输出至声像处理部23D、FIR滤波器24A及FIR滤波器24B。

例如，混频器23将从指向性传声器11A、指向性传声器11B及指向性传声器11C取得的音信号与扬声器51A～扬声器51J相匹配地分配至10个信号处理系统。或者，混频器23也可以将线路输入的音信号与扬声器51A～扬声器51J相匹配地分配至10个信号处理系统。

另外，混频器23将从无指向性传声器12A、无指向性传声器12B、及无指向性传声器12C取得的音信号与扬声器61A～扬声器61F相匹配地分配至6个信号处理系统。

混频器23将在10个信号处理系统进行了混频的音信号分别输出至声像处理部23D及FIR滤波器24A。另外，混频器23将在6个信号处理系统进行了混频的音信号输出至FIR滤波器24B。

下面，向FIR滤波器24B进行输出的6个信号处理系统称为第1系统或回响音系统，向FIR滤波器24A输出的10个信号处理系统称为第2系统或初始反射音系统。另外，向声像处理部23D输出的10个信号处理系统称为第3系统或直接音系统。FIR滤波器24A对应于初始反射音控制信号生成部，FIR滤波器24B对应于回响音控制信号生成部。声像处理部23D对应于直接音控制信号生成部。

此外，分配的方式不限于上述例子。例如，从无指向性传声器12A、无指向性传声器12B及无指向性传声器12C取得的音信号可以分配至直接音系统或初始反射音系统。另外，也可以将线路输入的音信号分配至回响音系统。另外，也可以将线路输入的音信号和从无指向性传声器12A、无指向性传声器12B及无指向性传声器12C取得的音信号进行混频而分配至直接音系统或初始反射音系统。

此外，混频器23也可以具有EMR(Electronic Microphone Rotator)的功能。EMR是通过使被固定的传声器和扬声器之间的传递函数在时间上发生变化，从而将反馈控环路的频率特性平坦化的方法。EMR是时时刻刻对传声器和信号处理系统的连接关系进行切换的功能。混频器23以对从指向性传声器11A、指向性传声器11B及指向性传声器11C取得的音信号的输出目标进行切换的方式向声像处理部23D及FIR滤波器24A输出。或者，混频器23以对从无指向性传声器12A、无指向性传声器12B及无指向性传声器12C取得的音信号的输出目标进行切换的方式向FIR滤波器24B输出。由此，混频器23能够将室62中从扬声器到达传声器的音响反馈系统的频率特性平坦化。另外，混频器23能够确保针对啸声(howling)的稳定性。

接着，声像处理部23D根据音源65的位置对直接音系统的各个音信号的音量进行控制(S12)。由此，声像处理部23D生成直接音控制信号。

图4是示意地表示室62、扬声器51A～扬声器51J及音源65的关系的平面图。在图4的例子中，音源65朝向观众席而位于舞台的右侧的场所。声像处理部23D对直接音系统的各个音信号的音量进行控制，以使得音像定位于音源65的位置。

声像处理部23D从位置信息取得部29取得音源65的位置信息。位置信息是表示以室62的某个位置为基准的2维或3维的坐标的信息。音源65的位置信息例如能够通过对Bluetooth(注册商标)等电波进行收发的信标及标签而取得。在室62预先设置至少3个信标。音源65具有标签。即，在表演者或乐器安装标签。各信标针对标签而收发电波。各信标基于从发送电波起至接收到为止的时间差，对与标签的距离进行测量。位置信息取得部29如果预先取得信标的位置信息，则能够分别对至少3个信标至标签为止的距离进行测定而唯一地求出标签的位置。

位置信息取得部29通过取得以上述方式测定出的标签的位置信息而取得音源65的位置信息。另外，位置信息取得部29预先取得扬声器51A～扬声器51J及扬声器61A～扬声器61F各自的位置信息。

声像处理部23D基于所取得的位置信息及扬声器51A～扬声器51J及扬声器61A～扬声器61F的位置信息，以使得音像定位于音源65的位置的方式对输出至扬声器51A～扬声器51J、及扬声器61A～扬声器61F的各个音信号的音量进行控制，由此生成直接音控制信号。

声像处理部23D根据音源65和扬声器51A～扬声器51J及扬声器61A～扬声器61F的各个扬声器之间的距离，对音量进行控制。例如，声像处理部23D使向与音源65的位置靠近的扬声器输出的音信号的音量增大，使向远离音源65的位置的扬声器输出的音信号的音量减小。由此，声像处理部23D能够使音源65的音像定位于规定的位置。例如，在图4的例子中，声像处理部23D使向与音源65靠近的3个扬声器51F、51G及51H输出的音信号的音量增大，使其他扬声器的音量减小。由此，音源65的音像朝向观众席而定位于舞台的右侧。

假设如果音源65移动至舞台的左侧，则声像处理部23D基于移动后的音源65的位置信息，对向扬声器51A～扬声器51J、扬声器61A～扬声器61F输出的各个音信号的音量进行变更。例如，声像处理部23D使向扬声器51A、51B及51F输出的音信号的音量增大，使其他扬声器的音量减小。由此，音源65的音像朝向观众席而定位于舞台的左侧。

如以上这样，音信号处理部10通过混频器23及声像处理部23D而实现本发明的分配处理部。

接着，FIR滤波器24A及FIR滤波器24B进行间接音生成处理(S13)。间接音生成处理是分别个别地生成再现了初始反射音的初始反射音控制信号及再现了回响音的回响音控制信号的处理。FIR滤波器24A及FIR滤波器24B对应于本发明的间接音生成部。

首先，脉冲响应取得部151分别设定FIR滤波器24A及FIR滤波器24B的滤波器系数。这里，对在滤波器系数中设定的脉冲响应数据进行说明。图5(A)是表示在滤波器系数使用的脉冲响应的时间波形的音种类的分类例的示意图，图5(B)是表示在FIR滤波器24A中设定的滤波器系数的时间波形的示意图。图6(A)、图6(B)是表示在FIR滤波器24B中设定的滤波器系数的时间波形的示意图。

如图5(A)所示，脉冲响应能够区分为在时间轴上排列的直接音、初始反射音及回响音。而且，在FIR滤波器24A中设定的滤波器系数如图5(B)所示，通过脉冲响应的除去了直接音及回响音后的初始反射音的部分而进行设定。在FIR滤波器24B中设定的滤波器系数如图6(A)所示，通过脉冲响应的除去了直接音及初始反射音后的回响音而进行设定。此外，FIR滤波器24B也可以如图6(B)所示，通过脉冲响应的除去了直接音后的初始反射音和回响音而进行设定。

脉冲响应的数据存储于存储器31。脉冲响应取得部151从存储器31取得脉冲响应的数据。但是，脉冲响应的数据不需要存储于存储器31。脉冲响应取得部151也可以每次从例如未图示的服务器等下载脉冲响应的数据。

脉冲响应取得部151也可以预先取得仅剪切出初始反射音的脉冲响应的数据而设定于FIR滤波器24A。或者，脉冲响应取得部151也可以取得包含有直接音、初始反射音及回响音的脉冲响应的数据，仅剪切出初始反射音而设定于FIR滤波器24A。同样地，脉冲响应取得部151在仅使用回响音的情况下，预先取得仅剪切出回响音的脉冲响应的数据而设定于FIR滤波器24B。或者，脉冲响应取得部151也可以取得包含有直接音、初始反射音及回响音的脉冲响应的数据，仅剪切出回响音而设定于FIR滤波器24B。

图7是示意地表示空间620和室62之间的关系的平面图。如图7所示，脉冲响应的数据在成为再现声场的对象的音乐厅或教会等规定的空间620预先进行测定。例如，脉冲响应的数据是通过在音源65的位置处发出测试音(脉冲音)并由传声器进行拾音而测定的。

脉冲响应的数据也可以在空间620的任意位置处取得。但是，初始反射音的脉冲响应的数据优选使用在壁面的附近设置的指向性传声器而进行测定。初始反射音是到来方向的明确的反射音。因此，脉冲响应的数据通过在壁面附近设置的指向性传声器进行测定，由此能够致密地取得对象的空间的反射音数据。另一方面，回响音是音的到来方向不确定的反射音。因此，回响音的脉冲响应的数据可以通过在上述壁面的附近设置的指向性传声器进行测定，也可以使用与初始反射音不同的其他无指向性传声器进行测定。

FIR滤波器24A向第2系统的10个音信号分别卷积不同的脉冲响应的数据。此外，在存在多个信号处理系统的情况下，FIR滤波器24A及FIR滤波器24B可以针对每个信号处理系统进行设置。例如，FIR滤波器24A也可以具有10个。

如上述那样，在使用在壁面的附近设置的指向性传声器的情况下，脉冲响应的数据由针对每个信号处理系统分别设置的指向性传声器进行测定。例如，如图7所示，针对与朝向舞台60而在右后方设置的扬声器51J相对应的信号处理系统，由朝向舞台60而在右后方的壁面的附近设置的指向性传声器510测定脉冲响应的数据。

FIR滤波器24A向第2系统的各个音信号卷积脉冲响应的数据。FIR滤波器24B向第1系统的各个音信号卷积脉冲响应的数据。

FIR滤波器24A通过向所输入的音信号卷积所设定的初始反射音的脉冲响应的数据，从而生成再现了规定的空间的初始反射音的初始反射音控制信号。FIR滤波器24B通过向所输入的音信号卷积所设定的回响音的脉冲响应的数据，从而生成再现了规定的空间的回响音的回响音控制信号。

电平设定部25A进行初始反射音控制信号的电平调整。电平设定部25B进行回响音控制信号的电平调整。电平平衡调整部152对声像处理部23D、电平设定部25A及电平设定部25B的电平调整量进行设定。电平平衡调整部152参照直接音控制信号、初始反射音控制信号及回响音控制信号各自的电平，调整这些信号的电平平衡。例如，电平平衡调整部152对直接音控制信号中的从时间上来讲最后的电平和初始反射音控制信号中的从时间上来讲最初的成分的电平平衡进行调整。另外，电平平衡调整部152对初始反射音控制信号中的从时间上来讲最后的成分的电平和回响音控制信号中的从时间上来讲最初的成分的电平的平衡进行调整。或者，电平平衡调整部152也可以对初始反射音控制信号中的从时间上来讲成为后半部分的多个成分的功率和回响音控制信号中的从时间上来讲成为前半部分的成分的功率的平衡进行调整。由此，电平平衡调整部152能够单独地对直接音控制信号、初始反射音控制信号及回响音控制信号的音进行控制，与应用的空间相匹配地控制为适当的平衡。

延迟调整部28根据任意的传声器和多个扬声器之间的距离对延迟时间进行调整。例如，延迟调整部28在多个扬声器中指向性传声器11B和扬声器之间的距离越短，将延迟时间设定得越小。或者，延迟调整部28根据再现声场的空间620中的测定脉冲响应的音源和传声器的位置，对延迟时间进行调整。例如，在FIR滤波器24A中，在对扬声器51J卷积由设置于空间620内的指向性传声器510J测定出的脉冲响应数据的情况下，在延迟调整部28中的扬声器51J的延迟时间设定与空间620的指向性传声器510J和音源65之间的距离相当的延迟时间。由此，初始反射音控制信号及回响音控制信号与直接音控制信号相比延迟地到达听众，实现清晰的音像定位和丰富的空间的扩展。

此外，音信号处理部10优选不对直接音控制信号进行延迟调整。假设如果在通过延迟调整对音像定位进行控制的情况下，音源65的位置在短时间内大幅地变化，则在从多个扬声器输出的音彼此会引起相位干涉。音信号处理部10不对直接音控制信号进行延迟调整，由此即使在音源65的位置在短时间大幅地发生了变化的情况下，也不会引起相位干涉而能够维持音源65的音色。

接着，输出信号生成部26对直接音控制信号、初始反射音控制信号及回响音控制信号进行混频，生成输出信号(S14)。此外，输出信号生成部26也可以在混频时进行各信号的增益调整及频率特性的调整等。

输出部27将从输出信号生成部26输出的输出信号变换为模拟信号。另外，输出部27将模拟信号放大。输出部27将放大后的模拟信号输出至相对应的扬声器(S15)。

根据以上结构，音信号处理部10取得音信号，对该音信号的音量进行控制而分配给多个，根据该音信号而分别生成直接音控制信号、初始反射音控制信号及回响音控制信号，对所分配的音信号、直接音控制信号、初始反射音控制信号及回响音控制信号进行混频，生成输出信号。由此，音信号处理部10能够实现比以往更清晰的音像定位和丰富的空间的扩展。

特别是，音信号处理部10基于音源的位置信息对向多个扬声器分配的音信号的音量进行控制而实现音源的定位，因此能够不依赖于扬声器的数量及配置等再生环境而实时地使清晰的音像在较大范围均匀地进行定位。

另外，在直接音控制信号的基础上，音信号处理部10还将初始反射音控制信号及回响音控制信号从多个扬声器输出。由此，在直接音控制信号的基础上，观众还会听到初始反射音控制信号及回响音控制信号。因而，观众不会仅偏重关注输出直接音控制信号的特定的扬声器。因此，即使在扬声器的数量少、扬声器间的距离大的情况下，也不会仅对特定的扬声器定位音像。

此外，无指向性传声器12A、无指向性传声器12B及无指向性传声器12C对包含音源65的直接音及室62内的反射音等在内的室62内的整体的音进行拾音。因此，音信号处理部10如果使用由无指向性传声器12A、无指向性传声器12B及无指向性传声器12C取得的音信号，生成回响音控制信号，则舞台的音和观众席的音都再现相同回响。因而，例如，无论表演者的音还是观众的拍手的音都再现相同回响，观众能够感受一体感。

另外，初始反射音与在空间内多重反射的回响音相比，反射次数少。因此，初始反射音的能量高于回响音的能量。因此，输出初始反射音控制信号的扬声器能够通过提高每1个的电平而提高初始反射音所具有的带主观印象的效果，能够提高初始反射音的控制性。

另外，输出初始反射音控制信号的扬声器能够通过减少个数而抑制过剩的扩散音能量的上升。即，能够抑制因初始反射音控制信号引起的室内的回响延长，能够提高初始反射音的控制性。

输出直接音控制信号及初始反射音控制信号的扬声器设置于靠近观众的位置即室内的侧方，由此能够易于控制为将直接音及初始反射音传递给观众，提高初始反射音的控制性。另外，输出回响音控制信号的扬声器设置于室内的天花板，由此能够抑制因观众的位置引起的回响音的差异。

本实施方式的说明在所有方面都是例示，且并不是限制性的内容。本发明的范围不是由上述的实施方式而是由权利要求书表示。并且，本发明的范围包含与权利要求书等同的含义以及范围内的全部变更。

标号的说明

1…声场辅助系统

10…音信号处理部

11A、11B、11C…指向性传声器

12A、12B、12C…无指向性传声器

21…音信号取得部

22…增益调整部

23…混频器

23D…声像处理部

24A、24B…FIR滤波器

25A、25B…电平设定部

26…输出信号生成部

27…输出部

28…延迟调整部

29…位置信息取得部

31…存储器

51A～51J…扬声器

60…舞台

61A～61F…扬声器

62…室

65…音源

151…脉冲响应取得部

152…电平平衡调整部

510J…指向性传声器

620…空间