阅读说明：本技术 声音信号的能量分布修正方法及其系统 (Energy distribution correction method and system for sound signal ) 是由 杜博仁 张嘉仁 曾凯盟 于 2019-02-25 设计创作，主要内容包括：本发明提供一种声音信号的能量分布修正方法及其系统,此方法适用于具有动作传感器、左扬声器及右扬声器的头戴装置,并且包括下列步骤。利用动作传感器检测头戴装置的转动角度,并且取得对应于左扬声器及右扬声器的双声道信号。将双声道信号转换成声道数量大于或等于5的多声道信号。定义左扬声器及右扬声器的四轴声源位置,以将多声道信号转换至左扬声器的四声道信号及右扬声器的四声道信号。根据转动角度以及四轴声源位置,修正左扬声器及右扬声器的四声道信号的能量分布,以分别产生对应于左扬声器及右扬声器的左输出信号及右输出信号。(The invention provides a method and a system for correcting energy distribution of a sound signal, wherein the method is suitable for a head-mounted device with a motion sensor, a left loudspeaker and a right loudspeaker and comprises the following steps. The rotation angle of the head-mounted device is detected by the motion sensor, and binaural signals corresponding to the left speaker and the right speaker are acquired. The two-channel signal is converted into a multi-channel signal having a number of channels greater than or equal to 5. Four-axis sound source positions of the left loudspeaker and the right loudspeaker are defined so as to convert the multi-channel signals into four-channel signals of the left loudspeaker and four-channel signals of the right loudspeaker. And correcting the energy distribution of the four-channel signals of the left loudspeaker and the right loudspeaker according to the rotation angle and the positions of the four-axis sound sources so as to respectively generate a left output signal and a right output signal corresponding to the left loudspeaker and the right loudspeaker.)

声音信号的能量分布修正方法及其系统

技术领域

本发明涉及一种声音信号的能量分布修正方法及其系统。

背景技术

虚拟实境(virtual reality，VR)创造出具有真实影音以及其它感官上的拟真世界，以复制出真实环境或虚构场景。使用者得以融入、探索以及操控虚拟实境环境而感觉仿佛身历其境。然而，一般市面上的VR头戴装置的屏幕画面随着使用者的移动而旋转时，耳机的声音信号并没有同步改变，而将造成使用者的头部移动与声音信号的能量分布无法达到良好的匹配。

发明内容

本发明提供一种声音信号的能量分布修正方法及其系统，其可让使用者的头部移动与声音信号的能量分布达到良好的匹配。

在本发明的一实施例中，上述的方法适用于具有动作传感器、左扬声器以及右扬声器的头戴装置，并且包括下列步骤。利用动作传感器检测头戴装置的转动角度，并且取得对应于左扬声器以及右扬声器的双声道信号。将双声道信号转换至多声道信号，其中多声道信号的声道数量大于或是等于5。定义左扬声器以及右扬声器的四轴声源位置，以将多声道信号转换至左扬声器的四声道信号以及右扬声器的四声道信号。根据转动角度以及四轴声源位置，修正左扬声器以及右扬声器的四声道信号的能量分布，以分别产生对应于左扬声器的左输出信号以及对应于右扬声器的右输出信号。

在本发明的一实施例中，上述的系统包括头戴装置以及处理装置。头戴装置包括动作传感器、左扬声器以及右扬声器。处理装置用以利用动作传感器检测头戴装置的转动角度，取得对应于左扬声器以及右扬声器的双声道信号，将双声道信号转换至声道数量大于或是等于5多声道信号，定义左扬声器以及右扬声器的四轴声源位置，以将多声道信号转换至左扬声器的四声道信号以及右扬声器的四声道信号，以及根据转动角度以及四轴声源位置，修正左扬声器以及右扬声器的四声道信号的能量分布，以分别产生对应于左扬声器的左输出信号以及对应于右扬声器的右输出信号。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为一般立体声场的五声道信号的示意图；

图2为根据本发明一实施例所示出的声音信号的能量分布修正系统的方块图；

图3为根据本发明一实施例所示出的声音信号的能量分布修正方法的流程图；

图4A以及图4B分别为根据本发明一实施例所示出的左扬声器以及右扬声器的四轴声源位置与信号的示意图；

图5A以及图5B分别为根据本发明一实施例所示出的左扬声器以及右扬声器的增益曲线的示意图。

附图标记说明

200：系统

210：头戴装置

212：左扬声器

214：右扬声器

216：动作传感器

220：处理装置

S302～S312：步骤

e_L：左声道信号

e_R：右声道信号

P11～P15、P41_L～P44_L、P41_R～P44_R、P51_L～P54_L、P51_R～P54_R：声源位置

θ_SL、θ_L、θ_C、θ_R、θ_SR：角度

θ：旋转角度

s_L：左声道信号

s_C：中央声道信号

s_R：右声道信号

左环绕信号

右环绕信号

G_L：左增益曲线

G_R：右增益曲线

增益值

具体实施方式

一般立体声场是先以双声道信号设计出新位置的五声道信号，并且通过每个新声道与旧声道的相对位置关系，利用两耳间强度差(interaural intensity difference，IID)的技术，合成新五声道信号，最后再将五声道信号转成双声道信号输出。以图1根据所示出立体声场的五声道信号的示意图为例，双声道信号e_L、e_R将合成出对应于声源位置P11、P12、P13、P14、P15(或是对应于角度θ_SL、θ_L、θ_C、θ_R、θ_SR)的五声道信号s_L、s_C、s_R、

然而，此是在假设使用者面向正前方时(即，θ＝0)的最佳设定，因此当θ＝0时，左右声道信号的能量分布将与原始信号一致。当使用者于原地往后旋转时(即，θ＝180°)，左右声道信号的能量分布并不会仅是与原始信号左右相反，其大小数值还会更具有明显差异。基此，本发明将会动态地依据使用者头部的转动角度来修正声音信号的能量分布，以让使用者的头部移动与声音信号的能量分布达到良好的匹配。

本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的方法以及系统的范例。

图2为根据本发明一实施例所示出的声音信号的能量分布修正系统的方块图。首先图2先介绍系统的所有构件以及配置关系，详细功能将配合图3一并揭示。

请参照图2，系统200至少包括头戴装置210以及处理装置220，其中处理装置220可以是内建于头戴装置210，或者是以无线、有线、或电性连接于显示器头戴装置210。

详细来说，头戴装置210可以是具有左扬声器212、右扬声器214、动作传感器216的头戴显示器或是眼镜，其可例如实作为虚拟实境头戴装置、扩增实境头戴装置、混合实境头戴装置。左扬声器212以及右扬声器214用以播放声音信号。动作传感器216可以是加速度计(例如：重力传感器)、陀螺仪(例如：陀螺仪传感器)或任何可检测头戴装置210的线性移动、线性移动方向以及旋转移动(例如旋转角速度或旋转角度)的传感器。

处理装置220用以控制系统200的作动，其包括存储器以及处理器。存储器可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器可以例如是中央处理单元(central processing unit，CPU)、应用处理器(application processor，AP)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、声音处理器或其他类似装置、集成电路及其组合。举例而言，处理器可包括中央处理单元以及声音处理器，其中声音处理器还可包括数字信号处理器以及音效编解码器(Sound Codec)。

在本实施例中，处理装置220可以是具有运算能力并且具有处理器的运算装置，例如是文件伺服器、数据库伺服器、应用程序伺服器、工作站、个人电脑等，并且头戴装置210以及处理装置220并且通过各自的通讯接口以现有有线或是无线的方式传输信息。在另一实施例中，处理装置220可以是内建于头戴装置210而成为单一整合(all-in-one)系统。

图3为根据本发明一实施例所示出的声音信号的能量分布修正方法的流程图，而图3的方法流程可以图2的系统200来实现。

请同时参照图2以及图3，处理装置220将通过头戴装置210的动作传感器216检测头戴装置210的转动角度(步骤S302)，并且取得对应于左扬声器212以及右扬声器214的双声道信号(步骤S304)。对于固定声源来说，由于使用者在戴着头戴装置210时，抬头与低头对于声音信号的感知是相同的，而左右旋转才会具有影响。因此，在此的转动角度可以是指头戴装置210相对于水平轴向的转动，而双声道信号为一般游戏、影音所采用的具有左声音信号以及右声音信号的双声道立体声信号(stereo signal)。

接着，处理装置220会将双声道信号转换至多声道信号(步骤S306)。在本实施例中，处理装置220可以是以现有的杜比数字算法(Dolby digital algorithm)来将双声道信号转换成原始多声道信号，再来根据双声道信号的特性，针对各个原始多声道信号进行动态增益调节，以产生多声道信号。在此的多声道信号的声道数量将大于或是等于5，例如五声道信号、七声道信号等。以下将针对五声道信号来进行说明。

处理装置220将定义左扬声器212以及右扬声器214的四轴声源位置，以将多声道信号转换至左扬声器212的四声道信号以及右扬声器214的四声道信号(步骤S308)，从而将多声道信号转换成对称的四轴声源，其中左扬声器212的四轴声源将不同于右扬声器214的四轴声源。也就是说，处理装置220可以是分配多声道信号的其中四个声道信号至左扬声器212以及右扬声器214的四轴声源位置，而两个扬声器所分配到的四个声道信号将不完全相同。以五声道信号为例，左扬声器212以及右扬声器214可以是各自取消一个环绕声源。

具体来说，图4A以及图4B分别为根据本发明一实施例所示出的左扬声器212以及右扬声器214的四轴声源位置与信号的示意图。首先，假设双声道信号可以分为左声道信号e_L以及右声道信号e_R，而双声道信号可转成原始五声道信号，再依照左声道信号e_L以及右声道信号e_R的相关特性做各轴的动态增益调节，进而产生左声道信号s_L、中央声道信号s_C、右声道信号s_R、左环绕信号

以及右环绕信号

请先参照图4A，假设双声道信号可以分为左声道信号e_L以及右声道信号e_R，四轴声源位置将会设定在第一声源位置P41_L、第二声源位置P42_L、第三声源位置P43_L以及第四声源位置P44_L，其中第一声源位置P41_L与第三声源位置P43_L的连线将与第二声源位置P42_L与第四声源位置P44_L的连线相互垂直。以另一观点来说，以对应于双声道信号的左声道信号e_L的左扬声器212而言，第一声源位置P41_L、第二声源位置P42_L、第三声源位置P43_L以及第四声源位置P44_L可以是对应于0度角、90度角、180度角以及270度角的位置，其可分别以θ_L＝0°、θ_C＝90°、θ_R＝180°、θ_S＝270°来表示，而左声道信号s_L、中央声道信号s_C、右声道信号s_R以及左环绕信号将会分别分配至此四个声源位置。以左扬声器212来说，右环绕信号将会被取消。

请再参照图4B，类似地，四轴声源位置将会设定在第一声源位置P41_R、第二声源位置P42_R、第三声源位置P43_R以及第四声源位置P44_R，其中第一声源位置P41_R与第三声源位置P43_R的连线将与第二声源位置P42_R与第四声源位置P44_R的连线相互垂直。以另一观点来说，以对应于双声道信号的左声道信号e_R的左扬声器212而言，第一声源位置P41_R、第二声源位置P42_R、第三声源位置P43_R以及第四声源位置P44_R可以是对应于0度角、90度角、180度角以及270度角的位置，其可分别以θ_L＝0°、θ_C＝90°、θ_R＝180°、θ_S＝270°来表示，而左声道信号s_L、中央声道信号s_C、右声道信号s_R以及右环绕信号

将会分别分配至此四个声源位置。以右扬声器214来说，左环绕信号将会被取消。

请再回到图3，处理装置220在转换多声道信号至四声道信号后，将根据所检测到的头戴装置110的转动角度以及四轴声源位置，修正左扬声器212以及右扬声器214的四声道信号的能量分布(步骤S310)，以产生左输出信号以及右输出信号(步骤S312)。详细来说，处理装置220将会根据头戴装置110的转动角度来适应性地调整左扬声器212以及右扬声器214的能量分布，以让使用者的头部在转动时，可与声音信号的能量分布达到良好的匹配。针对左扬声器212，处理装置220将根据转动角度以及四轴声源位置，设定左扬声器212的四声道信号的左增益曲线，而针对右扬声器，处理装置220将根据转动角度以及所述四轴声源位置，设定右扬声器的四声道信号的右增益曲线，其中右增益曲线与左增益曲线不同。以五声道信号转换成四声道信号为例，左增益曲线中对应于左声道信号的增益值以及对应于左环绕信号的增益值皆大于左增益曲线中对应于中央声道信号的增益值以及对应于右环绕信号的增益值，而右增益曲线中对应于左声道信号的增益值以及对应于左环绕信号的增益值皆小于右增益曲线中对应于左声道信号的增益值以及对应于左环绕信号的增益值。之后，处理装置220将根据左增益曲线，合成左扬声器212的四声道信号，以产生左输出信号，并且根据右增益曲线，合成右扬声器214的四声道信号，以产生右输出信号。左输出信号以及右输出信号将分别以左扬声器212以及右扬声器214来输出。

在本实施例中，左增益曲线以及右增益曲线可以是分别呈现心形分布(Cardioiddistribution)，并且分别朝向不同方向。具体来说，图5A以及图5B分别为根据本发明一实施例所示出的左扬声器212以及右扬声器214的增益曲线的示意图。

请同时参照图5A以及图5B，假设头戴装置210的转动角度为θ，左扬声器212的四轴声源位置将会设定在P51_L、P52_L、P53_L、P54_L，右扬声器212的四轴声源位置将会设定在P51_R、P52_R、P53_R、P54_R。左增益曲线G_L以及右增益曲线G_R将呈现心形分布，给定

当

以及

否则，以及以对应于左扬声道212(使用者的左耳)的图5A来说，左声道信号s_L的增益值

以及左环绕信号的增益值

皆大于中央声道信号s_C的增益值以及右声道信号s_R的增益值以对应于右扬声道214(使用者的右耳)的图5B来说，右声道信号s_R的增益值以及对应于右环绕信号的增益值

皆大于对应于左声道信号s_L的增益值

以及对应于中央声道信号s_C的增益值之后，将以各个增益值来调整左声道信号s_L、中央声道信号s_C、右声道信号s_R、左环绕信号

以及右环绕信号

的大小，以产生调整后的信号之后，再针对各个声道信号以任何合成的方式来产生左输出信号X_L以及右输出信号X_R。

综上所述，本发明所提出的声音信号的能量分布修正方法及其系统，其是先将双声道信号转换成的多声道信号，再将多声道信号转换成对应于左扬声器以及右扬声器的四声道信号，并且根据头戴装置的转动角度，适应性地修正四声道信号的能量分布。本发明可实际应用于一般市面上的VR头戴装置，当屏幕画面随着使用者的移动而旋转时，耳机声音信号的能量分布可因应同步改变，以让使用者对于屏幕画面中所观看到的影像内容以及所听到的声音达到良好的匹配。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。