具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

基于此，下面结合附图1-图3，通过具体的实施例及其应用场景对本申请实施例提供的音频处理方法进行详细地说明。

本申请实施例提出一种处理架构，如图1所示，该处理架构可以包括电子设备。其中，电子设备10可以包括加速度传感器101、陀螺仪、光敏传感器102等器件，用于确定电子设备姿态(或者方位)和确定用户握持电子设备的姿态；也可以包括多个收音设备如设置在电子设备上不同方位的麦克风103，用于定位声源信息以及录制音频。在一个或者多个实施例中，该电子设备还可以包括拍摄器件如摄像头即前置摄像头或者后置摄像头104，用于在拍摄音视频时获取视频图像。

基于该处理架构，对本申请实施例提供的音频处理方法的应用场景进行说明。

以电子设备包括加速度传感器、多个麦克风和后置摄像头，且在拍摄音视频的场景为例，对本申请实施例中的音频处理方法进行说明。这样，用户可以通过电子设备在拍摄音视频中图像信息的同时录制该图像信息对应的音频信息，由此，电子设备接收用户触发录制音视频(这里即包括录制图像信息，也包括录制与该图像信息对应的音频信息)的输入。电子设备响应于第一输入，通过加速度传感器获取第一姿态信息，基于第一姿态信息，判断电子设备的目标拍摄方向信息如电子设备当前的朝向即横放(如后置摄像头朝左)、横放(如后置摄像头朝右)或者竖放，这里，以目标拍摄方向信息表示电子设备竖放为例，确定在电子设备竖放时多个麦克风的位置信息。根据多个麦克风的位置信息中至少两个麦克风的相对位置信息如四个麦克风的麦克风阵列参数，确定录制音频的第一声源方向信息。

接着，通过不同方位的麦克风103，按照第一声源方向进行音频录制，得到第一音频。

再者，在实际拍摄过程中，用户握持电子设备的状态如双手横像握持、单手横向握持或者单手竖向握持会对声音方向性的判断有一定的干扰，为保证方向的准确性，以确保之前录制的第一音频的准确性，需要将此干扰消除，由此，如图2所示，本申请实施例中通过传感器等器件获取用户握持电子设备的第二姿态信息如用户双手握持电子设备，并根据用户握持电子设备的姿态信息与音频调整模型的关联关系信息，确定与用户双手握持电子设备的第二姿态信息对应的目标音频调整模型。再者，根据目标音频调整模型中的音频调整参数调整第一音频信息，得到具备3D环绕音或全景声属性的目标音频。

在本申请实施例中，通过电子设备的第一姿态信息，初步确定录制音频的第一声源方向信息，并根据第一声源方向进行音频录制，初步得到第一音频。然而，在实际拍摄过程中，用户握持电子设备的状态如双手横像握持、单手横向握持或者单手竖向握持会对声音方向性的判断有一定的干扰，为保证录制方向的准确性，以提高录制音频的质量需要将此干扰消除，本申请实施例中通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到具备3D环绕音或全景声的目标音频。由此，通过用户握持电子设备的姿态信息对初步得到的第一音频进行校正，提高了确定声源方向的准确性以及录制音频的效率。。

另外，用户可以使用随身携带的电子设备，改善现有专业3D音频制作套件或者人头录音设备复杂不易携带的问题，随时随地的录制3D环绕音或全景声，在提高了目前录制3D环绕音或全景声的灵活性的同时，提高用户录制具备3D环绕音或全景声属性的音频的体验感。

需要说明的是，本申请实施例提供的音频处理方法除了可以应用于上述涉及的在用户录制音视频的场景，还可以用于用户单独录制具备3D环绕音或全景声属性的目标音频的场景，在此，本申请实施例提供的音频处理方法可以应用于任何通过电子设备录制具备3D环绕音或全景声属性的目标音频的场景。

根据上述应用场景，下面结合图3对本申请实施例提供的音频处理方法进行详细说明。

图3为本申请实施例提供的一种音频处理方法的流程图。

如图3所示，该音频处理方法可以应用于如图1和图2所示的电子设备，基于此，具体可以包括如下步骤：

步骤310，接收录制音频的第一输入。步骤320，响应于第一输入，根据电子设备的第一姿态信息，确定录制音频的第一声源方向信息。步骤330，根据第一声源方向信息进行音频录制，得到第一音频。步骤340，通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到目标音频。

这样，通过电子设备的第一姿态信息，初步确定录制音频的第一声源方向信息，并根据第一声源方向进行音频录制，初步得到第一音频。然而，在实际拍摄过程中，用户握持电子设备的状态如双手横像握持、单手横向握持或者单手竖向握持会对声音方向性的判断有一定的干扰，为保证录制方向的准确性，以提高录制音频的质量需要将此干扰消除，本申请实施例中通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到具备3D环绕音或全景声的目标音频。由此，通过用户握持电子设备的姿态信息对初步得到的第一音频进行校正，提高了确定声源方向的准确性以及录制音频的效率。另外，用户可以使用随身携带的电子设备随时随地的录制具备3D环绕音或全景声的目标音频，提高了目前录制音频的灵活性。

下面对上述步骤进行详细说明，具体如下所示：

首先，如图4所示，人耳感受到3D环绕音依靠的是双耳效应(即声源401a和声源401b到达两个耳朵的时间差/相位差、响度差不同，从而区分左右)和耳廓效应(即如图5所示，不同位置声源501a和声源501b通过耳廓形状的反射、绕射后，进入到耳道内的路径不同，产生了滤波效果，从而区分前后、上下)，整个人头502组成了一个针对声音的滤波系统。基于此，提出头相关传输函数(Head Related Transfer Functions，HRTF)系统，可以将不同方向的声源经过该HRTF系统的过滤，最终输入到耳道内，混合形成立体声，此立体声包含了3D环绕音或全景声。如图6所示，该HRTF系统模拟了人头的滤波效果，只要确定了声源的方向，输入HRTF系统，即可输出带有方向性的声音，以形成3D环绕音或全景声。

基于此，可以通过如下步骤320-步骤330确定声源方向。

涉及步骤320，在一种或者多种可选的实施例中，该步骤320具体可以包括：

在第一姿态信息包括电子设备的三轴旋转运动信息的情况下，根据三轴旋转运动信息，确定电子设备的目标拍摄方向信息；

根据目标拍摄方向信息，确定与目标拍摄方向信息对应的电子设备中多个收音设备的位置信息；

根据多个收音设备中至少两个收音设备的相对位置信息，确定录制音频的第一声源方向信息。

需要说明的是，本申请实施例中多个收音设备中至少三个收音设备不在同一直线，且多个收音设备中至少四个收音设备不在同一平面。

示例性地，如图7所示，电子设备至少设置四个麦克风即麦克风701、麦克风702、麦克风703和麦克风704，四个麦克风的布局要求为：四个麦克风中任意三个麦克风的进声孔不在同一直线上如麦克风701、麦克风702和麦克风703、且四个麦克风开孔不在同一平面上。

基于此，如图8所示，任意两个麦克风接收到空间中任一点的声源801发出的声波，会有时间差产生，通过I(长度)＝v(速度)×t(时间)，可以计算出声源距离两颗麦克风的距离差，四个麦克风可以确定唯一的一个声源位置，这里，3颗麦克风组成一个平面，在平面两侧对称位置的麦克风无法区分，需要第四颗麦克风进行辅助确认，如图9所示，进而可以计算出此声源801在电子设备中心为中线点的坐标轴内的俯仰角α、β、γ。这里，由于拍摄时电子设备的朝向不同，可以先结合加速度传感器获取第一姿态信息。基于第一姿态信息，判断电子设备的目标拍摄方向信息如电子设备当前朝向即横放(如后置摄像头朝左)、横放(如后置摄像头朝右)或者竖放，不同的目标拍摄方向信息对应不同的麦克风的位置信息，如横放(如后置摄像头朝左)对应的四个麦克风的麦克风阵列参数1-4，横放(如后置摄像头朝右)对应的四个麦克风的麦克风阵列参数5-8，或者，竖放对应的四个麦克风的麦克风阵列参数9-12。

基于此，涉及步骤330，在一种或者多种可选的实施例中，可以根据上述方式确定的第一声源方向进行音频录制，得到第一音频。

但是，在实际拍摄过程中，用户握持电子设备的状态如双手横像握持、单手横向握持或者单手竖向握持会对声音方向性的判断有一定的干扰，为保证录制方向的准确性，以提高录制音频的质量需要将此干扰消除。

由此，涉及步骤340，在一种或者多种可选的实施例中，该步骤340具体可以包括：

根据用户握持电子设备的姿态信息与音频调整模型的关联关系信息，确定与第二姿态信息对应的目标音频调整模型；

根据目标音频调整模型中的音频调整参数调整第一声源方向信息，得到目标音频。

示例性地，在实际拍摄过程中，电子设备是被用户握持的，如有双手横像握持、单手横向握持及单手竖向握持，如图10所示，以用户双手持握电子设备为例，如图11所示，外界声音传到麦克风内的声音有一部分是经过手的反射后进入的，如图11中的箭头所示。这对声音方向性的判断有一定的干扰，为保证确定声源方向的准确性，需要将此干扰消除。由于不同人的手大小不同，握持姿势也会稍有差异。因此，可以采用神经网络，通过大量的样本数据(即用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息)进行训练，得到音频调整模型。接着，可以通过音频调整模型中的音频调整参数调整第一声源方向信息，得到第二声源方向信息。这里，每一种握持手法，可得出其对应的音频调整模型，不同的握持手法，可对应不同的音频调整模型，具体确定第二声源方向信息的步骤可以如下所示。

基于此，在步骤340之前，还可以包括确定用户握持电子设备的姿态信息与音频调整模型的关联关系信息的步骤，具体可以包括：

获取样本数据，样本数据包括在历史时间段内至少两种用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息；

分别将每种用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息输入到音频调整模型中，对音频调整模型进行训练，直至满足预设训练条件，得到训练完成的第一音频调整模型；

将每个第一音频调整模型和与每个第一音频调整模型对应的用户握持电子设备的第三姿态信息进行关联，得到关联关系信息。

然后，在一种或者多种可选的实施例中，该步骤340具体可以包括：

将第一音频和目标音频调整模型中的音频调整参数输入到头相关传输函数模型中，得到与第二声源方向信息对应的目标音频，目标音频为具备3D环绕音或全景声属性的音频。

在本申请实施例中，通过电子设备中设置的多个麦克风和电子设备的第一姿态信息，确定录制音频的第一声源方向信息，并按照第一声源方向信息进行音频录制，初步得到第一音频。然而，在实际拍摄过程中，用户握持电子设备的状态如双手横像握持、单手横向握持或者单手竖向握持会对声音方向性的判断有一定的干扰，为保证方向的准确性，需要将此干扰消除，本申请实施例中通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到具备3D环绕音或全景声的目标音频。由此，通过用户握持电子设备的姿态信息对初步得到的第一音频进行校正，提高了确定声源方向的准确性以及录制音频的效率。另外，用户可以使用随身携带的电子设备随时随地的录制3D环绕音或全景声，提高了目前录制音频的灵活性。

需要说明的是，本申请实施例是一个声源为例进行说明，当然，本申请实施例还可以有多个声源，同理，可以根据本申请实施例提供的音频处理方法确定多个第二声源方向信息，然后，将按照多个第二声源方向进行音频录制，得到初始的多个第一音频；将多个第一音频中和每个第一音频对应的目标音频调整模型中的音频调整参数输入到对应的头相关传输函数模型中，得到具备3D环绕音或全景声属性的目标音频。

需要说明的是，本申请实施例提供的音频处理方法，执行主体可以为音频处理装置，或者该音频处理装置中的用于执行音频处理的方法的控制模块。本申请实施例中以音频处理装置执行音频处理方法为例，说明本申请实施例提供的音频处理的装置。

基于相同的发明构思，本申请还提供了一种音频处理装置。具体结合图12进行详细说明。

图12为本申请实施例提供的一种音频处理装置的结构示意图。

如图12所示，该音频处理装置120应用于如图1-图2所示的电子设备，具体可以包括：

接收模块1201，用于接收录制音频的第一输入；

确定模块1202，用于响应于第一输入，根据电子设备的第一姿态信息，确定录制音频的第一声源方向信息；

录制模块1203，用于根据第一声源方向信息进行音频录制，得到第一音频；

校正模块1204，用于通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到目标音频。

下面对该音频处理装置120进行详细说明，具体如下所示：

在一个或者多个可能的实施例中，确定模块1202具体可以用于，在第一姿态信息包括电子设备的三轴旋转运动信息的情况下，根据三轴旋转运动信息，确定电子设备的目标拍摄方向信息；

根据目标拍摄方向信息，确定与目标拍摄方向信息对应的电子设备中多个收音设备的位置信息；

根据多个收音设备中至少两个收音设备的相对位置信息，确定录制音频的第一声源方向信息。

需要说明的是，多个收音设备中至少三个收音设备不在同一直线，且多个收音设备中至少四个收音设备不在同一平面。

基于此，校正模块1203具体用于，根据用户握持电子设备的姿态信息与音频调整模型的关联关系信息，确定与第二姿态信息对应的目标音频调整模型；

根据目标音频调整模型中的音频调整参数调整第一声源方向信息，得到目标音频。

在又一个或者多个可能的实施例中，音频处理装置120还包括：获取模块、训练模块和关联模块；其中，

获取模块，用于获取样本数据，样本数据包括在历史时间段内至少两种用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息；

训练模块，用于分别将每种用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息输入到音频调整模型中，对音频调整模型进行训练，直至满足预设训练条件，得到训练完成的第一音频调整模型；

关联模块，用于将每个第一音频调整模型和与每个第一音频调整模型对应的用户握持电子设备的第三姿态信息进行关联，得到关联关系信息。

在再一个或者多个可能的实施例中，校正模块1204具体用于，将第一音频和目标音频调整模型中的音频调整参数输入到头相关传输函数模型中，得到与第二声源方向信息对应的目标音频，目标音频为具备3D环绕音或全景声属性的音频。

本申请实施例中的音频处理装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的音频处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的音频处理装置能够实现图1至图11的方法实施例实现的各个过程，为避免重复，这里不再赘述。

在本申请实施例中，通过电子设备的第一姿态信息，初步确定录制音频的第一声源方向信息，并根据第一声源方向进行音频录制，初步得到第一音频。然而，在实际拍摄过程中，用户握持电子设备的状态如双手横像握持、单手横向握持或者单手竖向握持会对声音方向性的判断有一定的干扰，为保证录制方向的准确性，以提高录制音频的质量需要将此干扰消除，本申请实施例中通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到具备3D环绕音或全景声的目标音频。由此，通过用户握持电子设备的姿态信息对初步得到的第一音频进行校正，提高了确定声源方向的准确性以及录制音频的效率。另外，用户可以使用随身携带的电子设备随时随地的录制具备3D环绕音或全景声的目标音频，提高了目前录制音频的灵活性。

可选的，如图13所示，本申请实施例还提供一种电子设备130，包括处理器1301，存储器1302，存储在存储器1302上并可在处理器1301上运行的程序或指令，该程序或指令被处理器1301执行时实现上述音频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图14为本申请实施例提供的一种电子设备的硬件结构示意图。

该电子设备1400包括但不限于：射频单元1401、网络模块1402、音频输出单元1403、输入单元1404、传感器1405、显示单元1406、用户输入单元1407、接口单元1408、存储器1409、处理器1410以及收音器1411等部件。

本领域技术人员可以理解，电子设备1400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图14中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，在本申请实施例中用户输入单元1407，用于接收录制音频的第一输入。处理器1410，用于响应于第一输入，根据电子设备的第一姿态信息，确定录制音频的第一声源方向信息；根据第一声源方向信息进行音频录制，得到第一音频；通过用户握持电子设备的第二姿态信息对第一音频信息进行校正，得到目标音频。

在一个或者多个可能的实施例中，处理器1410具体可以用于，在第一姿态信息包括电子设备的三轴旋转运动信息的情况下，根据电子设备三轴旋转运动信息，确定电子设备的目标拍摄方向信息；

根据目标拍摄方向信息，确定与目标拍摄方向信息对应的电子设备中多个收音设备的位置信息；

根据多个收音设备中至少两个收音设备的相对位置信息，确定录制音频的第一声源方向信息。

需要说明的是，本申请实施例中的多个收音设备中至少三个收音设备不在同一直线，且多个收音设备中至少四个收音设备不在同一平面。

基于此，处理器1410具体用于，根据用户握持电子设备的姿态信息与音频调整模型的关联关系信息，确定与第二姿态信息对应的目标音频调整模型；根据目标音频调整模型中的音频调整参数调整第一声源方向信息，得到目标音频。

在又一个或者多个可能的实施例中，处理器1410还可以用于获取样本数据，样本数据包括在历史时间段内至少两种用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息；分别将每种用户握持电子设备的第三姿态信息和与每种用户握持电子设备的第三姿态信息对应的音频信息输入到音频调整模型中，对音频调整模型进行训练，直至满足预设训练条件，得到训练完成的第一音频调整模型；以及，将每个第一音频调整模型和与每个第一音频调整模型对应的用户握持电子设备的第三姿态信息进行关联，得到关联关系信息。

在再一个或者多个可能的实施例中，处理器1410具体用于，将第一音频和目标音频调整模型中的音频调整参数输入到头相关传输函数模型中，得到与第二声源方向信息对应的目标音频，目标音频为具备3D环绕音或全景声属性的音频。

应理解的是，输入单元1404可以包括图形处理器(Graphics Processing Unit，GPU)14041和麦克风14042，图形处理器14041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图像或视频的图像数据进行处理。显示单元1406可包括显示面板14061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板14061。用户输入单元1407包括触控面板14071以及其他输入设备14072。触控面板14071，也称为触摸屏。触控面板14071可包括触摸检测装置和触摸控制器两个部分。其他输入设备14072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1409可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1410中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述音频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。其中，可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

另外，本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述音频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。