阅读说明：本技术 优化音频处理方法、装置、终端及可读存储介质 (Method, device and terminal for optimizing audio processing and readable storage medium ) 是由 季海交 张志丰 陈伟 谌名林 韦芳南 于 2020-05-18 设计创作，主要内容包括：本申请公开了一种优化音频处理方法、装置、终端和计算机可读存储介质,接收模拟信号输入输出通道输入到主板DSP中的音频数据；获取所述音频数据,并将所述音频数据传输至主板ARM或从板ARM进行优化处理,以释放所述主板DSP中的资源；同时优化所述主板DSP中的算法,所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑,反馈抑制、回声消除、噪声消除和自动增益；并同时优化动态调节所述音频数据中音频处理帧长,从而使得实时性高的音频算法拥有更多现有资源,实现音频处理速度和效率的提高,优化了音频处理。(The application discloses an optimized audio processing method, an optimized audio processing device, a terminal and a computer readable storage medium, wherein the method comprises the steps of receiving audio data input into a mainboard DSP by an analog signal input and output channel; acquiring the audio data, and transmitting the audio data to a mainboard ARM or a slave ARM for optimization processing so as to release resources in the mainboard DSP; and simultaneously optimizing an algorithm in the mainboard DSP, wherein the algorithm in the mainboard DSP comprises at least one of the following methods: optimizing computation logic, feedback suppression, echo cancellation, noise cancellation and automatic gain; and simultaneously, the length of an audio processing frame in the audio data is optimized and dynamically adjusted, so that an audio algorithm with high real-time property has more existing resources, the audio processing speed and efficiency are improved, and the audio processing is optimized.)

优化音频处理方法、装置、终端及可读存储介质

技术领域

本申请音频处理技术领域，尤其涉及一种优化音频处理方法、装置、终端及可读存储介质。

背景技术

现有的数字音频处理器采用双OMAPL138芯片开发(OMAP-L138是美国德州仪器(TI)推出全新DSP+ARM工业处理器，这款芯片也是业界功耗最低的浮点数字信号处理器(DSP)+ARM9处理器，大大降低了双核通讯的开发难度，可充分满足工业应用的高能效、连通性设计对高集成度外设、更低热量耗散以及更长电池使用寿命的需求)，分主芯片(简称：主板)，从芯片(简称：从板)，主板与从板通过UPP通讯，从板由主板驱动，接受主板控制与模拟音频信号，返还给主板处理后的Dante(数字音频)音频数据或其他算法处理后的音频数据。主板Arm主要处理网络控制，串口控制，GPIO(总线扩展)控制等等业务逻辑，主板DSP处理UPP音频传输，AD与DA逻辑转换，音频控制与算法处理；从板ARM处理UPP音频传输，DANTE的输入\输出的音频传输，从板DSP处理音频控制与算法处理等等，参照图7。现有的数字音频处理存在以下一系列问题：

1.音频处理延时,模拟输入到模拟输出11ms，Dante输入到Dante输出延时22ms，有些满足不了部分用户对低延时的需求。

2.音频处理帧长固定(256点)，不可动态调节，动态合理利用CPU资源。

3.Arm与DSP资源没有充分合理利用。

4.音频数据的业务控制与处理逻辑未充分隔离，造成资源浪费，由此可见，现有的数字音频处理资源利用不充分，处理速度慢，处理效率低，用户体验不高。

发明内容

本申请的主要目的在于提供一种优化音频处理方法、终端及计算机存储介质，旨在解决现有技术中音频处理DSP占用率高、处理速度慢、处理效率低的技术问题。

为实现上述目的，本申请实施例提供一种优化音频处理方法，所述优化音频处理的步骤包括：

接收模拟信号输入输出通道输入到主板DSP中的音频数据；

获取所述音频数据，并将所述音频数据传输至主板ARM或从板ARM进行优化处理，以释放所述主板DSP中的资源；

优化所述主板DSP中的算法，所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；

优化动态调节所述音频数据中音频处理帧长。

可选地，所述将所述音频数据传输至主板ARM或从板ARM进行优化处理的步骤包括：

电平计算与上报优化、UPP通讯优化和频谱分析优化。

可选地，所述电平计算与上报优化的步骤包括：

将所述音频数据通过共享内存，从所述主板DSP传输至所述主板ARM；

在所述主板ARM定时处理与计算所述音频数据，得到各通道电平数据；

获取所述各通道电平数据，并将所述各通道电平数据通过网口上报至显示界面。

可选地，所述UPP通讯优化的步骤包括：

将所述音频数据通过共享内存，从所述主板DSP传输至所述主板ARM；

在所述主板ARM对所述音频数据进行处理，并传输至所述从板ARM；

在所述从板ARM对所述音频数据进行处理，并传输至所述主板ARM。

可选地，所述频谱分析优化的步骤包括：

将所述音频数据通过共享内存，从所述主板DSP传输至所述主板ARM，再通过UPP将所述音频数据从所述主板ARM传输至所述从板ARM；

在所述从板ARM定时计算所述音频数据在不同频率下的信息，得到频谱分析数据；

将所述频谱分析数据通过UPP传输至所述主板ARM，并通过网口上报至显示界面。

可选地，所述优化动态调节所述音频数据中音频处理帧长的步骤包括：

获取所述显示界面对所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长选择结果；

根据所述选择结果，调整所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长。

本申请还提供一种优化音频处理装置，所述优化音频处理装置包括：

接收模块，用于接收模拟信号输入输出通道输入到主板DSP中的音频数据；

传输模块，用于获取所述音频数据，并将所述音频数据传输至主板ARM或从板ARM进行优化处理，以释放所述主板DSP中的资源；

算法优化模块，用于优化所述主板DSP中的算法，所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；

帧长调节模块，用于优化动态调节所述音频数据中音频处理帧长。

可选地，所述帧长调节模块包括：

帧长获取单元，用于获取所述显示界面对所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长选择结果；

帧长处理单元，用于根据所述选择结果，调整所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长。

本申请还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的优化音频处理程序，所述优化音频处理程序被所述处理器执行时实现如上所述的优化音频处理方法的步骤。

本申请还提供一种计算机存储介质，所述计算机存储介质上存储有优化音频处理程序，所述优化音频处理程序被处理器执行时实现如上所述的优化音频处理方法的步骤。

本申请在优化音频处理的过程中，接收模拟信号输入输出通道输入到主板DSP中的音频数据；获取所述音频数据，并将所述音频数据传输至主板ARM或从板ARM进行优化处理，以释放所述主板DSP中的资源；同时优化所述主板DSP中的算法，所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；并同时优化动态调节所述音频数据中音频处理帧长，从而使得实时性高的音频算法拥有更多现有资源，实现音频处理速度和效率的提高，优化了音频处理。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一个可选的终端的硬件结构示意图；

图2为本申请优化音频处理方法第一实施例的流程示意图；

图3为本申请优化音频处理方法第二实施例的流程示意图；

图4为本申请优化音频处理方法第三实施例的流程示意图；

图5为本申请优化音频处理方法第四实施例的流程示意图；

图6为本申请优化音频处理方法第五实施例的流程示意图；

图7为本申请优化音频处理方法背景技术关于目前音频处理平台的示意图；

图8为本申请优化音频处理方法改进后音频处理平台的示意图；

图9为本申请优化音频处理装置的功能模块示意图；

图10为申请优化音频处理装置帧长调节模块的细化功能模块示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。

本申请实施例终端可以是固定终端，如物联网智能设备，包括智能空调、智能电灯、智能电源、智能路由器等智能家居；也可以是移动终端，包括智能手机、可穿戴的联网AR/VR装置、智能音箱、自动驾驶汽车等诸多联网设备。

如图1所示，该优化音频处理系统的架构设计包括节点和服务器，其设备结构可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该优化音频处理系统还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏(Display)、触摸屏、摄像头(包括AR/VR设备)等，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口、蓝牙接口、探针接口、3G/4G/5G联网通信接口等)。

本领域技术人员可以理解，图1中示出的优化音频处理系统结构并不构成对优化音频处理系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及优化音频处理程序。操作系统是管理和控制优化音频处理系统硬件和软件资源的程序，支持优化音频处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与优化音频处理系统中其它硬件和软件之间通信。

在图1所示的优化音频处理系统中，处理器1001用于执行存储器1005中存储的优化音频处理程序，实现以下步骤：

接收模拟信号输入输出通道输入到主板DSP中的音频数据；

获取所述音频数据，并将所述音频数据传输至主板ARM或从板ARM进行优化处理，以释放所述主板DSP中的资源；

优化所述主板DSP中的算法，所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；

优化动态调节所述音频数据中音频处理帧长。

进一步地，处理器1001可以调用存储器1005中存储的优化音频处理程序，还执行以下操作：

将所述音频数据通过共享内存，从所述主板DSP传输至所述主板ARM；

在所述主板ARM定时处理与计算所述音频数据，得到各通道电平数据；

获取所述各通道电平数据，并将所述各通道电平数据通过网口上报至显示界面。

进一步地，处理器1001可以调用存储器1005中存储的优化音频处理程序，还执行以下操作：

将所述音频数据通过共享内存，从所述主板DSP传输至所述主板ARM；

在所述主板ARM对所述音频数据进行处理，并传输至所述从板ARM；

在所述从板ARM对所述音频数据进行处理，并传输至所述主板ARM。

进一步地，处理器1001可以调用存储器1005中存储的优化音频处理程序，还执行以下操作：

将所述音频数据通过共享内存，从所述主板DSP传输至所述主板ARM，再通过UPP将所述音频数据从所述主板ARM传输至所述从板ARM；

在所述从板ARM定时计算所述音频数据在不同频率下的信息，得到频谱分析数据；

将所述频谱分析数据通过UPP传输至所述主板ARM，并通过网口上报至显示界面。

进一步地，处理器1001可以调用存储器1005中存储的优化音频处理程序，还执行以下操作：

获取所述显示界面对所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长选择结果；

根据所述选择结果，调整所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长。

基于上述硬件结构，提出本申请优化音频处理方法的各个实施例。

参照图2，本申请优化音频处理方法第一实施例提供一种优化音频处理方法，所述方法包括:

步骤S10，接收模拟信号输入输出通道输入到主板DSP中的音频数据；

步骤S20，获取音频数据，并将音频数据传输至主板ARM或从板ARM进行优化处理，以释放主板DSP中的资源；

步骤S30，优化主板DSP中的算法，主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；

步骤S40，优化动态调节音频数据中音频处理帧长。

在本实施例中，参照图8，本申请的终端中设有主板(主板与模拟信号输入输出通道连接)、从板(从板与数字信号输入输出通道连接)，主板由主板DSP、主板ARM组成，从板由从板DSP、从板ARM组成；主板与从板之间通过UPP进行通信。在对音频数据进行处理时，主板DSP接收模拟输入输出通道输入的音频数据。

DSP的英文全称是digital signal processing，简称DSP，即数字信号处理器。作用在于数字信号处理，也即是用数值计算的方式对信号进行加工。

ARM的英文全称是Advanced RISC Machine，简称ARM，是英国一家电子公司的名字，本质是一款微处理器。

具体地，接收模拟信号输入输出通道输入到主板DSP中的音频数据之后，将这些音频数据传输至主板ARM或从板ARM进行优化处理；其中，优化处理的方法包括：电平计算与上报优化、UPP通讯优化和频谱分析优化。在主板ARM进行电平计算与上报优化和UPP通讯优化，在从板ARM进行频谱分析优化；由此释放了主板DSP的资源，减轻了主板DSP的工作压力，并且有效利用了主板ARM和从板ARM的资源，提高了整体音频处理的速度和效率。

电平计算与上报优化：高频信号在传输过程中经常要测量和计算某点的电流电压或功率。在测量或计算这些物理量的时候，我们一般不直接测量或计算该点的电流(A)、电压(V)或功率(W)，而是用测量或计算它们对于某一基准值的比值取其对数关系来表示，称为电平。频谱分析是一种将复杂信号分解为较简单信号的技术。许多物理信号均可以表示为许多不同频率简单信号的和。找出一个信号在不同频率下的信息(如振幅、功率、强度或相位等)的做法即为频谱分析。频谱是指一个时域的信号在频域下的表示方式，可以针对信号进行傅里叶变换而得，所得的结果会是以分别以幅度及相位为纵轴，频率为横轴的两张图，不过有时也会省略相位的信息，只有不同频率下对应幅度的资料。有时也以“幅度频谱”表示幅度随频率变化的情形，“相位频谱”表示相位随频率变化的情形。简单来说，频谱可以表示一个信号是由哪些频率的弦波所组成，也可以看出各频率弦波的大小及相位等信息。信号若随着时间变化，且可以用幅度来表示，都有其对应的频谱。当这些物理现象用频谱表示时，可以提供一些此信号产生原因的相关信息。例如针对一个仪器的振动，可以借由其振动信号频谱的频率成分，推测振动是由哪些元件所造成。

具体地，优化计算逻辑可以通过提取常量、减少if判断逻辑等方法实现，在具体实施过程中可以灵活设置，在此不做限定；反馈抑制算法能够对音频的反馈进行抑制，主要作用是抑制由于音箱声音传到话筒而引起的声反馈啸叫；回声消除算法能够对反馈回来的信号进行消除；噪声消除算法能够对音频中的噪音进行消除；自动增益算法能够在音频数据信号输入不稳定时，将音频数据瞬时稳定在设定好的范围内。

在优化音频处理的过程中，接收模拟信号输入输出通道输入到主板DSP中的音频数据；获取所述音频数据，并将所述音频数据传输至主板ARM或从板ARM进行优化处理，以释放所述主板DSP中的资源；同时优化所述主板DSP中的算法，所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；并同时优化动态调节所述音频数据中音频处理帧长，从而使得实时性高的音频算法拥有更多现有资源，实现音频处理速度和效率的提高，优化了音频处理。

进一步地，在本申请优化音频处理方法另一实施例中，参照图3，步骤S01包括：

步骤S011，将音频数据通过共享内存，从主板DSP传输至主板ARM；

步骤S012，在主板ARM定时处理与计算音频数据，得到各通道电平数据；

步骤S013，获取各通道电平数据，并将各通道电平数据通过网口上报至显示界面。

在本实施例中，具体地，主板DSP音频数据通过共享内存，传输到主板ARM，主板ARM定时处理与计算音频数据，得到各通道电平数据，将各通道电平数据通过网口(网络接口)上报显示界面。

共享内存，就是允许两个不相关的进程访问同一个逻辑内存，共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。主板DSP音频数据通过共享内存，传输到主板ARM。不同进程之间共享的内存通常为同一段物理内存。进程可以将同一段物理内存连接到他们自己的地址空间中，所有的进程都可以访问共享内存中的地址。如果某个进程向共享内存写入数据，所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。

进一步地，在本申请优化音频处理方法又一实施例中，参照图4，步骤S02包括：

步骤S021，将音频数据通过共享内存，从主板DSP传输至主板ARM；

步骤S022，在主板ARM对音频数据进行处理，并传输至从板ARM；

步骤S023，在从板ARM对音频数据进行处理，并传输至主板ARM。

在本实施例中，首先将音频数据通过共享内存(共享内存就是使得多个进程可以访问同一块内存空间)，从主板DSP传输至主板ARM，再在主板ARM对音频数据进行处理，并传输至从板ARM，然后在从板ARM对音频数据进行处理，并传输至主板ARM，即在主板ARM与从板ARM之间传输与控制音频数据，也即将固有逻辑转到实时性不高的业务控制线程中，从而优化音频处理线程逻辑。主板ARM与从板ARM之间传输与控制音频数据，无需在主板DSP的UPP线程调度占有相应DSP资源，从而使得实时性高的音频算法拥有更多现有资源，实现音频处理速度和效率的提高，优化了音频处理。

进一步地，在本申请优化音频处理方法又一实施例中，参照图5，步骤S03包括：

步骤S031，将音频数据通过共享内存，从主板DSP传输至主板ARM，再通过UPP将音频数据从主板ARM传输至从板ARM；

步骤S032，在从板ARM定时计算音频数据在不同频率下的信息，得到频谱分析数据；

步骤S033，将频谱分析数据通过UPP传输至主板ARM，并通过网口上报至显示界面。

在本实施例中，主板DSP音频数据通过共享内存,给到主板ARM，再通过UPP传输给到从板ARM，从板ARM调用频谱分析算法，将计算结果再通过UPP传输给主板ARM，通过网口(网络接口)上报显示界面。

具体地，从板ARM调用频谱分析算法可以是，将音频数据输入到电学测量软件SmaartLive进行分析处理，频谱模式是电声测量软件SmaartLive的关键部分，能提供先进的声音信号测量手段，而且拥有灵活多变的快速傅里叶变换(FFT)实时分析器功能，频谱测量在频谱模式下进行。其用途包括噪声测量、声音信号可视测量、扩声系统声反馈频率确定、影院音响系统的优化处理及声音信号监听等。实时频谱分析在很多应用上都是极为有用的手段，如查找反馈寄生振荡、耳朵听音训练及监视节目资料的频率范围等方面。在实施过程中可以灵活处理，此处不做限定。

进一步地，在本申请优化音频处理方法又一实施例中，参照图6，步骤A00包括：

步骤A01，获取显示界面对音频数据、各通道电平数据或频谱分析数据的处理帧长选择结果；

步骤A02，根据选择结果，调整音频数据、各通道电平数据或频谱分析数据的处理帧长。

在本实施例中，首先创建控制帧长的接口，通过UI界面开放给用户控制：可以任意选择64、128、256、512等，这样可以调整延时和默认CPU占用率，帧长越小，延时越低，默认CPU占用率越高。

由此可见，本申请动态调整软件音频处理帧长，调减帧长降低音频处理延时，调增帧长提升整体算法开启数量，优化了音频处理平台。相比于之前，音频处理帧长是固定不变的(256点)，不可动态调节，本申请开放接口以供用户任意选择64、128、256、512等帧长，实现动态合理利用CPU资源，从而优化了音频处理，使得实时性高的音频算法拥有更多现有资源，实现音频处理速度和效率的提高。

此外，参照图9，本发明实施例还提出一种优化音频处理装置，优化音频处理装置包括：

接收模块，用于接收模拟信号输入输出通道输入到主板DSP中的音频数据；

传输模块，用于获取所述音频数据，并将所述音频数据传输至主板ARM或从板ARM进行优化处理，以释放所述主板DSP中的资源；

算法优化模块，用于优化所述主板DSP中的算法，所述主板DSP中的算法包括如下至少一种方法：优化计算逻辑，反馈抑制、回声消除、噪声消除和自动增益；

帧长调节模块，用于优化动态调节所述音频数据中音频处理帧长。

此外，参照图10，本发明实施例还提出一种帧长调节模块，帧长调节模块装置包括：

帧长获取单元，用于获取所述显示界面对所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长选择结果；

帧长处理单元，用于根据所述选择结果，调整所述音频数据、所述各通道电平数据或所述频谱分析数据的处理帧长。

本申请还提供一种终端，所述终端包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的优化音频处理程序，所述优化音频处理程序被所述处理器执行时实现上述优化音频处理方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有优化音频处理程序，所述优化音频处理程序被处理器执行时实现上述的优化音频处理方法的步骤。

在本申请优化音频处理方法、装置、终端及可读存储介质的实施例中，包含了上述优化音频处理方法各实施例的全部技术特征，说明书拓展和解释内容与上述优化音频处理方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。