一种信号处理方法、装置以及计算机存储介质

文档序号:1508972 发布日期:2020-02-07 浏览:15次 >En<

阅读说明:本技术 一种信号处理方法、装置以及计算机存储介质 (Signal processing method and device and computer storage medium ) 是由 崔腾飞 于 2018-07-25 设计创作,主要内容包括:本发明实施例公开了一种信号处理方法、装置以及计算机存储介质,通过接收第一音频信号并由至少一个扬声器对所述第一音频信号进行播放;根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于至少一个扬声器得到的,所述至少一个麦克风模型是基于至少一个麦克风得到的;利用至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号。(The embodiment of the invention discloses a signal processing method, a signal processing device and a computer storage medium, wherein a first audio signal is received and played by at least one loudspeaker; acquiring at least one echo estimation signal corresponding to the first audio signal according to at least one loudspeaker model, at least one microphone model and the first audio signal; wherein the at least one speaker model is derived based on at least one speaker and the at least one microphone model is derived based on at least one microphone; receiving a second audio signal with at least one microphone; wherein the second audio signal comprises an echo signal produced by the first audio signal output by the at least one speaker and received by the at least one microphone; and subtracting at least one echo estimation signal corresponding to the first audio signal from the second audio signal to obtain an audio signal after echo processing.)

一种信号处理方法、装置以及计算机存储介质

技术领域

本发明涉及音频信号处理技术领域,尤其涉及一种信号处理方法、装置以及计算机存储介质。

背景技术

在通话过程中,人们有时能够听到自己说话的声音,这主要是因为对方扬声器播放的声音被其麦克风(Microphone,MIC)接收并传输回来,也就是人们通常所说的回声,它是由声学方面的原因产生的。因此,在涉及到扬声器、MIC双工场景中,一般都会存在回声现象,比如当前的终端通话、个人计算机(Personal Computer,PC)网络电话、个人数字助理(Personal Digital Assistant,PDA)网络通话、边录边播场景等等。

回声消除技术,顾名思义,就是把MIC接收进来的扬声器播放的声音进行处理,仅保留非扬声器播放的声音的技术。目前最常用的回声消除技术是单扬声器(听筒)的回声消除技术,立体声的回声消除技术方案则差异较大,多声道的回声消除技术使用更加稀少,解决方案也各种各样;然而在目前这些现有的技术方案中,当扬声器或者MIC的高频谐振峰值FH比较低(如4kHz附近)时,很容易因为MIC接收进来的信号在FH处比参考信号的幅度高而无法处理干净,引起了循环放大,从而产生回音啸叫现象。

发明内容

有鉴于此,本发明的主要目的在于提供一种信号处理方法、装置以及计算机存储介质,有效解决了当扬声器或者麦克风的高频谐振峰值较低时所容易产生的回音啸叫现象,还减小了多麦克风设计中的计算工作量。

为达到上述目的,本发明的技术方案是这样实现的:

第一方面,本发明实施例提供了一种信号处理方法,所述方法应用于具有至少一个扬声器和至少一个麦克风的信号处理装置,所述方法包括:

接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;

根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;

利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;

从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号。

第二方面,本发明实施例提供了一种信号处理装置,所述信号处理装置包括:至少一个扬声器、至少一个麦克风、第一接收部分、第一获取部分、第二接收部分和第二获取部分,其中,

所述第一接收部分,配置为接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;

所述第一获取部分,配置为根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;

所述第二接收部分,配置为利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;

所述第二获取部分,配置为从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号。

第三方面,本发明实施例提供了一种信号处理装置,所述信号处理装置包括:网络接口,存储器和处理器;其中,

所述网络接口,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

所述存储器,用于存储能够在所述处理器上运行的计算机程序;

所述处理器,用于在运行所述计算机程序时,执行第一方面所述信号处理的方法的步骤。

第四方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有信号处理程序,所述信号处理程序被至少一个处理器执行时实现第一方面所述信号处理的方法的步骤。

本发明实施例提供了一种信号处理方法、装置以及计算机存储介质,应用于具有至少一个扬声器和至少一个麦克风的信号处理装置,通过接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号;从而有效地解决了当扬声器或者麦克风的高频谐振峰值较低时所容易产生的回音啸叫现象,还减小了多麦克风设计中的计算工作量。

附图说明

图1为相关技术方案的一种单扬声器和单麦克风的电路结构示意图;

图2为相关技术方案的一种单扬声器和双麦克风的电路结构示意图;

图3为相关技术方案的一种双扬声器和单麦克风的电路结构示意图;

图4为相关技术方案的一种回音参考信号与麦克风录制信号的曲线对比示意图;

图5为相关技术方案的另一种回音参考信号与麦克风录制信号的曲线对比示意图;

图6为相关技术方案的一种双扬声器和单麦克风的电路结构示意图;

图7为相关技术方案的一种双扬声器和双麦克风的电路结构示意图;

图8为本发明实施例提供的一种信号处理方法的流程示意图;

图9为本发明实施例提供的一种四扬声器和单麦克风的电路结构示意图;

图10为本发明实施例提供的另一种四扬声器和单麦克风的电路结构示意图;

图11为本发明实施例提供的一种四扬声器和双麦克风的电路结构示意图;

图12为本发明实施例提供的又一种四扬声器和单麦克风的电路结构示意图;

图13为本发明实施例提供的一种信号处理方法的详细流程示意图;

图14为本发明实施例提供的另一种信号处理方法的详细流程示意图;

图15为本发明实施例提供的又一种信号处理方法的详细流程示意图;

图16为本发明实施例提供的再一种信号处理方法的详细流程示意图;

图17为本发明实施例提供的再一种信号处理方法的详细流程示意图;

图18为本发明实施例提供的一种单扬声器和单麦克风的电路结构示意图;

图19为本发明实施例提供的再一种信号处理方法的详细流程示意图;

图20为本发明实施例提供的一种双扬声器和单麦克风的电路结构示意图;

图21为本发明实施例提供的一种信号处理装置的组成结构示意图;

图22为本发明实施例提供的另一种信号处理装置的组成结构示意图;

图23为本发明实施例提供的又一种信号处理装置的组成结构示意图;

图24为本发明实施例提供的再一种信号处理装置的组成结构示意图;

图25为本发明实施例提供的再一种信号处理装置的组成结构示意图;

图26为本发明实施例提供的一种信号处理装置的具体硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

回声,主要是由声波的反射引起声音的重复,即指将声源所发的声音反射回声源位置。在电子设备中,通常都会使用麦克风和扬声器。当扬声器播放由远端接收的声音数据时,麦克风由近端将语音或者其他声音数据传送至远端。对于典型的免提式系统而言,将扬声器与麦克风邻近设置,而该扬声器发出的声音,会立刻被该麦克风接收,此即所谓的回声。在没有处理情况下,该回声被位于远端的远端使用者听到,进而产生非预期的极大噪音与不愉快的心理声学经验。因此,引入了回声消除技术来对麦克风所提取的回声进行回音处理。

目前,单扬声器回声消除技术使用比较广泛,即通话中只有一个扬声器播放声音。示例性的,参见图1,其示出了相关技术方案的一种单扬声器和单麦克风的电路结构10的应用示例;如图1所示,该电路结构10包括:扬声器101、麦克风102、加法器103、自适应滤波器(Adaptive Filter,AF)模块104、语音处理模块105、降噪及其他处理模块106、解码器(Decoder)107、编码器(Encoder)108和射频端109;其中,射频端109将接收的音频信号发送至解码器107,由解码器107对该音频信号进行解调,解调后的音频信号进入语音处理模块105进行降噪、滤波等语音处理;然后该语音信号会被扬声器101进行播放;麦克风102录制的音频信号中会包括由扬声器101播放的音频信号所产生的回音信号;为了尽可能消除这个回音信号,在扬声器101前端提取音频信号作为参考信号,该参考信号经过AF模块104之后输入加法器103,麦克风102录制的音频信号也输入加法器103,在加法器103中对这两个信号进行减法处理,从而可以对麦克风102所录制的音频信号进行回音处理;经过回音处理后的音频信号再通过降噪及其他处理模块106进行语音处理,在编码器108中被调制,最后通过传输线路由发射端109发送出去。

参见图2,其示出了相关技术方案的一种单扬声器和双麦克风的电路结构20的应用示例;如图2所示,该电路结构20包括:扬声器201、第一麦克风202a、第二麦克风202b、第一加法器203a、第二加法器203b、第一AF模块204a、第二AF模块204b、语音处理模块205、降噪及其他处理模块206、解码器207、编码器208和发射端209;其中,仍然选取扬声器201前端的音频信号作为参考信号,该参考信号一方面通过第一AF模块204a和第一加法器203a对第一麦克风202a所接收的音频信号进行回音处理,另一方面通过第二AF模块204b和第二加法器203b对第二麦克风202b所接收的音频信号进行回音处理,经过回音处理后的音频信号输入到降噪及其他处理模块206进行降噪处理,在编码器208中被调制,最后通过传输线路由发射端209发送出去。

参见图3,其示出了相关技术方案的一种双扬声器和单麦克风的电路结构30的应用示例;如图3所示,该电路结构30包括:第一扬声器301a、第二扬声器301b、一个麦克风302、一个加法器303、一个AF模块304、语音处理模块305、降噪及其他处理模块306、解码器307、编码器308和发射端309;其中,仍然选取第一扬声器301a和第二扬声器301b前端的音频信号作为回音处理的参考信号,该参考信号通过AF模块304和加法器303对麦克风302所接收的音频信号进行回音处理,经过回音处理后的音频信号输入到降噪及其他处理模块306进行降噪处理,然后在编码器308中被调制,最后通过传输线路由发射端309发送出去。

在实现本发明过程中发现,上述回声消除技术中的回音处理方法存在一个明显缺陷,参见图4和图5,当扬声器或者麦克风频率响应的高频谐振峰值比较低时,比如扬声器的谐振峰值在4kHz附近,会导致回音信号无法被处理干净,如果这时扬声器的免提响度还比较大,就很容易出现回音啸叫现象;这是由于参考信号仅是扬声器前端的数字信号,没有考虑扬声器和麦克风所引入的声学影响,使得谐振峰值附近的信号被放大,引起了声音信号在谐振峰值附近的回环放大,从而无法处理掉回声。从图4中可以看到,回音的参考信号比麦克风录制信号(即需要处理的回音信号)大,而且两者的线性度比较好,这种情况的回音很容易处理干净;但是从图5中可以看到,在4kHz附近,麦克风录制信号(即需要处理的回音信号)比回音的参考信号大,这时回音会很难被处理掉。

另外,上述图1至图2中的电路结构适用于单扬声器应用场景,对于多扬声器应用场景,比如图3,如果只使用某个扬声器前端的一路信号作为回音的参考信号进行回音处理,没有考虑多个扬声器声音叠加的影响,会使回音处理的效果较差;尤其是当扬声器播放声音的响度比较大时,回音处理的效果更差。

在多声道回声消除技术中,由于考虑到每个扬声器都会对回声信号产生影响,现有的部分处理方案中,一般会在麦克风输入通路的算法中添加多个回音处理模块,一般来说,电子设备中存在多少个扬声器,就会使用对应数量的回音处理模块,每个回音处理模块会引入一路扬声器的音频信号作为参考信号;参见图6,其示出了相关技术方案的一种双扬声器和单麦克风的电路结构60的应用示例;如图6所示,该电路结构60包括:第一扬声器601a、第二扬声器601b、麦克风602、第一加法器603a、第二加法器603b、第一AF模块604a、第二AF模块604b、语音处理模块605、降噪及其他处理模块606、解码器607、编码器608和发射端609;其中,仍然选取第一扬声器601a和第二扬声器601b前端的音频信号作为回音处理的参考信号,针对第一扬声器601a前端的音频信号通过第一AF模块604a后输入第一加法器603a,麦克风602所接收的音频信号也输入第一加法器603a,由第一加法器603a对麦克风602录制的音频信号中第一扬声器601a播放的音频信号所产生的回音进行回音处理;针对第二扬声器601b前端的音频信号通过第二AF模块604b后输入第二加法器603b,麦克风602所接收的音频信号也输入第二加法器603b,由第二加法器603b对麦克风602录制的音频信号中第二扬声器601b播放的音频信号所产生的回音进行回音处理;经过回音处理后的音频信号输入到降噪及其他处理模块606进行处理,然后在编码器608中被调制,最后通过传输线路由发射端609发送出去。这种处理方法考虑到了多个扬声器叠加对回音信号的影响,比图3只引入某个扬声器前端的数字信号作为回音的参考信号的处理效果要好;但是同样也存在上述缺陷,由于没有考虑扬声器和麦克风所引入的声学影响,在扬声器和麦克风的谐振峰值较低时,仍然会存在比较明显的回音啸叫现象;同时由于引入了多个回音处理模块,而且扬声器和麦克风的数量越多,回音处理模块的数据就越多,复杂程度也明显增加;另外,由于一个麦克风可能会存在多个回音处理模块,相互之间的相互影响,会使得调试复杂度明显增加。

在多声道回声消除技术中,目前的现有技术方案也有使用扬声器播放和麦克风录制信号时的传递函数进行计算。参见图7,其示出了相关技术方案的一种双扬声器和多麦克风的电路结构70的应用示例;从图7中可以看出,输入至线路输入端LI(L)和LI(R)的左/右两通道立体信号XL和XR,不通过和/信号产生装置52,并分别通过声音输出端SO(L)和SO(R)输出并在扬声器SP(L)和SP(R)再生,然后由麦克风MC(L)、MC(R)收集并输入至声音输入端SI(L)、SI(R);滤波器40-1、40-2、40-3和40-4由例如FIR滤波器形成,滤波器40-1、40-2、40-3和40-4所设置的脉冲响应,分别与扬声器SP(L)、SP(R)和麦克风MC(L)、MC(R)之间的传递函数相对应,由此对应产生回声处理信号EC1、EC2、EC3和EC4;加法器44和46、减法器48和50用于进行回声处理,这些回声处理信号,分别从线路输出端LO(L)和LO(R)进行输出;这里,和/差信号发生装置52包括加法器54和减法器56,用于产生和信号XL+XR和差信号XL-XR;相关检测装置60基于相关值计算或诸如此类计算,检测和信号XL+XR和差信号XL-XR之间的相关;传递函数计算装置58用于计算推导出扬声器SP(L)、SP(R)和麦克风MC(L)、MC(R)之间的四个音频传送系统的传递函数。该技术方案是利用立体声音信号的和信号和差信号作为参考信号,并根据参考信号与麦克风录制的声音信号的互频谱计算,得到两个扬声器与两个麦克风之间的四个音频传送系统的传递函数;所得到的传递函数经过逆傅里叶变换以得到脉冲响应,这些脉冲响应被设置到滤波器装置中以生成回音处理的参考信号并进行回音处理;该技术方案还考虑了声学路径以及声学结构和器件对回音信号的影响,同时在分析传递函数的过程中,分别引入了两个扬声器信号的和信号和差信号,以及麦克风录制的回音信号,考虑比较全面;但是,在得到该传递函数的过程中,需要扬声器播放音频信号,麦克风同时接收音频信号,受环境波动影响比较大,而且扬声器、麦克风在不同的音频信号、环境下存在工作状态不一致的现象,这样就造成了某些情况回声处理不理想的现象出现;同时,随着扬声器和麦克风数量的增加,传递函数的复杂性也随之增加,而且增加非常明显。

从图1至图7所示电路结构的应用示例中,现有技术几乎都没有考虑引入扬声器、麦克风的声学响应模型,使得当扬声器或者麦克风的高频谐振峰值FH比较低(如4kHz附近)时,很容易因为麦克风所录制的信号在FH处比参考信号的幅度高而产生回音啸叫现象;为了有效解决在扬声器或者麦克风的高频谐振峰FH比较低时所产生的回音啸叫现象,下面结合附图对本发明实施例进行详细介绍。

实施例一

参见图8,其示出了本发明实施例提供的一种信号处理的方法,该方法应用于具有至少一个扬声器和至少一个麦克风的信号处理装置,该方法可以包括:

S801:接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;

S802:根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;

S803:利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;

S804:从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号。

基于图8所示的技术方案,该方法应用于具有至少一个扬声器和至少一个麦克风的信号处理装置,通过接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号;从而有效地解决了当扬声器或者麦克风的高频谐振峰值较低时所容易产生的回音啸叫现象,还减少了多麦克风设计中的计算工作量。

对于图8所示的技术方案,在一种可能的实现方式中,在所述接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放之前,所述方法还包括:

对所述第一音频信号进行解调制及语音预处理;其中,所述第一音频信号是由远端设备产生并进行发送。

需要说明的是,一般而言,由远端设备产生第一音频信号并进行发送,信号处理装置接收到该第一音频信号之后,会进行解调制及语音预处理,经过处理之后的第一音频信号进入扬声器并由扬声器对该第一音频信号进行播放。

对于图8所示的技术方案,在一种可能的实现方式中,在所述根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号之前,所述方法还包括:

根据所述至少一个扬声器的特性信息,对应建立至少一个扬声器模型;其中,所述至少一个扬声器的特性信息包括所述至少一个扬声器对应的电路信息和结构信息;

根据所述至少一个麦克风的特性信息,对应建立至少一个麦克风模型;其中,所述至少一个麦克风的特性信息包括所述至少一个麦克风对应的电路信息和结构信息。

需要说明的是,在本发明实施例中,引入了扬声器模型和麦克风模型;其中,扬声器模型的建立是基于扬声器对应的电路信息和结构信息得到的,可以模拟扬声器的声学响应;麦克风模型的建立是基于麦克风对应的电路信息和结构信息得到的,可以模拟麦克风的声学响应;可以使得所获取的第一音频信号的参考信号更准确,更接近于扬声器所播放的第一音频信号的回音信号,从而使得回音信号的处理效果更佳。

可以理解地,麦克风的数量可以是一个或多个,在本发明实施例中对此不作具体限定。当麦克风数量是一个时,对应建立的麦克风模型数量为一个;这时候,在上述实现方式中,具体地,所述麦克风数量为一个,对应的麦克风模型数量为一个,所述根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号,包括:

将所述第一音频信号输入每一个扬声器模型进行声学响应处理,获得每一个扬声器的声学响应信号;

根据所述每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息,获得每一个扬声器的第一参考信号;其中,所述第一延时及衰减信息是基于每一个扬声器与所述麦克风之间的距离及位置信息对应得到的;

将所述每一个扬声器的所述第一参考信号进行叠加及位数扩展处理,获得第一叠加的参考信号;

基于所述麦克风模型,对所述第一叠加的参考信号进行声学响应处理,获得所述第一音频信号的第一回音估计信号。

需要说明的是,在本发明实施例中,对于第一音频信号的回音估计信号,是经过扬声器模型、延时及衰减、信号叠加和麦克风模型等一系列信号处理步骤所得到的,从而使得回音估计信号更接近于扬声器所播放的第一音频信号的回音信号,使得后续回音信号的处理效果更佳。

举例来说,参见图9,其示出了本发明实施例提供的一种四扬声器和单麦克风的电路结构90的应用示例;如图9所示,该电路结构90包括:扬声器组901、麦克风902、扬声器模型组903、延时衰减模块组904、求和模块905、麦克风模型906、回音处理模块907、语音处理模块908、降噪及其他处理模块909、解码器910、编码器911和发射端912;其中,扬声器组901包括第一扬声器901a、第二扬声器901b、第三扬声器901c与第四扬声器901d,所述扬声器模型组903包括第一扬声器模型903a、第二扬声器模型903b、第三扬声器模型903c和第四扬声器模型903d,所述延时衰减模块组904包括第一延时衰减模块904a、第二延时衰减模块904b、第三延时衰减模块904c和第四延时衰减模块904d;这里,扬声器模型组903是基于扬声器组901对应建立的,延时衰减模块组904是对经过扬声器模型组903后的音频信号进行对应的延时及衰减。具体地,射频端912将接收的第一音频信号发送至解码器910,由解码器910对该第一音频信号进行解调,解调后的第一音频信号进入语音处理模块908进行降噪、滤波等预处理;然后该第一音频信号会被扬声器组901播放;麦克风902录制的第二音频信号中会包括由扬声器组901播放的第一音频信号所产生的回音信号;为了对该回音信号进行处理,在扬声器组901前端提取第一音频信号,将第一音频信号分别输入第一扬声器模型903a、第二扬声器模型903b、第三扬声器模型903c和第四扬声器模型903d,进行声学响应分析处理以得到扬声器组901中每一个扬声器的声学响应信号;由于声音在传播过程中需要时间,而且在传播中能量也会衰减,为了表示扬声器播放的声音传递到麦克风位置的延时及衰减量,即声音传输时间和衰减量,该声学响应信号会对应输入到第一延时衰减模块904a、第二延时衰减模块904b、第三延时衰减模块904c和第四延时衰减模块904d进行延时衰减处理,得到4路延时及衰减之后的第一参考信号;通过求和模块905进行叠加处理,可以得到叠加的参考信号;这里,还需要考虑到叠加之后有可能会出现溢出的情况,还需要进行位数扩展处理,至少扩展两位二进制数,一般来说,最多扩展四倍,主要是防止叠加之后的溢出情况;叠加的参考信号输入到麦克风模型906,根据麦克风模型906的声压激励进行声学响应处理,进而可以得到经过麦克风902录制的回音参考信号,即第一音频信号的第一回音估计信号;该第一回音估计信号和麦克风902录制的第二音频信号共同输入到回音处理模块907进行回音处理;回音处理后的音频信号再通过降噪及其他处理模块909进行降噪处理,然后在编码器911中被调制,最后通过传输线路由发射端912发送出去。

需要说明的是,由于将多个扬声器(比如图9中的四个扬声器901a、901b、901c和901d)的声音信号进行叠加及位数扩展处理,主要是考虑到叠加之后有可能会出现溢出的情况,这时候需要进行位数扩展;但是叠加之后的声音信号作为回音估计信号输入到回音处理模块,主要是用来对麦克风所录制的第二音频信号中扬声器播放第一音频信号所产生的回音信号进行回音处理,经过回音处理模块之后并不会增加原始音频信号幅度;因此,在回音处理模块中,不需要考虑麦克风所录制的第二音频信号而进行位数扩展处理。

可以理解地,当麦克风的高频谐振峰值比较高(比如大于8kHz)时,这种情况下,还可以取消麦克风模型对上述获得第一叠加的参考信号的声学响应处理;因此,在上述具体实现方式中,优选地,在所述获得第一叠加的参考信号之后,所述方法还包括:

获取所述麦克风的高频谐振峰值;

将所述麦克风的高频谐振峰值与预设的高频谐振峰值进行比较;

若所述麦克风的高频谐振峰值高于预设的高频谐振峰值,则取消所述麦克风模型对所述第一叠加的参考信号的声学响应处理。

需要说明的是,如果第一麦克风(比如图9中的麦克风902)的频宽比较宽,也就是说,麦克风902的高频谐振峰值比较高;这种情况下,并不需要通过麦克风模型906对所得到的第一叠加的参考信号进行声学响应处理,也即不需要通过麦克风模型906对回音估计信号进行修正,所得到的第一叠加的参考信号就可以作为回音估计信号。举例来说,结合图9所示的电路结构90,在通过求和模块905得到第一叠加的参考信号之后,会根据麦克风902的频宽进行判断,即将麦克风902的高频谐振峰值与预设的高频谐振峰值进行比较;假定预设的高频谐振峰值为8kHz,若麦克风902的高频谐振峰值为5kHz,即麦克风902的高频谐振峰值低于预设的高频谐振峰值,则需要麦克风模型906对第一叠加的参考信号进行声学响应处理,从而可以得到修正后的回音估计信号;若麦克风902的高频谐振峰值为9kHz,即麦克风902的高频谐振峰值高于预设的高频谐振峰值,则不需要麦克风模型906对第一叠加的参考信号进行声学响应处理,参见图10,其示出了本发明实施例提供的另一种四扬声器和单麦克风的电路结构100的应用示例;如图10所示,该电路结构100包括:扬声器组1001、麦克风1002、扬声器模型组1003、延时衰减模块组1004、求和模块1005、回音处理模块1006、语音处理模块1007、降噪及其他处理模块1008、解码器1009、编码器1010和发射端1011;其中,扬声器组1001包括第一扬声器1001a、第二扬声器1001b、第三扬声器1001c与第四扬声器1001d,所述扬声器模型组1003包括第一扬声器模型1003a、第二扬声器模型1003b、第三扬声器模型1003c和第四扬声器模型1003d,所述延时衰减模块组1004包括第一延时衰减模块1004a、第二延时衰减模块1004b、第三延时衰减模块1004c和第四延时衰减模块1004d。具体地,针对图10所示的电路结构100与图9所示的电路结构90相比,只是减少了麦克风模型。也就是说,在图10中,取消了麦克风模型对第一叠加的参考信号进行声学响应处理的步骤;在得到叠加的参考信号之后,将该叠加的参考信号直接作为回音估计信号输入回音处理模块1006以对麦克风1002录制的第二音频信号进行回音处理;其他具体的工作过程同前述图9所示的电路结构90的工作过程相同,这里不再详述。

可以理解地,麦克风的数量可以是一个或多个,在本发明实施例中对此不作具体限定。当麦克风数量是两个时,对应建立的麦克风模型数量为两个;这时候,在上述实现方式中,具体地,所述麦克风数量为两个,对应的麦克风模型数量为两个,所述根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号,包括:

将所述第一音频信号输入每一个扬声器模型进行声学响应处理,获得每一个扬声器的声学响应信号;

根据所述每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息、所述声学响应信号对应的第二延时及衰减信息,获得每一个扬声器的第一参考信号和第二参考信号;其中,所述第一延时及衰减信息是基于每一个扬声器与所述麦克风中的第一麦克风之间的距离及位置信息对应得到的,所述第二延时及衰减信息是基于每一个扬声器与所述麦克风中的第二麦克风之间的距离及位置信息对应得到的;

将所述每一个扬声器的所述第一参考信号和所述第二参考信号分别进行叠加及位数扩展处理,对应获得第一叠加的参考信号和第二叠加的参考信号;

基于所述麦克风模型中的第一麦克风模型,对所述第一叠加的参考信号进行声学响应处理,获得所述第一音频信号的第一回音估计信号;

基于所述麦克风模型中的第二麦克风模型,对所述第二叠加的参考信号进行声学响应处理,获得所述第一音频信号的第二回音估计信号。

举例来说,参见图11,其示出了本发明实施例提供的一种四扬声器和双麦克风的电路结构110的应用示例;如图11所示,该电路结构110包括:扬声器组1101、第一麦克风1102a、第二麦克风1102b、扬声器模型组1103、第一延时衰减模块组1104-1、第二延时衰减模块组1104-2、第一求和模块1105a、第二求和模块1105b、第一麦克风模型1106a、第二麦克风模型1106b、第一回音处理模块1107a、第二回音处理模块1107b、语音处理模块1108、降噪及其他处理模块1109、解码器1111、编码器1111和发射端1112;其中,扬声器组1101包括第一扬声器1101a、第二扬声器1101b、第三扬声器1101c与第四扬声器1101d,所述扬声器模型组1103包括第一扬声器模型1103a、第二扬声器模型1103b、第三扬声器模型1103c和第四扬声器模型1103d,所述第一延时衰减模块组1104-1包括第一延时衰减模块1104-1a、第二延时衰减模块1104-1b、第三延时衰减模块1104-1c和第四延时衰减模块1104-1d,所述第二延时衰减模块组1104-2包括第五延时衰减模块1104-2a、第六延时衰减模块1104-2b、第七延时衰减模块1104-2c和第八延时衰减模块1104-2d;这里,扬声器模型组1103是基于扬声器组1101对应建立的,第一延时衰减模块组1104-1和第二延时衰减模块组1104-2是对经过扬声器模型组1103后的音频信号进行对应的延时及衰减。具体地,射频端1112将接收的第一音频信号发送至解码器1111,由解码器1111对该第一音频信号进行解调,解调后的第一音频信号进入语音处理模块1108进行降噪、滤波等预处理;然后该第一音频信号会被扬声器组1101进行播放;第一麦克风1102a录制的第二音频信号中会包括由扬声器组1101播放的第一音频信号所产生的回音信号,第二麦克风1102b录制的第二音频信号中也会包括由扬声器组1101播放的第一音频信号所产生的回音信号;为了尽可能消除这些回音信号,在扬声器组1101前端提取第一音频信号,若这四个扬声器所输入的第一音频信号不同,将提取的第一音频信号对应输入到第一扬声器模型1103a、第二扬声器模型1103b、第三扬声器模型1103c和第四扬声器模型1103d,然后进行声学响应分析处理,可以得到扬声器组1101中每一个扬声器的声学响应信号;由于声音在传播过程中需要时间,而且在传播中能量也会衰减,为了表示扬声器播放的声音传递到麦克风位置的延时及衰减量,需要根据第一麦克风1102a与扬声器组1101中每一个扬声器的距离及位置信息来得到第一延时衰减模块组1104-1中对应的延时及衰减量,根据第二麦克风1102b与扬声器组1101中每一个扬声器的距离及位置信息来得到第二延时衰减模块组1104-2中对应的延时及衰减量;该声学响应信号会分别输入到第一延时衰减模块组1104-1和第一延时衰减模块组1104-2进行延时衰减处理,得到8路延时及衰减之后的声音信号;针对通过第一延时衰减模块组1104-1得到的4路延时及衰减之后的第一参考信号,将第一参考信号输入到第一求和模块1105a进行叠加及位数扩展处理,可以得到第一叠加的参考信号;第一叠加的参考信号会输入到第一麦克风模型1106a,根据第一麦克风模型1106a的声压激励进行声学响应处理,进而可以得到经过第一麦克风1102a录制的第一回音估计信号;针对通过第二延时衰减模块组1104-2得到的4路延时及衰减之后的第二参考信号,将第二参考信号输入到第二求和模块1105b进行叠加及位数扩展处理,可以得到第二叠加的参考信号;第二叠加的参考信号会输入到第二麦克风模型1106b,根据第二麦克风模型1106b的声压激励进行声学响应处理,进而可以得到经过第二麦克风1102b录制的第二回音估计信号;第一回音估计信号和第一麦克风1102a录制的第二音频信号共同输入到第一回音处理模块1107a进行回音处理,从而可以尽可能消除第一麦克风1102a所录制的第二音频信号中扬声器组1101播放的第一音频信号所产生的回音信号,第二回音估计信号和第二麦克风1102b录制的第二音频信号共同输入到第二回音处理模块1107b进行回音处理,从而可以尽可能消除第二麦克风1102b所录制的第二音频信号中扬声器组1101播放的第一音频信号所产生的回音信号;回音处理之后的音频信号再通过降噪及其他处理模块1109进行降噪处理,然后在编码器1111中被调制,最后通过传输线路由发射端1112发送出去。

需要说明的是,在第一回音处理模块或者第二回音处理模块中,不需要考虑第一麦克风和第二麦克风所录制的第二音频信号而进行位数扩展处理。

还需要说明的是,当麦克风数量为多个时(比如图11中的第一麦克风1102a和第二麦克风1102b),每个麦克风中的回音信号的参考信号(即回音估计信号)需要单独得到,并且还需要单独进行回声处理(比如图11中的第一回音处理模块1107a和第二回音处理模块1107b);但是对于扬声器模型所进行的声学响应处理,由于扬声器组是共用的,而且扬声器模型和延时衰减模块分开设置,这样先考虑扬声器模型,再考虑扬声器和麦克风之间的位置及距离信息,使得扬声器前端的音频信号只需要经过一次扬声器模型的声学响应处理即可,有助于减少在多麦克风的设计方案中的计算工作量。

可以理解地,当第一麦克风或者第二麦克风的高频谐振峰值比较高(比如大于8kHz)时,这种情况下,还可以取消该麦克风对应的麦克风模型对上述第一叠加的参考信号或者第二叠加的参考信号的声学响应处理;因此,在上述具体实现方式中,优选地,在所述对应获得第一叠加的参考信号和第二叠加的参考信号之后,所述方法还包括:

获取所述第一麦克风的高频谐振峰值和所述第二麦克风的高频谐振峰值;

将所述第一麦克风的高频谐振峰值和所述第二麦克风的高频谐振峰值分别与预设的高频谐振峰值进行比较;

若所述第一麦克风的高频谐振峰值高于预设的高频谐振峰值,则取消所述第一麦克风模型对所述第一叠加的参考信号的声学响应处理;

若所述第二麦克风的高频谐振峰值高于预设的高频谐振峰值,则取消所述第二麦克风模型对所述第二叠加的参考信号的声学响应处理。

需要说明的是,如果第一麦克风或者第二麦克风的频宽比较宽,也就是说,麦克风的高频谐振峰值较高;这种情况下,并不需要通过第一麦克风模型或者第二麦克风模型对所得到的叠加的参考信号进行声学响应处理,也即不需要通过第一麦克风模型或者第二麦克风模型对回音参考信号进行修正。举例来说,结合图11所示的电路结构110,在通过第一求和模块1105a得到第一叠加的参考信号之后,会根据第一麦克风1102a的频宽进行判断,即将第一麦克风1102a的高频谐振峰值与预设的高频谐振峰值进行比较;假定预设的高频谐振峰值为8kHz,若第一麦克风1102a的高频谐振峰值为5kHz,即第一麦克风1102a的高频谐振峰值低于预设的高频谐振峰值,则需要第一麦克风模型1106a对第一叠加的参考信号进行声学响应处理,从而可以得到修正后的第一回音估计信号;若第一麦克风1102a的高频谐振峰值为9kHz,即第一麦克风1102a的高频谐振峰值高于预设的高频谐振峰值,则不需要第一麦克风模型1106a对叠加的参考信号进行声学响应处理,即不需要第一麦克风模型1106a对第一回音估计信号进行修正,也就取消了第一麦克风模型1106a对第一叠加的参考信号进行声学响应处理的步骤;基于上述相同的方法,也可以根据第二麦克风1102b的频宽进行判断,即将第二麦克风1102b的高频谐振峰值与预设的高频谐振峰值进行比较,从而可以得到是否需要第二麦克风模型1106b对第二回音估计信号的修正;当第二麦克风1102b的高频谐振峰值高于预设的高频谐振峰值,则不需要第二麦克风模型1106b对叠加的参考信号进行声学响应处理,也就取消了第二麦克风模型1106b对第二叠加的参考信号进行声学响应处理的步骤。

对于图8所示的技术方案,在一种可能的实现方式中,所述将所述第一音频信号输入每一个扬声器模型进行声学响应处理,获得每一个扬声器的声学响应信号,具体包括:

若所述至少一个扬声器所接收的第一音频信号相同,则将所述第一音频信号分别输入所述至少一个扬声器模型并进行声学响应处理,获得每一个扬声器的声学响应信号;

若所述至少一个扬声器所接收的第一音频信号不同,则将所述第一音频信号对应输入所述至少一个扬声器模型并进行声学响应处理,获得每一个扬声器的声学响应信号。

需要说明的是,对于多个扬声器所接收的第一音频信号,这多个扬声器所接收的第一音频信号可以是相同的,此时同一路音频信号分别输入到多个扬声器,同时该音频信号也会分别输入到多个扬声器模型,比如图9所示的电路结构90;另外,这多个扬声器所接收的第一音频信号也可以是不同的,此时这些音频信号会对应输入到多个扬声器,同时这些音频信号也会对应输入到多个扬声器模型,比如图12所示的电路结构120;参见图12,其示出了本发明实施例提供的又一种四扬声器和单麦克风的电路结构120的应用示例;如图12所示,该电路结构120包括:扬声器组1201、麦克风1202、扬声器模型组1203、延时衰减模块组1204、求和模块1205、麦克风模型1206、回音处理模块1207、语音处理模块1208、降噪及其他处理模块1209、解码器1210、编码器1211和发射端1212;其中,扬声器组1201包括第一扬声器1201a、第二扬声器1201b、第三扬声器1201c与第四扬声器1201d,所述扬声器模型组1203包括第一扬声器模型1203a、第二扬声器模型1203b、第三扬声器模型1203c和第四扬声器模型1203d,所述延时衰减模块组1204包括第一延时衰减模块1204a、第二延时衰减模块1204b、第三延时衰减模块1204c和第四延时衰减模块1204d;还需要说明的是,图12所示的电路结构120与图9所示的电路结构90功能类似,唯一区别是第一音频信号经过语音处理模块1208之后分为4路第一音频信号,这4路第一音频信号对应进入到扬声器组1201并由扬声器组1201进行播放,同时将第一扬声器1201a、第二扬声器1201b、第三扬声器1201c与第四扬声器1201d所接收的第一音频信号对应输入到第一扬声器模型1203a、第二扬声器模型1203b、第三扬声器模型1203c和第四扬声器模型1203d中;其他处理的工作过程与图9所示的电路结构90的工作过程相同,这里不再详述。

本实施例提供了一种信号处理方法,应用于具有至少一个扬声器和至少一个麦克风的信号处理装置,接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号;从而有效地解决了当扬声器或者麦克风的高频谐振峰值较低时所容易产生的回音啸叫现象,还减小了多麦克风设计中的计算工作量。

实施例二

基于前述实施例相同的发明构思,参见图13,其示出了本发明实施例提供的一种信号处理方法的详细流程,结合图10所示的一种四扬声器和单麦克风的电路结构100的应用示例,该详细流程可以包括:

S1301:从扬声器组1001前端提取一路数字信号,得到第一音频信号;

S1302:将所述第一音频信号分别输入第一扬声器模型1003a、第二扬声器模型1003b、第三扬声器模型1003c和第四扬声器模型1003d以进行声学响应处理,获得每一个扬声器的声学响应信号;

S1303:根据所述扬声器组1001中每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息,获得每一个扬声器的参考信号;

S1304:将所述每一个扬声器的参考信号进行叠加及位数扩展处理,获得叠加的参考信号,并将所述叠加的参考信号作为回音估计信号;

S1305:将所述回音估计信号输入回音处理模块1006以对麦克风1002录制的第二音频信号进行回音处理。

需要说明的是,上述详细流程没有考虑麦克风模型对回音估计信号的修正。举例来说,以图10所示的电路结构100为例,结合前述实例,当得到叠加的参考信号之后,将叠加的参考信号直接作为回音估计信号,然后利用回音估计信号来对麦克风1002录制的第二音频信号进行回音处理。

参见图14,其示出了本发明实施例提供的另一种信号处理方法的详细流程,结合图9所示的一种四扬声器和单麦克风的电路结构90的应用示例,该详细流程可以包括:

S1401:从扬声器组901前端提取一路数字信号,得到第一音频信号;

S1402:将所述第一音频信号分别输入第一扬声器模型903a、第二扬声器模型903b、第三扬声器模型903c和第四扬声器模型903d以进行声学响应处理,获得每一个扬声器的声学响应信号;

S1403:根据所述扬声器组901中每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息,获得每一个扬声器的参考信号;

S1404:将所述每一个扬声器的参考信号进行叠加及位数扩展处理,获得叠加的参考信号;

S1405:获取麦克风902的高频谐振峰值;

S1406:将麦克风902的高频谐振峰值与预设的高频谐振峰值进行比较;

S1407:若麦克风902的高频谐振峰值高于预设的高频谐振峰值,则将叠加的参考信号直接作为回音估计信号;

S1408:若麦克风902的高频谐振峰值不高于预设的高频谐振峰值,则基于麦克风模型906对叠加的参考信号进行声学响应处理,获得回音估计信号;

S1409:将所述回音估计信号输入回音处理模块907以对麦克风902录制的第二音频信号进行回音处理。

需要说明的是,与图12所示的详细流程相比,主要是增加了麦克风模型以及是否需要麦克风模型对叠加的参考信号进行声学响应处理的判断。举例来说,以图9所示的电路结构90为例,结合前述实例,当得到叠加的参考信号之后,获取麦克风902的高频谐振峰值;假定预设的高频谐振峰值为8kHz,若麦克风902的高频谐振峰值为5kHz,即麦克风902的高频谐振峰值低于预设的高频谐振峰值,则需要麦克风模型906对叠加的参考信号进行声学响应处理,从而可以得到修正后的回音估计信号,利用修正后的回音估计信号对麦克风902所录制的第二音频信号进行回音处理;若麦克风902的高频谐振峰值为9kHz,即麦克风902的高频谐振峰值高于预设的高频谐振峰值,则不需要麦克风模型906对叠加的参考信号进行声学响应处理,即不需要麦克风模型906对回音估计信号进行修正,直接利用叠加的参考信号作为回音估计信号来对麦克风902录制的第二音频信号进行回音处理。

参见图15,其示出了本发明实施例提供的又一种信号处理方法的详细流程,结合图12所示的一种四扬声器和单麦克风的电路结构120的应用示例,该详细流程可以包括:

S1501:分别从扬声器组1201中每一个扬声器前端提取一路数字信号,得到四路第一音频信号;

S1502:将所述四路第一音频信号对应输入第一扬声器模型1203a、第二扬声器模型1203b、第三扬声器模型1203c和第四扬声器模型1203d以进行声学响应处理,获得每一个扬声器的声学响应信号;

S1503:根据所述扬声器组1201中每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息,获得每一个扬声器的参考信号;

S1504:将所述每一个扬声器的参考信号进行叠加及位数扩展处理,获得叠加的参考信号;

S1505:获取麦克风1202的高频谐振峰值;

S1506:将麦克风1202的高频谐振峰值与预设的高频谐振峰值进行比较;

S1507:若麦克风1202的高频谐振峰值高于预设的高频谐振峰值,则将叠加的参考信号作为回音估计信号;

S1508:若麦克风1202的高频谐振峰值不高于预设的高频谐振峰值,则基于麦克风模型1206对叠加的参考信号进行声学响应处理,获得回音估计信号;

S1509:将所述回音估计信号输入回音处理模块1207以对麦克风1202录制的第二音频信号进行回音处理。

需要说明的是,与图14所示的详细流程相比,主要是考虑了扬声器组中每一个扬声器所输入的音频信号可能存在不同的情况;其他处理步骤与图14所示的详细流程的处理步骤相同,这里不再进行详述。

参见图16,其示出了本发明实施例提供的再一种信号处理方法的详细流程,结合图11所示的一种四扬声器和双麦克风的电路结构110的应用示例,该详细流程可以包括:

S1601:分别从扬声器组1101中每一个扬声器前端提取一路数字信号,得到四路第一音频信号;

S1602:将所述四路第一音频信号对应输入第一扬声器模型1103a、第二扬声器模型1103b、第三扬声器模型1103c和第四扬声器模型1103d以进行声学响应处理,获得每一个扬声器的声学响应信号;

S1603:根据所述扬声器组1101中每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息,获得每一个扬声器的第一参考信号;

S1604:将所述每一个扬声器的第一参考信号进行叠加及位数扩展处理,获得第一叠加的参考信号;

S1605:获取第一麦克风1102a的高频谐振峰值;

S1606:将第一麦克风1102a的高频谐振峰值与预设的高频谐振峰值进行比较;

S1607:若第一麦克风1102a的高频谐振峰值高于预设的高频谐振峰值,则将所述第一叠加的参考信号作为第一回音估计信号;

S1608:若第一麦克风1102a的高频谐振峰值不高于预设的高频谐振峰值,则基于第一麦克风模型1106a对所述第一叠加的参考信号进行声学响应处理,获得第一回音估计信号;

S1609:将所述第一回音估计信号输入第一回音处理模块1107a以对第一麦克风1102a录制的第二音频信号进行第一回音处理;

S1610:根据所述扬声器组1101中每一扬声器的声学响应信号以及所述声学响应信号对应的第二延时及衰减信息,获得每一个扬声器的第二参考信号;

S1611:将所述每一个扬声器的第二参考信号进行叠加及位数扩展处理,获得第二叠加的参考信号;

S1612:获取第二麦克风1102b的高频谐振峰值;

S1613:将第二麦克风1102b的高频谐振峰值与预设的高频谐振峰值进行比较;

S1614:若第二麦克风1102b的高频谐振峰值高于预设的高频谐振峰值,则将所述第二叠加的参考信号作为第二回音估计信号;

S1615:若第二麦克风1102b的高频谐振峰值不高于预设的高频谐振峰值,则基于第二麦克风模型1106b对所述第二叠加的参考信号进行声学响应处理,获得第二回音估计信号;

S1616:将所述第二回音估计信号输入第二回音处理模块1107b以对第二麦克风1102b录制的第二音频信号进行第二回音处理;

S1617:将经过第一回音处理和第二回音处理后的音频信号输入降噪及其他处理模块1109。

需要说明的是,与图15所示的详细流程相比,主要是考虑了双麦克风的回音处理情况;其他处理步骤与图15所示的详细流程的处理步骤基本相同,这里不再进行详述。需要说明的是,对于双麦克风的应用,每个麦克风中的回音信号的参考信号(即回音估计信号)需要单独得到,并且还需要单独进行回声处理(比如图11中的第一回音处理模块1107a和第二回音处理模块1107b);但是对于扬声器模型所进行的声学响应处理,由于扬声器组是共用的,而且扬声器模型和延时衰减模块分开设置,这样先考虑扬声器模型,再考虑扬声器和每个麦克风之间的位置及距离信息,使得扬声器前端的音频信号只需要经过一次扬声器模型的声学响应处理即可,从而有助于减少在多麦克风的设计方案中的计算工作量。

前述实施例主要是针对四个扬声器的回音信号进行回音处理,本发明实施例也适应于其他多扬声器、多麦克风的回音处理,甚至也适应于单扬声器的回音处理;在本发明实施例中,对此不作具体限定。

参见图17,其示出了本发明实施例提供的再一种信号处理方法的详细流程,结合图18所示的一种单扬声器和单麦克风的电路结构180的应用示例,该详细流程可以包括:

S1701:从扬声器1801前端提取一路数字信号,得到第一音频信号;

S1702:将所述第一音频信号输入扬声器模型1803以进行声学响应处理,获得扬声器1801的声学响应信号;

S1703:根据所述扬声器1801的声学响应信号以及所述声学响应信号对应的延时及衰减信息,获得扬声器1801的参考信号;

S1704:获取麦克风1802的高频谐振峰值;

S1705:将麦克风1802的高频谐振峰值与预设的高频谐振峰值进行比较;

S1706:若麦克风1802的高频谐振峰值高于预设的高频谐振峰值,则将所述参考信号作为回音估计信号;

S1707:若麦克风1802的高频谐振峰值不高于预设的高频谐振峰值,则基于麦克风模型1805对所述参考信号进行声学响应处理,获得回音估计信号;

S1708:将所述回音估计信号输入加法器1806以对麦克风1802录制的第二音频信号进行回音处理。

举例来说,以图18所示的电路结构180为例,如图18所示,该电路结构180包括:扬声器1801、麦克风1802、扬声器模型1803、延时衰减模块1804、麦克风模型1805、加法器1806、语音处理模块1807、降噪及其他处理模块1808、解码器1809、编码器1810和发射端1811;其中,扬声器模型1803是基于扬声器1801对应建立的,延时衰减模块1804是对经过扬声器模型1803后的音频信号进行对应的延时及衰减,延时及衰减信息是根据扬声器1801与麦克风1802之间的距离及位置信息得到的,加法器1806的功能和回音处理模块相同,主要就是用于对麦克风1802所录制的第二音频信号中扬声器1801播放的第一音频信号所产生的回音信号进行回音处理。针对如图18所示的电路结构的具体工作过程同前述多扬声器的电路结构的具体工作过程类似,这里不再详述。

参见图19,其示出了本发明实施例提供的再一种信号处理方法的详细流程,结合图20所示的一种双扬声器和单麦克风的电路结构200的应用示例,该详细流程可以包括:

S1901:从第一扬声器2001a、第二扬声器2001b前端分别提取一路数字信号,得到二路第一音频信号;

S1902:将所述二路第一音频信号对应输入第一扬声器模型2003a、第二扬声器模型2003b以进行声学响应处理,获得每一个扬声器的声学响应信号;

S1903:根据所述每一个扬声器的声学响应信号以及第一延时衰减模块2004a和第二延时衰减模块2004b,获得每一个扬声器的参考信号;

S1904:将所述每一个扬声器的参考信号进行叠加及位数扩展处理,获得叠加的参考信号;

S1905:获取麦克风2002的高频谐振峰值;

S1906:将麦克风2002的高频谐振峰值与预设的高频谐振峰值进行比较;

S1907:若麦克风2002的高频谐振峰值高于预设的高频谐振峰值,则将叠加的参考信号作为回音估计信号;

S1908:若麦克风2002的高频谐振峰值不高于预设的高频谐振峰值,则基于麦克风模型2006对叠加的参考信号进行声学响应处理,获得回音估计信号;

S1909:将所述回音估计信号输入回音处理模块2007以对麦克风2002录制的第二音频信号进行回音处理。

需要说明的是,第一延时信息举例来说,以图20所示的电路结构200为例,如图20所示,该电路结构200包括:第一扬声器2001a、第二扬声器2001b、麦克风2002、第一扬声器模型2003a、第二扬声器模型2003b、第一延时衰减模块2004a、第二延时衰减模块2004b、求和模块2005、麦克风模型2006、加法器2007、语音处理模块2008、降噪及其他处理模块2009、解码器2010、编码器2011和发射端2012;其中,加法器2007的功能和回音处理模块相同,针对如图20所示的电路结构的具体工作过程同前述多扬声器的电路结构(比如图11)的具体工作过程类似,这里不再详述。

通过上述实施例,对前述实施例的具体实现进行了详细阐述,从中可以看出,通过前述实施例的技术方案,从而有效地解决了当扬声器或者麦克风的高频谐振峰值较低时所容易产生的回音啸叫现象,还减小了多麦克风设计中的计算工作量。

实施例三

基于前述实施例相同的发明构思,参见图21,其示出了本发明实施例提供的一种信息处理装置210的组成,所述信号处理装置210可以包括:至少一个扬声器2101、至少一个麦克风2102、第一接收部分2103、第一获取部分2104、第二接收部分2105和第二获取部分2106,其中,

所述第一接收部分2103,配置为接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;

所述第一获取部分2104,配置为根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;

所述第二接收部分2105,配置为利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;

所述第二获取部分2106,配置为从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号。

在上述方案中,参见图22,所述信号处理装置210还包括预处理部分2107,配置为:

对所述第一音频信号进行解调制及语音预处理;其中,所述第一音频信号是由远端设备产生并进行发送。

在上述方案中,参见图23,所述信号处理装置210还包括建模部分2108,配置为:

根据所述至少一个扬声器的特性信息,对应建立至少一个扬声器模型;其中,所述至少一个扬声器的特性信息包括所述至少一个扬声器对应的电路信息和结构信息;

根据所述至少一个麦克风的特性信息,对应建立至少一个麦克风模型;其中,所述至少一个麦克风的特性信息包括所述至少一个麦克风对应的电路信息和结构信息。

在上述方案中,所述第一获取部分2104,具体配置为:

将所述第一音频信号输入每一个扬声器模型进行声学响应处理,获得每一个扬声器的声学响应信号;

根据所述每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息,获得每一个扬声器的第一参考信号;其中,所述第一延时及衰减信息是基于每一个扬声器与所述麦克风之间的距离及位置信息对应得到的;

将所述每一个扬声器的所述第一参考信号进行叠加及位数扩展处理,获得第一叠加的参考信号;

基于所述麦克风模型,对所述第一叠加的参考信号进行声学响应处理,获得所述第一音频信号的第一回音估计信号。

在上述方案中,参见图24,所述信号处理装置210还包括第一比较部分2109,配置为:

获取所述麦克风的高频谐振峰值;

将所述麦克风的高频谐振峰值与预设的高频谐振峰值进行比较;

若所述麦克风的高频谐振峰值高于预设的高频谐振峰值,则取消所述麦克风模型对所述第一叠加的参考信号的声学响应处理。

在上述方案中,所述第一获取部分2104,具体配置为:

将所述第一音频信号输入每一个扬声器模型进行声学响应处理,获得每一个扬声器的声学响应信号;

根据所述每一扬声器的声学响应信号以及所述声学响应信号对应的第一延时及衰减信息、所述声学响应信号对应的第二延时及衰减信息,获得每一个扬声器的第一参考信号和第二参考信号;其中,所述第一延时及衰减信息是基于每一个扬声器与所述麦克风中的第一麦克风之间的距离及位置信息对应得到的,所述第二延时及衰减信息是基于每一个扬声器与所述麦克风中的第二麦克风之间的距离及位置信息对应得到的;

将所述每一个扬声器的所述第一参考信号和所述第二参考信号分别进行叠加及位数扩展处理,对应获得第一叠加的参考信号和第二叠加的参考信号;

基于所述麦克风模型中的第一麦克风模型,对所述第一叠加的参考信号进行声学响应处理,获得所述第一音频信号的第一回音估计信号;

基于所述麦克风模型中的第二麦克风模型,对所述第二叠加的参考信号进行声学响应处理,获得所述第一音频信号的第二回音估计信号。

在上述方案中,参见图25,所述信号处理装置210还包括第二比较部分2110,配置为:

获取所述第一麦克风的高频谐振峰值和所述第二麦克风的高频谐振峰值;

将所述第一麦克风的高频谐振峰值和所述第二麦克风的高频谐振峰值分别与预设的高频谐振峰值进行比较;

若所述第一麦克风的高频谐振峰值高于预设的高频谐振峰值,则取消所述第一麦克风模型对所述第一叠加的参考信号的声学响应处理;

若所述第二麦克风的高频谐振峰值高于预设的高频谐振峰值,则取消所述第二麦克风模型对所述第二叠加的参考信号的声学响应处理。

在上述方案中,所述第一获取部分2104,具体配置为:

若所述至少一个扬声器所接收的第一音频信号相同,则将所述第一音频信号分别输入所述至少一个扬声器模型并进行声学响应处理,获得每一个扬声器的声学响应信号;

若所述至少一个扬声器所接收的第一音频信号不同,则将所述第一音频信号对应输入所述至少一个扬声器模型并进行声学响应处理,获得每一个扬声器的声学响应信号。

可以理解地,在本实施例中,“部分”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是单元,还可以是模块也可以是非模块化的。

另外,在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

因此,本实施例提供了一种计算机存储介质,该计算机存储介质存储有信号处理程序,所述信号处理程序被至少一个处理器执行时实现上述实施例一所述信号处理的方法的步骤。

基于上述信号处理装置210的组成以及计算机存储介质,参见图26,其示出了本发明实施例提供的信号处理装置210的具体硬件结构,可以包括:网络接口2601、存储器2602和处理器2603;各个组件通过总线系统2604耦合在一起。可理解,总线系统2604用于实现这些组件之间的连接通信。总线系统2604除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图26中将各种总线都标为总线系统2604。其中,网络接口2601,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

存储器2602,用于存储能够在处理器2603上运行的计算机程序;

处理器2603,用于在运行所述计算机程序时,执行:

接收第一音频信号并由所述至少一个扬声器对所述第一音频信号进行播放;

根据至少一个扬声器模型、至少一个麦克风模型以及所述第一音频信号,获取所述第一音频信号对应的至少一个回音估计信号;其中,所述至少一个扬声器模型是基于所述至少一个扬声器得到的,所述至少一个麦克风模型是基于所述至少一个麦克风得到的;

利用所述至少一个麦克风接收第二音频信号;其中,所述第二音频信号包括由所述至少一个扬声器输出并通过所述至少一个麦克风接收的所述第一音频信号产生的回音信号;

从所述第二音频信号中减去所述第一音频信号对应的至少一个回音估计信号,获得回音处理后的音频信号。

可以理解,本发明实施例中的存储器2602可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本文描述的系统和方法的存储器2602旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器2603可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器2603中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2603可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2602,处理器2603读取存储器2602中的信息,结合其硬件完成上述方法的步骤。

可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本发明所述功能的其它电子单元或其组合中。

对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地,作为另一个实施例,处理器2603还配置为在运行所述计算机程序时,执行上述实施例一所述信号处理的方法的步骤。

需要说明的是:本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

37页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:信号处理方法、装置、电子设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!