具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种语音设备控制方法的流程图，该方法包括：

S101：获取显示设备输出的多媒体音频信号；

本步骤旨在获取显示设备输出的多媒体音频信号，在此对于如何获取显示设备的多媒体音频信号不作具体限定，可以通过语音设备与显示设备已建立的连接方式获取该多媒体音频信号，包括但不限于有线传输或者无线传输。在采用有线传输时，具体应根据显示设备输出的数据类型采用相应的接口，例如可以采用HDMI(High Definition MultimediaInterface，高清多媒体接口)接口或者DVI(Digital Visual Interface，数字视频接口)接口等等。而相应的，采用无线传输时，可以采用包括但不限于蓝牙、zigbee和蜂窝网络等无线传输。

需要注意的是，本步骤的目的在于获取多媒体音频信号。而通常显示设备仅包括多媒体数据，并未区分视频信号和音频信号。此时默认本步骤包括对多媒体数据的处理过程，并得到多媒体音频信号。此时，本步骤一种优选的执行过程如下：

S1011：获取显示设备输出的多媒体数据；

S1012：对所述多媒体数据进行信号分离，得到多媒体音频数据；

S1013：对所述多媒体音频数据进行频域转换，得到多媒体音频信号。

首先直接获取显示设备输出的多媒体数据，并对多媒体数据进行信号分离，从而得到多媒体音频数据，此后可以进行频域转换，将数据转换为多媒体音频信号。

S102：利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；

本步骤旨在采集环境声音数据，并生成对应的环境声音信号。环境声音数据包括语音操作指令和所述显示设备的声音数据，即当前环境下麦克风阵列检测到的所有环境声音，并转换为对应的环境声音信号。

在此对于本步骤所采用的麦克风阵列的具体参数不作限定，具体参数包括其麦克风类型、采样频率、最大拾音距离和麦克风级联方式等，可由本领域技术人员根据语音设备的具体应用环境作相应的设定。

其次，在生成对应的环境声音信号过程中，可以针对环境声音作相应的优化。例如可以执行阻抗匹配和电压放大等操作，以便于后续过程对环境声音信号的处理。麦克风阵列主要用于采集用户的语音指令，但在显示设备启用时，采集过程不可避免的接收到显示设备发出的声音、用户语音和环境声音。若麦克风阵列包含驻极体麦克风，对于驻极体麦克风而言，输出阻抗很高，不能将驻极体麦克输出直接与后级模块连接，因此需要阻抗匹配。另外，驻极体麦克风灵敏度一般为-60～-30db，环境声音信号经过麦克风后电压幅值比较低，只有几毫伏，系统不能直接处理这种小信号，易造成较大的误差。为达到较好的唤醒和识别效果，增加放大电路，提高环境声音信号的处理准确率。则此时执行本步骤生成对应的环境声音信号可以分为如下两个步骤：

S1021：对环境声音数据进行阻抗匹配，得到待处理声音信号；

S1022：利用放大电路放大待处理声音信号的电压幅值，得到环境声音数据对应的环境声音信号。

当然麦克风阵列还可以采用电容麦克风等其他麦克风，则在生成对应环境声音信号时，可以采用不同的环境声音优化方式，在此不一一举例说明。

S103：若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。

本步骤中，当同一时间段内多媒体音频信号和环境声音信号具备信号一致性时，对所述环境声音信号进行回声消除，从而降低环境声音信号中显示设备所发出的多媒体音频信号对用户语音指令的干扰。容易理解的是，本步骤默认在本步骤之前，或者在本步骤执行时进行同一时间段内多媒体音频信号和环境声音信号二者信号一致性的判断过程。本实施例对于如何实现信号一致性的判断不作具体限定。具体的，可以对多媒体音频信号和环境声音信号进行信号参数的比对，包括但不限于频率、幅值和相位之间的比对，且该比对过程为对以上信号参数中的至少一种进行比对，从而判定多媒体音频信号和环境声音信号是否具备信号一致性。

在本实施例的基础上，在执行回声消除前，可以先对环境声音信号进行优化处理，例如实现麦克风增益等。即先对环境声音信号进行时域到频域的转换，再对经过转换得到的信号执行麦克风增益，此后可以计算在同一时间段内多媒体音频信号和环境声音信号的一致性差异。麦克风增益能够较大地提高环境声音信号的输入范围，小信号输入下能够实现增益，而在大信号时不会有截幅。确保小信号输入时，增益值增加，信号能够足够放大。大信号输入时，增益值减少，保证信号不失真。

在多媒体音频信号和环境声音信号具备信号一致性时，执行回声消除，在此对于如何进行回声消除不作具体限定，例如可以采用语音自适应算法模拟回声信号，并从麦克风阵列采集的环境声音信号中减去模拟回声，实现回声消除。具体的，本步骤可以将多媒体音频信号作为参考信号，利用语音自适应回声消除算法对环境声音信号进行回声消除，从而得到语音操作指令。该语音操作指令由于去除了多媒体音频信号，相当于麦克风阵列接收的环境声音数据中去除了显示设备发出的声音，降低了显示设备外放声音对语音设备控制过程的干扰。

当然，若在同一时间段内多媒体音频信号和环境声音信号不具备信号一致性，还可以生成噪音提示，以提示用户当前显示设备的声音较大，影响语音设备对用户语音指令的识别。该噪音提示可直接由语音设备通过音箱发出，或者将噪音提示返回至显示设备，以在显示设备上显示相应的文字提示。

本申请实施例通过获取显示设备输出的多媒体音频信号，并获取麦克风阵列采集到的环境声音数据，包含显示设备发出的声音信号及其他声音，进而计算两个信号的在同一时间内的信号一致性，若二者具备信号一致性，则可以直接基于多媒体音频信号对麦克风阵列获取的环境声音信号进行回声消除，能够有效增强回声消除效果，提高声音信号的信噪比，从而提升用户体验

下文针对如何计算在同一时间段内所述多媒体音频信号和所述环境声音信号的一致性差异进行具体描述，参见图2，图2为本实施例提供的信号一致性比对过程流程图，其过程可以包括如下步骤：

S201：在多媒体音频信号和环境声音信号内分别截取相同数量的第一样本信号和第二样本信号；其中，样本信号包括信号的频率、幅值和相位；

S202：计算相同频率下第一样本信号和第二样本信号的幅值差和相位差；

S203：若在目标频率下幅值差和相位差均满足对应的置信区间，判定多媒体音频信号和环境声音信号在目标频率时可信；

S204：根据可信的频率数确定置信度，当置信度大于预设置信度时，确定多媒体音频信号和环境声音信号具备信号一致性。

第一样本信号源于多媒体音频信号，第二样本信号源于环境声音信号。在截取样本时，所参考的频率范围可以由本领域技术人员自由设定，通常可以参考人类发声频率。以相同间隔或者不等间隔截取样本信号。在此对于置信区间和预设置信度均不作限定，同样可以由本领域技术人员进行相应的设定。容易理解的是，预设置信度越高，多媒体音频信号与环境声音信号的相似度越高。

下文举例说明上述过程：

由于人声的频率f范围为100Hz～10Kz，在这一范围中按照相同间隔分别在多媒体音频信号和环境声音信号两个信号截取1000个样本：

多媒体音频信号的频率、幅值和相位如下：

频率：F1，F2，F3，……，F1000；

幅值：A1，A2，A3，……，A1000；

相位：B1，B2，B3，……，B1000；

环境声音信号的频率、幅值和相位如下：

频率：f1，f2，f3，……，f1000；且F1＝f1，F2＝f2，……F1000＝f1000；

幅值：a1，a2，a3，……，a1000；

相位：b1，b2，b3，……，b1000；

计算多媒体音频信号和环境声音信号两个信号在这1000个样本在频域内的幅值差△M和相位差△N，即：

ΔM₁＝A1-a1；

ΔM₂＝A2-a2；

……

ΔM₁₀₀₀＝A1000-a1000；

ΔN₁＝B1-b1；

ΔN₂＝B2-b2；

……

ΔN₁₀₀₀＝B1000-b1000；

此处假设幅值差和相位差的置信区间，如表1所示，幅值差置信区间为0db＜ΔM_x＜mdb；相位差置信区间为0°＜ΔN_x＜n°。

表1幅值差和相位差的置信区间

如果目标频率fx的幅值差△Mx和相位差△Nx均满足预设的置信区间内，则认为多媒体音频信号和环境声音信号在频率点fx是可信的，当有任意一个幅值差或者相位差不满足置信区间，则认为目标频率fx不可信。统计落可信的频率数P，当置信度δ满足：δ＝P/1000＞95％时，多媒体音频信号和环境声音信号两个信号具有一致性，多媒体音频信号能够作为环境声音信号有效的参考信号执行回声消除，两个信号具有一致性，否则两个信号不具有一致性。

参见图3，图3为本实施例提供的语音设备与显示设备执行语音控制交互时结构示意图，图3中，主要包括语音设备和显示设备，其中语音设备包括语音设备前端处理模块和语音设备后端处理模块。具体的，在实现如上述实施例的语音设备控制过程中，显示设备通过HDMI接口将多媒体数据输出至语音设备后端处理模块的HDMI输入模块，再发送至系统终端处理模块处理，在系统终端处理模块中可以从多媒体数据中分离出多媒体音频数据，并将该音频信号进行时域到频域的转换，得到多媒体音频信号，并将多媒体音频信号发送至信号比较模块。

另一方面，语音设备前端处理模块包括麦克风阵列，和阻抗匹配、放大电路。可以从图3看出，麦克风阵列能接收到显示设备的外放声音、外界噪音和用户语音，经过阻抗匹配、放大电路处理后传至语音设备后端处理模块的AD采样模块。

在语音设备后端处理模块中，AD采样模块用于执行数据采样，能够较大地提高声音信号的输入范围，小信号输入下能够唤醒，大信号时不会有截幅。FFT(fast Fouriertransform，快速傅里叶变换)变换模块将采样放大后的信号进行时域到频域的转换。

信号比较模块用于计算多媒体音频信号和环境声音信号的趋势一致性差异并给出判定结果。若在同一时间段内多媒体音频信号和环境声音信号具备信号一致性，回声消除模块基于所述多媒体音频信号对环境声音信号进行回声消除，此后语音操作执行模块可以进行用户语音识别处理。此外，也可以由系统终端处理模块执行语音操作执行模块所执行的数据处理。

下面对本申请实施例提供的语音设备控制系统进行介绍，下文描述的语音设备控制系统与上文描述的语音设备控制方法可相互对应参照。

参见图4，图4为本申请实施例所提供的一种语音设备控制系统结构示意图，本申请还提供一种语音设备控制系统，包括：

多媒体信号获取模块100，用于获取显示设备输出的多媒体音频信号；

环境声音采集模块200，用于利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；

信号比对控制模块300，用于若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。

基于上述实施例，作为优选的实施例，多媒体信号获取模块100包括：

获取单元，用于获取显示设备输出的多媒体数据；

信号分离单元，用于对所述多媒体数据进行信号分离，得到多媒体音频数据；

信号处理单元，用于对所述多媒体音频数据进行频域转换，得到多媒体音频信号。

基于上述实施例，作为优选的实施例，环境声音采集模块200包括：

阻抗匹配单元，用于对所述环境声音数据进行阻抗匹配，得到待处理声音信号；

信号放大单元，用于利用放大电路放大所述待处理声音信号的电压幅值，得到所述环境声音数据对应的环境声音信号。

基于上述实施例，作为优选的实施例，还包括：

噪音过大提示模块，用于若在同一时间段内所述多媒体音频信号和所述环境声音信号不具备信号一致性，生成噪音提示。

基于上述实施例，作为优选的实施例，还包括：

信号处理模块，用于对所述环境声音信号进行时域到频域的转换，并计算在同一时间段内所述多媒体音频信号和所述环境声音信号的一致性差异。

基于上述实施例，作为优选的实施例，所述信号处理模块包括：

信号截取单元，用于在所述多媒体音频信号和所述环境声音信号内分别截取相同数量的第一样本信号和第二样本信号；其中，所述样本信号包括信号的频率、幅值和相位；

信号截取单元，用于计算相同频率下所述第一样本信号和所述第二样本信号的幅值差和相位差；

可信判定单元，用于若在目标频率下所述幅值差和所述相位差均满足对应的置信区间，判定所述多媒体音频信号和所述环境声音信号在所述目标频率时可信；

一致性判定单元，用于根据可信的频率数确定置信度，当所述置信度大于预设置信度时，确定所述多媒体音频信号和所述环境声音信号具备信号一致性。

基于上述实施例，作为优选的实施例，信号比对控制模块300包括：

回声消除单元，用于将所述多媒体音频信号作为参考信号，利用语音自适应回声消除算法，对所述环境声音信号进行回声消除，得到语音操作指令。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种语音设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的本申请还提供了一种语音设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的语音设备控制方法的步骤。当然所述语音设备还可以包括各种网络接口，电源等组件，例如该语音设备可以具体为包含蓝牙功能和语音识别功能的智能音箱，或者为包含GPRS功能和语音识别功能的智能音箱等。请参见图5，图5为本申请实施例所提供的一种语音设备的结构示意图，本实施例的语音设备可以包括：处理器2101和存储器2102。

可选的，该语音设备还可以包括通信接口2103、输入单元2104和显示器2105和通信组件2106。

处理器2101、存储器2102、通信接口2103、输入单元2104均通过通信组件2105完成相互间的通信。

在本申请实施例中，该处理器2101，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。

该处理器可以调用存储器2102中存储的程序。具体的，处理器可以执行上文的实施例中语音设备所执行的操作。

存储器2102中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：

获取显示设备输出的多媒体音频信号；

利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；

若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。

在一种可能的实现方式中，该存储器2102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如话题检测功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据。

此外，存储器2102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

该通信接口2103可以为通信模块的接口，如GSM模块的接口，以及还可以包括多媒体信号相应的接口，例如DVI接口或者HDMI接口等等。

图5所示的语音设备的结构并不构成对本申请实施例中语音设备的限定，在实际应用中语音设备可以包括比图5所示的更多或更少的部件，或者组合某些部件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。