具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例所提供的方法实施例可以在计算机终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种语音信号处理的处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的语音信号指令处理的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例中提供了一种语音信号的处理方法，应用于上述计算机终端，图2是根据本发明实施例的语音信号的处理方法的流程图，该流程包括如下步骤：

步骤S102，接收语音指令信号；

步骤S104，判断所述语音指令信号是否包括安全敏感信息，在判定所述语音指令信号包括所述安全敏感信息的情况下，判断所述语音指令信号是否合法；

步骤S106，在判定所述语音指令信号为合法的情况下，响应所述语音指令信号。

上述语音信号的处理方法中，首先接收语音指令信号，其次，判断所述语音指令信号是否包括安全敏感信息，在判定所述语音指令信号包括所述安全敏感信息的情况下，判断所述语音指令信号是否合法，最后，在判定所述语音指令信号为合法的情况下，响应所述语音指令信号。采用上述技术方案，解决了相关技术中，语音指令信号交互存在安全风险的问题，有效地避免了执行不合法的语音信息造成安全隐患的问题，有效地提高了语音指令信号交互的可靠性和安全性。

步骤102中，智能家居系统检测到用户语音音频输入后，将语音音频文件上传至智能家居操作系统中，智能家居操作系统对语音音频文件进行分析，提取出声纹特征，如图4所示。智能家居系统具有多个终端，用户的语音音频从其它终端录入。智能家居系统包括智能家电，智能家电是指在传统家电设备功能的基础上，增加了AI功能，从而使得智能语音家电具有语音交互、生活娱乐及家电控制的功能。以智能冰箱为例，智能冰箱既可实现传统冰箱的食物储备环境的改善功能，还可实现查询天气、闹钟提醒、影音娱乐等功能。进一步地，随着物联网技术的应用及普及，手机可以实现对应用物联网技术的智能家居设备的操作与控制，成为了家庭生活的主要操作控制终端，能够实现控制的输入和数据的输出等功能，如用户的语音音频输入可以有手机录入并上传至智能家居操作系统中。本申请所指的智能家电或智能家居设备主要包括智能冰箱、智能手机、智能音箱、智能门禁等。所有智能家电产生和接收的数据都通过物联网上传至智能家居操作系统的服务器中，由智能家居操作系统的服务器对数据进行分析处理。用户可以使用手机移动终端通过网络登录到服务器中以获取和查看智能家电的数据。多个智能家电构成了多终端多模态的智能家居系统。

步骤104中，判断语音指令信号是否包括安全敏感信息，可以理解为判断语音指令信号是否包括了涉及用户的财产安全、个人隐私等信息，对此类信息的响应有可能会产生安全风险时，判断语音指令信号是否合法，还可以理解为该语音指令信号的请求者所产生的语音指令信号或其它信号内的信息是否与预存信息相匹配，从而验证该请求者是否具有该设备的合法使用权。

在一个示例性实施例中，判断语音指令信号是否包括安全敏感信息之后，该方法还包括：在判断语音指令信号是否包括安全敏感信息的结果为否的情况下，响应语音指令信号。

也就是说，语音指令信号经过判断并不包括安全敏感信息，及该语音指令信号的响应操作并不会对用户产生安全风险，智能家居操作系统对终端发出执行命令以响应该语音指令信号。在判断语音指令信号是否包括安全敏感信息之前，智能家居操作系统将对录入的语音音频文件进行语音识别和语义理解，分析出用户的交互意图。

在一个示例性实施例中，安全敏感信息包括支付信息、开门信息、打开燃气信息中的至少一个。

需要说明的是，安全敏感信息还可以包括个人隐私信息及可能造成智能家居设备损坏的信息等信息。例如，智能微波炉对带密封包装的物品进行加热任务时，会产生爆炸，进而损害智能微波炉，该响应操作所基于的控制信息即为安全敏感信息。支付信息可以理解为该语音指令信号的响应操作涉及支付的安全风险的语音指令信号所包含的信息。开门信息可以理解为该语音指令信号请求打开智能家居的大厅入户门的信息、或者是请求打开卧室的门的信息，还可以是请求打开保险柜的门的信息。

在一个示例性实施例中，判断语音指令信号是否包括安全敏感信息，包括：在语音指令信号包括娱乐信息、天气信息、时间信息中的至少一个的情况下，判断语音指令信号不包括安全敏感信息。所以，在语音指令信号不涉及音乐信息、天气信息、日历信息的情况下直接响应语音指令信号。

具体地，娱乐信息可以包括音乐信息、影像信息，时间信息可以包括闹钟信息、日历信息。

在一个示例性实施例中，判断语音指令信号是否合法，包括：获取发起语音指令信号的请求者的图像信息，根据图像信息判断图像信息与预存合法请求者图像信息是否一致；在图像信息与预存合法请求者图像信息一致的情况下，判断语音指令信号合法。

换言之，判断语音指令信号是否合法，需要将获取的语音指令信号的请求者的图像信息与预存的图像信息进行对比，仅在收集的图像信息与预存合法请求者图像信息一致地条件下，判断该语音指令信号合法并响应该语音指令信号，若收集的图像信息与预存合法请求者图像信息不一致，则拒绝响应该语音指令信号并提示拒绝访问。本实施例中的预存合法请求者图像信息由智能家居设备的合法使用者预先录入并储存与智能家居系统中。其中，图像信息包括人感识别信息。

进一步地，在用户录入声纹信息的基础上，智能家居操作系统根据用户账号下的智能家电具备的人感识别功能、其他的图像识别功能、以及APP端的识别功能综合判断用户本次交互的合法性，如合法则执行本次交互，如不合法则拒绝执行并结束本次会话。本申请的语音信号的处理方法建立了基于多终端多模态的安全语音交互系统，保障了语音交互的安全性。需要指出的是，人感识别主要由红外线感应器感应人体，结合图像识别的其它技术能够增加识别准确性。

需要说明的是，获取发起语音指令信号的请求者的图像信息也可以是智能家居系统的其它终端，以使用户操作更加便捷。例如，智能燃气灶不便于收集语音指令信号的请求者的图像信息，发起语音指令信号的请求者可通过智能油烟机等设备进行图像对比进而验证本次交互的合法性。进一步地，智能手机作为操作系统的主要操作控制终端，可以实现语音音频文件的录入、发起语音指令信号的请求者的图像文件的录入并将音频文件和图像文件上传至智能家居操作系统的服务器中。

在一个示例性实施例中，判断语音指令信号是否合法，包括：在图像信息与预存合法请求者图像信息不一致的情况下，接收验证信息，判断验证信息与预存验证信息是否一致；在验证信息与预存验证信息一致的情况下，判断语音指令信号合法；在验证信息与预设验证信息不一致的情况下，判断语音指令信号不合法。

进一步地，在图像信息与预存合法请求者图像信息不一致的情况下，智能家居系统将发出验证信息，获取的语音指令信号的请求者可在智能家居系统的终端进行查看并反馈至智能家居系统，上述终端包括但不限于智能手机，及该请求者使用手机查看验证信息，并通过网络将该验证信息上传到智能家居操作系统的服务器进行验证。智能家居系统将请求者反馈的验证信息与预存验证信息进行对比，若两者一致，则判断获取的语音指令信号合法，智能家居系统响应该语音指令信号；若两者不一致，则判断获取的语音指令信号不合法，智能家居系统拒绝响应该语音指令信号，并提示拒绝访问。

在一个示例性实施例中，判断语音指令信号是否合法，包括：判断图像信息与预存合法请求者图像信息是否一致，在图像信息与预存合法请求者图像信息不一致的情况下，判断语音指令信号不合法，在图像信息与预存合法请求者图像信息一致的情况下，判断语音指令信号合法，或者，判断语音指令信号是否合法，包括判断验证信息是否与预存验证信息是否一致，在验证信息与预存验证信息不一致的情况下，判断语音指令信号不合法，在验证信息与预存验证信息一致的情况下，判断语音指令信号合法。

在一个示例性实施例中，在判断语音指令信号是否包括安全敏感信息之前，方法还包括：判断语音指令信号是否为已知声纹信息，判断语音指令信号为已知声纹信息的情况下，判断语音指令信号是否包括安全敏感信息；判断语音指令信号不是已知声纹信息的情况下，直接拒绝响应语音指令信号。

判断语音指令信号是否包括已知声纹信息可以理解为智能家居操作系统将会对有终端录入并储存在智能家居操作系统的服务器中的语音指令信号进行分析并提取出声纹信息，将该声纹信息中的声纹特征与已知声纹信息中的声纹特征进行对比，若两者一致，则判定语音指令信号包括已知声纹信息；若两者不一致，则判定语音指令信号不包括已知声纹信息，直接拒绝响应语音指令信号。

在一个示例性实施例中，安全敏感信息包括以下至少之一：金融安全控制信息、空间安全控制信息、设备安全控制信息。

具体地，金融安全控制信息可以包括支付信息、空间安全控制信息可以包括开门信息、设备安全控制信息可以包括燃气灶开关信息。

为了更好的理解上述语音信号指令处理的处理方法的过程，以下再结合可选实施例对上述语音信号指令处理的实现方法流程进行说明，但不用于限定本发明实施例的技术方案。

在本实施例中提供了一种语音信号的处理方法，图3是根据本发明实施例的语音信号的处理方法的示意图，如图3所示，具体如下步骤：

步骤301：接收到语音指令信号；

步骤302：判断该语音指令信号是否包括已知声纹信息。若为否，执行步骤303，若为是，执行步骤304；

步骤303：提示未知用户，并拒绝响应；

步骤304：判断该语音指令信号是否包括安全敏感信息。若为否，执行步骤305，若为是，执行步骤306；

换言之，智能家居操作系统根据录入的音频文件中分析得到的语音指令信号完成语音识别及语义理解，分析出发起语音指令信号的请求者的交互意图，如意图为听歌为听歌、查天气、查日历等不涉及安全风险的功能，可以直接执行；如意图为支付、开门、开煤气等涉及财产与人身安全风险的，则进行下步判断。

步骤305：正常响应该语音指令信号；

步骤306：获取发起该语音指令信号的请求者的图像信息；

步骤307：判断图像信息是否与预存合法请求者图像信息一致。若为否，执行步骤308，若为是，执行步骤309；

步骤308：正常响应该语音指令信号；

步骤309：接收验证信息；

其中，上述验证信息由智能家居系统发出，由发起语音指令信号的请求者查看并反馈至智能家居操作系统的服务器进行验证。

步骤310：判断图像信息与预存验证信息是否一致，若为否，执行步骤311，若为是，执行步骤312；

步骤311：正常响应该语音指令信号；

步骤312：提示未知用户，并拒绝响应；

进一步地，当步骤312在连续3个周期内被执行时，智能家居系统可以进行锁定操作并向制定终端发出询问单。

上述语音信号的处理方法中，首先判断语音指令信号是否包括声纹信息，保证了用户的合法登录，其次，判断语音指令信号是否包括安全敏感信息，在不包括安全敏感信息的条件下，直接响应该语音指令信号，最后对包含了安全敏感信息的语音指令信号进行合法性判断，如合法则正常响应，如不合法则拒绝响应并提示。根据上述技术方案，避免了涉及安全风险的语音指令信号被直接响应从而对使用者的人身安全与利益造成损坏。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

本发明的实施例还提供了一种语音指令信号的处理装置，该处理装置包括接收模块，用于接收语音指令信号；判断模块，用于判断语音指令信号是否包括安全敏感信息，以及用于判断语音指令信号是否合法；响应模块，用于在判断模块判断语音指令信号合法的情况下，响应语音指令信号。

图5是根据本发明实施例的一种语音指令信号的处理装置的结构框图；如图5所示，包括：

接收模块42，用于接收语音指令信号；

接收模块42包括但不限于声卡、麦克风等，接收模块42可以设置于智能家居系统的各个终端上，用户可以向智能家居系统的用户账号中添加新的设备以不断增加智能家居系统的终端。

判断模块44，用于判断所述语音指令信号是否包括安全敏感信息，在判定所述语音指令信号包括所述安全敏感信息的情况下，判断所述语音指令信号是否合法；

响应模块46，在判定所述语音指令信号为合法的情况下，响应所述语音指令信号。

通过上述装置，接收语音指令信号；判断语音指令信号是否包括安全敏感信息，在语音指令信号包括安全敏感信息的情况下，判断语音指令信号是否合法；在语音指令信号为合法的情况下，响应语音指令信号。即通过对语音指令信号的合法性的判断解决了相关技术中语音指令信号都是仅通过输入的音频分析判断是否响应的问题，以及解决了现有技术中无法判断是否用户本人真实的操作，造成智能家居系统存在一定的安全风险的问题。采用本申请的具体实施例的技术方案，能够有效地提高语音交互的安全性。

在一个示例性实施例中，处理装置包括：图像处理模块，图像处理模块用于获取发出语音指令信号的请求者的图像信息。

需要说明的是，图像处理模块可设置于不同的终端中并统一上传至智能家居操作系统的服务器中，图像处理模块包括图像采集设备。需要说明的是，图像采集设备包括但不限于摄像头、数码相机、雷达、具有视频采集功能的图像采集卡。

在一个示例性实施例中，判断模块还用于判断语音指令信号是否包括已知声纹信息。

也就是说，判断模块还将语音指令信号进行分析，将分析出的声纹信息与已知声纹信息进行对比，若分析出的声纹信息与已知声纹信息匹配，则判断模块判断语音指令信号包含已知声纹信息。已知声纹信息存储于智能家居系统中。

发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，接收语音指令信号；

S2，判断语音指令信号是否包括安全敏感信息，在语音指令信号包括安全敏感信息的情况下，判断语音指令信号是否合法；

S3，在语音指令信号为合法的情况下，响应语音指令信号。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，接收语音指令信号；

S2，判断语音指令信号是否包括安全敏感信息，在语音指令信号包括安全敏感信息的情况下，判断语音指令信号是否合法；

S3，在语音指令信号为合法的情况下，响应语音指令信号。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的实施例还提供了一种智能家居系统，包括电子装置，该电子装置为上述任一电子装置的电子装置。

进一步地，智能家居系统可以采用的无线技术包括Wi-Fi、ZigBee、蓝牙等无线通信技术，其中基于ZigBee的无线通信具有功耗低、容量高抗干扰能力强，基于Wi-Fi的无线通信数据传输效率高、传输距离远。智能家居系统的功能可以涵盖智能化家居控制、娱乐影音、环境控制、家居安防、门铃门禁、健康监护以及其他特殊便利应用。

举例来说，智能家居系统包括智能燃气灶。用户发出语音指示，智能燃气灶或其他智能家居系统终端进行录入并上传至智能家居操作系统的服务器中，智能家居操作系统对音频文件进行语音识别，提取出包括声纹信息的语音信息，并将预存在智能家居系统中的已知语音信息进行对比，若对比结果显示为不匹配，则判断语音信息不包括已知声纹信息，智能燃气灶可以通过语音系统或显示系统提示用户拒绝访问并拒绝响应；若对比结果显示为匹配，则判断语音信息包括已知声纹信息，智能家居系统将进行下一步判断，即智能家居系统将判断语音信息是否包括安全敏感信息，智能家居系统将对语音信息进行语音分析和语义理解，分析得到用户本次的交互意图，若语音信息的响应操作中包括娱乐影音、查询天气、查询日历等不会造成人身安全风险的操作，则判断本次语音指令信号的语音信息不包括安全敏感信息，智能燃气灶或智能家居系统的其它终端将立即响应该语音指令信号；若语音信息的响应操作中包括打开开关、持续加热等可能造成人身安全风险的操作，则判断本次语音指令信号的语音信息包括安全敏感信息，则智能燃气灶或智能家居系统的其它终端将启动图像采集设备对发起语音指令信号的请求者进行图像采集，并将该图像文件上传至智能家居系统中，智能家居系统将对该图像文件进行图像识别，并提取出请求者的图像信息，智能家居系统将图像信息与储存在智能家居系统中的预存合法请求者图像信息进行对比，若图像信息与储存在智能家居系统中的预存合法请求者图像信息匹配，则判断图像信息与预存合法请求者图像信息一致，则智能燃气灶或智能家居系统的其它终端将立即响应该语音指令信号；若图像信息与储存在智能家居系统中的预存合法请求者图像信息不匹配，则判断图像信息与预存合法请求者图像信息不一致，智能家居系统发出验证信息，发起语音指令信号的请求者可以在智能家居系统的某一终端(如智能手环、智能手机、智能眼镜)查看验证信息并反馈至智能家居系统中，若用户反馈的验证信息与储存在智能家居系统中的预存验证信息匹配，则判断验证信息与储存在智能家居系统中的预存验证信息一致，则智能燃气灶或智能家居系统的其它终端将立即响应该语音指令信号；若用户反馈的验证信息与储存在智能家居系统中的预存验证信息匹配，则判断验证信息与储存在智能家居系统中的预存验证信息不一致，则智能燃气灶或智能家居系统的其它终端将通过显示组件或音箱组件提示发起语音指令信号的请求者拒绝访问并拒绝响应该语音指令信号。

进一步地，智能燃气灶包括接收模块、判断模块、响应模块以及图像处理模块。接收模块用于接收语音指令信号；判断模块用于判断语音指令信号是否包括安全敏感信息，以及用于判断语音指令信号是否合法；响应模块用于在判断模块判断语音指令信号合法的情况下，响应语音指令信号；图像处理模块用于获取发出语音指令信号的请求者的图像信息。智能燃气灶的接收模块可以是麦克风或声卡。

智能家居系统包括智能冰箱时，智能冰箱首先接收语音指令信号，再判断所述语音指令信号是否包括安全敏感信息，在所述语音指令信号包括所述安全敏感信息的情况下，判断所述语音指令信号是否合法，最后在所述语音指令信号为合法的情况下，响应所述语音指令信号。智能冰箱包括接收模块、判断模块、响应模块以及图像处理模块。接收模块用于接收语音指令信号；判断模块用于判断语音指令信号是否包括安全敏感信息，以及用于判断语音指令信号是否合法；响应模块用于在判断模块判断语音指令信号合法的情况下，响应语音指令信号；图像处理模块用于获取发出语音指令信号的请求者的图像信息。智能冰箱的响应模块包括蒸发器、压缩机等部件。

智能家居系统可以将新的家居设备添加至智能家居系统的用户账户中来，将会导致有越来越多的设备连入系统，不可避免地会产生更多的运行数据，如空调的温度和时钟数据、室内窗户的开关状态数据、煤气电表数据等，这些数据与个人和家庭的隐私形成前所未有的关联程度。如果数据保护不慎，不但会导致个人习惯等极其隐私的数据泄露，在关系家庭安全的数据，如门户状态等数据泄露会直接危害家庭安全，本申请的智能家居系统会对涉及隐私泄露风险的语音指令信号进行合法性判断，从而极大地降低了数据泄露的风险。

智能家居系统还可以包括智能安防终端，智能安防终端的功能主要包括视频监控、对讲系统、门禁一卡通、紧急求助、烟雾检测报警、燃气泄露报警、碎玻探测警报等。智能安防终端产生的数据将上传至智能家居系统的服务器中储存。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。