阅读说明：本技术 一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置 (Auxiliary rescue communication method and device based on unvoiced instruction recognition of facial surface muscle signals ) 是由 杨梦� 于 2019-11-18 设计创作，主要内容包括：本发明公开了一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置,该方法首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作,识别出对应的指令词；再由语言处理装置将识别出的指令词转化为人工语音；然后通过射频装置将所述人工语音发送至操作人员的耳机,并通过无线方式将语音文本发送至指挥中心。上述方法和装置避免了传统语音识别结果受环境背景噪音干扰的固有问题,适应于高噪音背景或无法收音的应用场景。(The invention discloses an auxiliary rescue communication method and device based on the non-sounding instruction identification of facial surface muscle signals, which comprises the steps of firstly, collecting muscle electric signals at corresponding positions in real time through a measuring electrode which is attached to the facial skin of a user in advance; the data processing device carries out preprocessing, feature extraction and classification identification operations on the collected muscle electric signals, and identifies corresponding instruction words; then the language processing device converts the recognized instruction words into artificial voice; and then the artificial voice is sent to an earphone of an operator through a radio frequency device, and the voice text is sent to a command center in a wireless mode. The method and the device avoid the inherent problem that the traditional voice recognition result is interfered by the environmental background noise, and are suitable for the application scene with high noise background or incapable of receiving sound.)

一种基于面部表面肌肉信号的不发声指令识别的辅助救援通 讯方法及装置

技术领域

本发明涉及救援通讯技术领域，尤其涉及一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置。

背景技术

强背景噪音环境下的语音识别，比如灾害，战争等，一直是语音识别领域的重要问题之一，也是尚未完美解决的固有疑难问题之一。在强背景噪音环境下如果需要进行沟通，比如消防队员或潜水人员需要根据当前状态下达指令、进行队友之间的交流等，语音识别的性能就更为重要。

在煤矿安全生产和救援工作中，救援队或侦察队是需要在恶劣极端环境下进行有效沟通的团队合作式工作。但现场的引擎声，作业声都会消弱队员之间沟通的声音，即使采用现有的数字语音通讯技术，携带麦克风进行收音，获取的语音仍然无法完全消除背景声的干扰，比如队员随身携带的呼吸设备发出的断断续续的嘶嘶声，并且罩在面部的呼吸装置会使得发出的声音扭曲失真，使说话不清晰。为了解决此类极端环境的语音识别问题，现有技术中已经有诸多的研究，比如降噪，骨传导等技术，但仍无法适用用于复杂的多变的现实环境。

发明内容

本发明的目的是提供一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置，该方法和装置避免了传统语音识别结果受环境背景噪音干扰的固有问题，适应于高噪音背景或无法收音的应用场景。

本发明的目的是通过以下技术方案实现的：

一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法，所述方法包括：

步骤1、首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；

步骤2、由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；

步骤3、再由语言处理装置将识别出的指令词转化为人工语音；

步骤4、然后通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。

本发明还提供了一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯装置，所述装置包括采集装置、数据处理装置、语言处理装置和射频装置，其中：

所述采集装置由五通道的测量电极组成，所述测量电极贴肤在使用者面部皮肤上，实时采集相应位置的肌肉电信号；

所述采集装置与所述数据处理装置有线连接，所述数据处理装置接收所述采集装置传输来的肌肉电信号，并对该肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；

所述语言处理装置与所述数据处理装置电连接，用于将识别出的指令词转化为人工语音；

所述语言处理装置与所述射频装置有线连接，所述射频装置用于接受和发送识别结果，通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。

由上述本发明提供的技术方案可以看出，上述方法和装置避免了传统语音识别结果受环境背景噪音干扰的固有问题，适应于高噪音背景或无法收音的应用场景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法流程示意图；

图2为本发明实施例所述测量电极的贴肤位置示意图；

图3为本发明实施例所述装置的结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法流程示意图，所述方法包括：

步骤1、首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；

在该步骤中，如图2所示为本发明实施例所述测量电极的贴肤位置示意图，所述测量电极包含五个通路，该五个通路的测量电极分别贴肤在使用者面部皮肤的设定位置上。

步骤2、由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；

在该步骤中，识别的指令词需要根据使用环境和需求预先设定，指令词可以是单个字或者两字词组，比如向前、向后、灭火、危险、集合等，在使用本装置之前，需先采集和处理信号生成指令样本集然后储存在数据处理装置中，用于分类识别操作的实现。

具体实现中，上述数据处理装置的具体处理过程为：

1)首先对采集的肌肉电信号进行滤波和降噪预处理；

由于采集的信号会受到其他生理电信号或电子设备产生的干扰，需要对信号进行预处理，本发明实施例采用20HZ的高通道滤波以及50HZ的梳状陷波滤波器(notch combfilter)消除噪声。

2)然后基于预处理后的肌肉电信号判断肌肉活动状态，分割出肌肉活动时产生的有效信号，即肌肉活动状态的开始点和结束点，具体过程为：

首先对预处理后的肌肉电信号进行顺序分窗，窗长为200ms，计算窗的标准方差与阙值进行比较，该阙值的计算公式为：

Th＝mean(rest)+μ*std(rest)

其中，Th为阙值；rest为一个窗信号的前100ms内的信号；mean为信号的期望；std为信号的标准差；μ为敏感度值，经试验测试，μ值为3时结果最优；

在检测到肌肉处于活动状态后获得相应的信号数据，由于用户说话的快慢不同，提取出的信号的长度也不一，一般情况下信号的长度在200ms-400ms之间；

进一步采用立方插值法将该信号扩展至400ms做为有效信号。

3)再对肌肉活动状态内的有效信号进行特征提取和优化，具体过程为：

特征提取采用的特征为时间特征，首先对有效信号进行分帧，帧长为30ms，帧移为15ms：

针对每一个移动窗，提取四个特征值，分别为：

其中，N表示一个移动窗中包含的数值个数；Xi为当前窗口第i个数值；一个5通路有效信号进行分窗特征提取后得到的特征维度为520维；

这里，考虑到一个肌肉蔟的活动会影响周围肌透蔟粗的活动，特征从本质上就存在相关性，并且从少量且有效的特征可以提高算法效率，然后利用线性判别分析方法(LDA)将特征维度从520维优化至50维，用少量的特征维度保证高纬度的信息，获得相似甚至同样效果的分类结果。

4)然后采用基于随机森林的一致性预测算法对特征提取的有效信号进行分类识别，识别出对应的指令词，具体过程为：

首先，基于随机森林的定义A_n，在随机森林中计算两个样本之间的亲近值(RandomForest Proximities)P(i，j)，i，j＝1，...，n，亲近值表示在不考虑真实标签的情况下，两个样本之间的相似度，利用亲近值可以定义一致性预测算法的奇异度量函数A，用于计算样本的奇异值(Strangeness Score)α，第i个样本z_i的奇异值可计算如下：

α_i＝A_n({z₁，...，z_i-1，z_i+1，...，z_n}，z_i)

其中，{}中的数据是无序的，z_i＝(x_i，y_i)，x_i表示样本集中第i个样本的特征；y_i表示样本的标签；

基于随机森林的奇异度量函数A定义如下：

对于样本(x_i，y_i)有：

A(x_i，y_i)＝A(x_i，y_i)^-/A(x_i，y_i)⁺

其中，

t_s指样本(x_i，y_i)与跟它同一标签的样本子序列中的样本相比，求得的第s大的亲近值；j_s指样本(x_i，y_i)与跟它不同标签的样本子序列中的样本相比，求得的第s大的亲近值；

然后，基于随机森林的一致性预测算法对特征提取的有效信号进行分类识别，具体过程如下：

针对一个有效信号x_n，为其设置一个假设指令标签y_n＝y，与预先采集并处理的指令样本集Z_t＝{(x₁，y₁)，...，(x_n-1，y_n-1)}，生成新的样本序列Z＝{Z_t，(x_n，y)}；

在新的样本序列Z应用基于随机森林定义的A_n，A_n给样本序列中的每个样本分配一个奇异值，组成奇异值序列

通过将奇异值序列中的与其他的

进行比较，计算得到有效信号x_n的当前假设指令标签y的可信程度

上述p^y表示当x_n的标签是y时，该样本和样本序列中的剩余样本的一致性程度如何，p^y越大，一致性程度越好；

然后为有效信号x_n重新设置一个新的假设指令标签，重复上述步骤，直到所有的指令都被做为假设指令标签，其中p^y值最大的假设指令标签y被认为是识别结果。

上述方法是通过贴附在面部肌肉上的电极获取表面肌电图(sEMG)来进行分析，也可以叫做默读识别。表面肌电图是将肌肉纤维收缩时产生的微弱电位差转化成为数字信号以反映神经肌肉状态，这种电位差因肌肉结构、功能的变化而变化，不同肌纤维收缩时的肌电信号也会发生相应的改变。话语声音的产生是一系列面部以及其他部位的肌肉蔟活动复合协作完成的，对于不同的发音或字，使用的对应肌肉蔟是有区别的，因此通过表皮肌电信号可以实现指令词的识别，而肌肉电信号的产生与肌肉蔟收缩相关而与是否真实发音无关，所以述说指令词可采用小声或者默读不发声的形式，因而解决背景噪声或呼吸装置使声音扭曲失真的问题。

步骤3、再由语言处理装置将识别出的指令词转化为人工语音；

步骤4、然后通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。

基于上述方法，本发明实施例还提供了一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯装置，如图3所示为本发明实施例所述装置的结构示意图，所述装置主要包括采集装置、数据处理装置、语言处理装置和射频装置，其中：

所述采集装置由五通道的测量电极组成，所述测量电极贴肤在使用者面部皮肤上，实时采集相应位置的肌肉电信号；

所述采集装置与所述数据处理装置有线连接，所述数据处理装置接收所述采集装置传输来的肌肉电信号，并对该肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；

所述语言处理装置与所述数据处理装置电连接，用于将识别出的指令词转化为人工语音；

所述语言处理装置与所述射频装置有线连接，所述射频装置用于接受和发送识别结果，通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。

上述装置中各部件的具体实施过程见上述方法实施例所述。

具体实现中，所述装置可以集成设置为挂颈式独立设备；或将所述装置与呼吸面罩结合，具体包括：

所述采集装置与呼吸面罩有线连接，呼吸面罩与电池有线连接；所述数据处理装置、语言处理装置和射频装置放置在背负设备上。

该辅助救援通讯装置的工作流程如下：

(1)装置开启，建立连接(蓝牙，无线)；

(2)采集装置采集实时的肌电信号，肌电信号通过电缆传输至数据处理装置；

(3)数据处理装置对肌电信号进行实时处理并在初始化时进入监测状态，若监测到唤醒词进入识别状态，射频装置向使用者耳机发出提示音表示可以开始述说指令，提示音通过射频装置也同时发送到其他队友的耳机，提示即将有指令下达；

(4)使用者述说指令词，述说方式可以是有声，呢喃也可以是无声，采集装置采集相应的肌电信号，并传输至数据处理装置；

(5)处于识别状态的数据处理装置对肌电信号进行识别操作，识别出对应的指令词；

(6)再由语言处理装置将识别出的指令词转化成人工语音，经由射频装置将人工语音发送至其他队友耳机，并通过无线方式将语音文本发送至指挥中心。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。