具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1～图4所示，本发明公开了一种机器人化煤机故障音频识别及诊断方法，包括：

S1：对采集的煤矿设备声音信息进行预处理，得到具有若干短时声音帧的预处理声音信息。由于声音信号本身的物理特性以及声音信号采集环境因素，采集的设备声音信号通常不能直接用于处理，否则会影响后续对声音信号分析的效率和准确性等。

S2：获取所述预处理声音信息对应的包含有若干语谱帧的语谱图。

S3：将所述语谱图输入训练好的混合神经网络模型，输出故障诊断结果。

如图2所示，所述混合神经网络模型包括：

ALEXTet网络模型，用于对所述语谱图进行特征提取得到若干组特征序列。Alexnet是一种常用的CNN网络，特点是第一个在CNN中加入ReLU、Dropout和LRN网络层，把网络做的很深且宽，正常需要GPU并行计算设备运行，ALEXTNet为在Alexnet经典卷积网络模型基础上改进调整所得，所用卷积层较少，计算复杂度低，更适合在嵌入式设备移植，便于巡检机器人上部署，对其具体说明详见下文以及图2～4、表1～表2。

LSTM网络模型，用于对所述特征序列进行特征提取，能够输出对应所识别不同异常声音类别，用于进入下一步，即语谱图帧序列异常声音识别分类过程。

Softmax分类层，用于对上层的所述LSTM网络模型的输出进行异常声音分类，输出反映异常声音类别的置信度。

本发明提出的混合神经网络模型是将卷积神经网络(CNN)和长短时循环递归神经网络(LSTM)统一到一个框架中，简化CNN层，减小算法计算量；增加LSTM网络模型，加强算法对序列学习能力，使收敛速度更快。

下面将对上述各步骤展开详细说明。

在本发明的一些实施例中，所述步骤S1中所述的预处理，包括：

一是预加重处理，其目的是提升高频段频谱值，降低低频段信息的所占比重，从而使声音信号整体频谱显得平坦，以便进行后续对设备声音信号的特征提取及分类识别。声音信号的预加重可等同于对声音信号的高通滤波过程，如公式(1)所示:

其中，x(n)为输入的声音信号,n表示声音信号时域采样点；H(z)为预加重滤波器，z表示频率，μ为预加重系数，一般取值为0.9～0.97，本实施例中μ＝0.9375；y(n)为经预加重处理后的声音信号。

而是加窗分帧处理，进行加窗分帧时，需避免因分帧处理而丢失声音信号部分信息，在相邻帧设置部分重叠，即帧移小于帧长。窗函数滑动步长即为帧移，加窗分帧过程为声音信号每帧上加一个窗函数，加窗分帧如公式(2)所示。

S_ω(n)＝s(n)*ω(n) (2)

式(2)中，x(n)为原始声音信号，ω(n)为窗函数，S_ω(n)表示加窗分帧完成后的一帧声音信号。优选的，本发明采用汉明窗作为加窗分帧处理的窗函数。

汉明窗的表达式如公式(3)所示。

式(3)中，N为帧长。

三是端点检测，端点检测可检测出声音信号中有效声音起止点，可以此剔除声音信号中的无效静音和环境噪音，降低干扰信息的负面影响。本发明采用时域端点检测方法，以短时音量为主，辅之以短时过零率作为重要检测参数，该方法计算量小，运算速度快，同时避免了只用音量来进行端点检测而造成的误判。

短时音量代表声音强度，由声音信号一帧内的振幅来衡量。短时音量的计算方法有两种(详见下文a和b):

a：一帧中幅值的绝对值总和，计算公式如式所示。

其中s_n，为该帧第n个采样点幅值大小，N为帧长，即该帧包含的采样点个数，该式volume表示音量。

b：一帧中幅值平方和的常数对数的10倍，计算公式如式所示。

式中s_n，为该帧第n个采样点幅值大小，N为帧长，该式volume表示音量。计算单位为分贝，是一个对数强度值。

短时过零率(zcr)是指在声音信号一帧中，波形通过零点的次数。短时过零率的数学形式化定义如式所示。

其中，s_n为该帧第n个时间采样点的值，N为帧长，函数π{A}表示在A为真时值为1，否则为0。

端点检测具体过程包括：

设置音量最低音量阈值，高于此阈值认为是有声音段，低于此阈值进行下一步操作，后续结合短时过零率来综合检测。

高于音量阈值音段可认为是浊音声段，而低于阈值声段可能为静音、环境噪音或清音声段。要区分某低音量部分是否是清音，依据短时过零率来判断。在室内环境下，清音短时过零率要明显高于环境噪音以及静音短时过零率，因此，设置一个短时过零率阈值，高于该阈值的认为是清音，低于该阈值的认为是环境噪音或静音。

将音量阈值检测出来的有声部分的前后截止时间点设为有声起始点和有声终止点。自有声起始点一帧帧往前推，判断其短时过零率是否高于阈值，若高于阈值，认为是清音部分，该点为新的有声起始点；若低于阈值，认为该点往前部分为环境噪音或静音，不再往前推算。同理，自有声终止点一帧帧往后移，方法与有声起始点相同。

在本发明的一些实施例中，获取所述预处理声音信息对应的包含有若干语谱帧的语谱图，包括：基于所述预处理声音信息，依次通过短时傅里叶变换、离散时域傅里叶变换、离散傅里叶变换得到语谱图表达式。

经过前面的声音信号预处理步骤后，煤矿设备原始声音信号就被切分成了10～30ms之间的短时声音帧。由于传统的特征提取方式是使用各种人工设计的滤波器组来提取特征，这样会带来的频域上的信息丢失。为了避免这个问题，CNN+LSTM模型直接将煤矿设备声音语谱图输入到网络中，这样最大程度的保留了声音信号的时频信息。

设声音信号x(n)经过分帧处理后表示为x_n(m)，n,m＝0,1,...,N-1，其中，n为帧序号，m是一帧内采样点序号，N为帧长。则信号x(n)的短时傅里叶变换(STFT)如式(7)所示：

其中，ω(n)为窗函数。信号x_n(m)的离散时域傅里叶变换(DTFT)公式如式(8)所示：

离散傅里叶变换(DFT)如式(9)所示：

其中，0≤k≤N-1，则X(n,k)就是x(n)的短时幅度谱估计。

m处频谱能量密度函数p(n,k)如式(10)所示：

P(n,k)＝|X(n,k)|² (10)

其中，n表示语谱图横坐标，为帧序号，k表示语谱图纵坐标，为频率，用灰度或彩色表示P(n,k)的值，得到的二维图即为语谱图。经10log₁₀(P(n,k))公式变换可得到语谱图颜色表示。

如图3所示，在本发明的一些实施例中，在使用混合神经网络模型钱应该先建立和训练该网络，因此，本发明还包括以下方法：基于所述语谱图建立训练数据集；建立训练网络模型，并基于所述训练数据集对所述训练网络模型进行训练，得到所述混合神经网络。表1为训练网络模型结构参数表。

表1

如图3所示，所述训练网络模型包括：时间戳层，用于向所述LSTM网络模型传递处理时间序列长短信息；输出切分层，用于分割最后一层LSTM网络模型输出序列末元素，该元素用于和标签计算误差反馈用于权值校正或预测分类，这样大大减少了网络处理数据量，减小了算法复杂度以适应算法在嵌入式设备运行。

如图4所述，在本发明的一些实施例中，所述ALEXTet网络模型具体包括依次设置的：第一全连接层、第二全连接层、第三全连接层，以及分别与各全连接层对应的激活函数。此外，还包括有过拟合层，防止过拟合。

在本发明的一些实施例中，将连续ALEXTNet语谱帧局部特征提取模型输出特征，输出组成特征序列其中表示第i组第j个语谱图像帧提取出的语音特征，其中每个语谱图提取特征的维度为1024。同时还可能存在一种情况是输入到ALEXTNet语谱帧局部特征提取模型的语谱图像帧序列Xⁱ＝{X¹,X²,X³,...,X^M}，可能因为语谱图帧数量不足，小于固定长度N，本发明设置固定长度N＝10,这时可以通过补充0向量的方法，组成输出特征序列

LSTM语谱帧局部序列特征提取，负责提取语谱图帧局部特征定长序列序列信息，主要是利用LSTM对每组向量进行特征提取，所用LSTM网络主要分为三层，分为输入层、隐藏层、输出层(对应图2中的LSTM1～LSTM3)，采用全连接方式，每层都同时有两个输入，一个是序列特征信息输入，另一个是序列是否连续信息输入(对应图2中的改变输入数据、时间维度)，具体的，该项输入中0表示当前时刻输入特征信息和上个时刻特征不连续，1表示当前时刻特征信息和上个时刻特征连续，这些信息来源是语谱图像同组序列标注，第一个语谱图像标注为0，表示和上组序列中图像不连续，之后该组每张图片标注为1，表示和上张图片连续。输入层设置1024个LSTM单元，隐藏层有512个LSTM单元，输出层有256个LSTM单元，在输出层后的是全连接层人工神经网络(fc4)，有7个感知器，输出分别对应所识别不同异常声音类别，最后将提取序列特征输入到语谱图帧序列识别分类过程。

语谱图帧序列异常声音识别分类过程，主要负责对上层全连接神经网络输出进行异常声音分类，采用Softmax分类，它的输出为一组归一化的各种异常声音类别的置信度。

混合神经网络模型的部署模型结构参数如表2所示：

表2

如图5所示，本发明技术路线分为以下五步：

(1)在服务器上构建实验训练数据库，利用caffe c++深度学习框架分别构建声音识别的CNN+LSTM+Softmax网络，并训练模型，将训练完成的模型参数传送到嵌入式前端。

(2)在嵌入式前端数据采集，采集开放环境中声音序列。

(3)在嵌入式前端，生成语谱图结果图像序列传送到服务器训练数据库。

(4)在嵌入式前端特征提取，利用训练完成CNN网络提取语谱图特征。

(5)在嵌入式前端将提取语谱图特征组成序列输入声音LSTM网络模型后送到Softmax层分类，输出最后识别结果。

本发明还公开了一种巡检机器人，包括：

音频采集模块，用于采集煤矿设备的声音信息；

数据处理模块，用于采用如上文所述的机器人化煤机故障音频识别及诊断方法，检测煤机故障。

本发明还公开了一种机器人化煤机故障检测系统，包括：

后台服务器模块，用于构建训练数据库并训练混合神经网络模型。

嵌入式前端模块，用于：采集煤矿设备的声音信息；从后台服务器模块获取所述混合神经网络模型，并采用如上文所述的机器人化煤机故障音频识别及诊断方法，根据输入的所述声音信息输出故障诊断结果。

井上监控室，用于接收所述故障诊断结果并向运维人员反馈。

优选的，本发明后台服务器训练完成的混合神经网络模型移植到Huawei-atlas-200dk(一款集CPU、NPU、ISP的片上系统)嵌入式平台上，实现机器人化煤机故障音频辨识及诊断。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。