具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。

参照附图1，本发明提供的一种声电信号融合的煤岩识别方法，包括：

采煤机在煤矿井下工作过程中，采集滚筒电机的电流信号，绘制电流波形图，构建纵向稠密电流谱图；

通过采集采煤机滚筒电机工作过程中产生的声音信号，将声音信号转换为具有时间序列的语谱图，并生成宽带语谱图和窄带语谱图；

构建煤岩识别网络模型，将纵向稠密电流谱图、宽带语谱图和窄带语谱图输入训练好的煤岩识别网络模型中，输出结果作为采煤机截割过程中的煤岩识别结果。

其中，基于电流波形图，构建纵向稠密电流谱图的步骤包括：

对电流波形图中的电流值做归一化处理，将电流值映射至0-1区间内；

基于电流波形图的时间轴，设定采样时间点，以每一采样时间点为中心，设定邻域，构建采样时间点的对称分布函数，并得到电流对称分布图；

基于采样时间点在设定领域内的对称分布图，将原纵轴量映射到稠密电流谱范畴，绘制相应稠密电流谱；

针对每一采样时间点，得到相应的稠密电流谱图，组合形成电流波形图的纵向稠密电流谱图。

其中，对电流波形图中的电流值做归一化处理的步骤中，归一化的结果公式表示为：

其中，G_n为电流的归一化值，i_n是任意采样时间点对应的电流值，N为采样时间点数量，且N＝1,2…n。

其中，设定采样时间点为a，邻域为[a-1,a+1]，相邻采样点的时间间隔设定为0.25s，则对称分布函数表示为：

其中，

其中，将原纵轴量映射到稠密电流谱范畴的步骤中，将对称分布图中的纵轴值映射到稠密电流谱范畴(0,100)，映射关系公式表示为：

绘制相应稠密电流谱，p＝100时颜色最深，p＝0时颜色最浅，区间值呈现对称状分布。

其中，在采集采煤机滚筒电机工作过程中产生的声音信号，将声音信号转换为具有时间序列的语谱图的步骤中，包括步骤：

通过设置麦克风阵列采集滚筒电机的声音信号；

对声音信号进行时域分析，经过预加重、分帧和加窗预处理，再经过快速傅里叶变换，获得每帧语音对应的频谱；

计算平均值并配合Mel滤波器，对所有振幅进行对数计算，纵坐标单位转换为dB；

将每一帧声音信号得到的频谱旋转90°，将原频谱纵坐标映射到sRGB色域，获得了具有时间序列的语谱图。

其中，生成宽带语谱图和窄带语谱图的步骤中，通过调整语谱图的时宽和带宽，得到宽带语谱图和窄带语谱图。

其中，煤岩识别网络模型包括：声电融合特征提取网络模型、电流特征提取网络模型和声音特征提取网络模型；

其中，声电融合特征提取网络模型采用ResNet50，电流特征提取网络模型采用DenseNet，声音特征提取网络模型采用三层深度可分离卷积层进行特征提取；

三种特征提取网络的输出特征图，以通道叠加的方式形成新的特征图，经过全连接网络和softmax分类器进行分类，完成对煤岩界面特征的识别。

其中，设定损失函数，同时监督声音电流数据对、单一电流数据和单一声音数据的训练，损失函数的公式表示为：

L＝L_f+α×L_v+β×L_e

其中L_f表示融合数据对的交叉熵损失函数，L_v是声音数据的Center Loss损失函数，L_e是电流数据的Center Loss损失函数，α和β是声音和电流损失函数的权重，在第一次训练时赋初始值，增加通道数α和β也进行权重学习。

本发明基于采煤机滚筒电机电流信号识别截割煤岩界面，以采煤机截割载荷为依据，截割头上的载荷随煤岩硬度变化而变化，分析采煤机截割头动载荷与滚筒电机电流信号之间的传输特性，构建滚筒电机电流与截割煤、岩接触强度系数之间的理论关系模型，利用采煤机滚筒电机电流信号即可有效识别煤岩界面。

截割头的载荷因截割煤、岩不同硬度的岩石而变化，截割头负载以阻转矩的形式传递至电机。滚筒电机是采煤机截割机构的驱动部件，采煤机截割能力由截割功率决定，截割功率又与截割滚筒电机电流直接相关。因此，截割头的机械负载的变化会引起采煤机滚筒电机电流的变化。

截割功率滚筒电机恒定电压、电流与功率因素的乘积是截割功率。

T_L是截割滚筒电机输出转矩，n_f为转速，η_x为电动机工作效率。电机通过变频器控制割头β是控制系数，η_t是变频器效率。所有截齿的截齿半径和对应截割阻力的乘积构成截割阻力矩的矢量和M。G_l＝p_wQ，截割阻力G_l是接触强度p_w和截齿状态传感器Q的乘积。

构建采煤机滚筒电机电流I与接触强度p_w的理论模型有效识别截割煤、岩界面。电流互感器和LOTO示波器获得采煤机滚筒电机电流波形。综合考虑截割头入深、截割转速、悬臂摆速等多参量，建立采煤机截割动载荷与滚筒电机电流之间的关系模型。然而，实际操作中多参量输入的准确性严重影响采煤机电磁转矩计算的可靠性，本专利以理论模型为依据，探究截割头电机电流信号与截割煤岩界面的耦合关系。

具体的，在实时本发明的声电信号融合的煤岩识别方法时，采集采煤机滚筒电机电流信号，波形图中横轴方向电流数值随时间变化是稠密且连续的，纵轴方向上有且仅有一个数值，为了增加电流谱图对截割头冲击程度描述的鲁棒性，将电流归一化后再数据预处理，使电流在纵轴方向也具备稠密特性。本发明首次提出了稠密电流谱来描述电流特征。

电流采集区间包含N个值，N＝1,2…n，G_n为电流的归一化值，i_n是某点的电流值，以为映射关系，则G_n为稠密电流谱的基点值，如图2所示。采煤机截割过程中，截割煤或岩的硬度变化使采煤机截割头受到不同程度的冲击，褐煤的莫氏硬度系数小于2，煤矸石、页岩和砂岩等岩石的莫氏硬度系数大于3.3，滚筒电机电流有明显的影响，如图2，褐煤电流基点值G在0.43附近波动，煤矸等其他岩类G均大于0.74。因此，截割头所接触岩类种类变化会引起采煤机电机电流的变化，能够达到识别煤与岩的目的。

为实现电流谱图对截割头冲击程度描述的鲁棒性，电流值映射到0-1区间后，增加电流在纵轴方向的稠密特性。如图2，截取了11秒到13.5秒区间的电流值。计算电流值的滑动平均值，以12秒时的电流数据为例，该点归一化值为0.45，那么采样12秒处的基点值0.45。向左、右两个方向寻找最近的4个采样点形成最近邻域，为提高该点在纵轴方向的稠密特性，设定该点纵轴方向符合对称分布，对称分布的函数关系为例如，采样点a，最近邻域为[a-1,a+1]Δ＝0.25，符合对称分布函数

其中，

x∈(0,1)绘制对称分布图，将其逆时针翻转90°，将原纵轴量映射到稠密电流谱范畴，数值在(0,100)区间，映射关系为绘制相应稠密电流谱，p＝100时颜色最深，p＝0时颜色最浅，区间值呈现对称状分布，稠密电流谱中采样点a处的稠密特征表示如下图3所示。

具体计算如下，当a＝12时，

其中，x∈(0.38,0.44)。如图3所示，a＝12时纵轴方向的数值分布，将分布曲线逆时针翻转90°，将原纵轴量映射到稠密电流谱范畴(0,100)，映射关系为稠密电流谱a＝12处的纵轴方向0.404处概率做大为100，颜色最深，(0.404，1)区间和(0，0.404)区间符合对称分布，通过映射到稠密电流谱，最终生成稠密电流谱。

采煤机截割过程中粉尘密度大，视觉、激光等传感器受限于恶劣的工作环境，本发明基于采煤机电机声音信号识别煤岩界面，对声音信号的时域图和频域图分析，构建截割电机电流语谱图与截割煤、岩不同岩石的关系模型。

声音信号不论频域分析还是时域分析时，一个横轴仅对应一个声音数据(纵轴方向)。因此，在纵轴方向的鲁棒性较弱，要提升声音信号对截割不同岩石的表征水平。本发明专利将语谱图作为截割不同岩石时声音特征的描述子。

采煤机截割煤，矸石等不同岩石时，使用麦克风阵列采集电机的声音信号。对声音进行时域分析，经过预加重、分帧和加窗等预处理。经快速傅里叶变换后获得每帧语音对应的频谱，该频谱表示频率和能量的关系。然后，计算平均值并配合Mel滤波器，增加煤与矸石的声音特征区分度。对所有振幅进行对数计算，纵坐标单位转换为dB(分贝)，增强低幅声音的特征描述，使观察的声音信号更全面。

将一帧声音的频谱旋转90°，将原频谱纵坐标映射到sRGB色域。获得了具有时间序列的频谱图即为语谱图，如图4和图5所示。

语谱图分为窄带语谱图和宽带语谱图。窄带语谱图通过加窗操作后绘制，时宽大带宽小，对各次谐波的描述能力强，具有高频率分辨率，通过基音频率和共振峰作为描述子识别煤岩界面。频率分辨率较高，横纹区分度高；宽带语谱图，时宽小带宽相对较大，对声音的时序特征刻画能力强，具有高时序分辨率，可以提取周期信号作为描述子达到识别煤岩界面的目的。时间分辨率较高，竖纹区分度高。

为了丰富采煤机截割煤岩时电机的声音特征，对宽带语谱图和窄带语谱图进行特征级融合。

具有声音信息的宽带语谱图和窄带语谱图，具有电流信息的稠密电流谱图，通过通道数的叠加在特征层进行融合。本发明提出的网络结构充分利用深度神经网络对特征提取和特征融合的能力，根据输入信息种类和输出期望的不同，使用不同的特征提取网络充分表征声音和电流的各向异性和互补融合特性。本发明网络结构的ResNet50充分利用同一层相同空间位置的声音和电流的信息；DenseNet有效使用不同层之间的电流信息，每一层输入的电流特征图直接与前面所有层的电流输出相关，提升不同层之间的传递性；深度可分离卷积通道间独立卷积在融合时保证声音竖纹和横纹特征的差异性。最终，使用softmax对煤岩特征进行分类，实现煤岩界面的分割。网络结构如图6所示。

声电融合特征提取网络的输入是3通道数数据，它包括稠密电流谱图、宽带语谱图和窄带语谱图。使用标准常规卷积，提取特征网络是ResNet50，结合上采样和下采样操作构成特征金字塔实现特征的多尺度、多信号输入的融合，充分利用不同通道在相同时间和空间位置上的声音和电流信息，输出特征具备可靠全局信息。

电流特征的稠密电流谱图使用DenseNet提取特征，加强电流特征在各通道之间的传递性，电流特征重用，显著提升电流低级特征对电流数据的区分能力。

声音特征提取网络，声音的宽带语谱图和窄带语谱图使用三层深度可分离卷积提取特征，一个通道仅被一个卷积核卷积，即声音信号输入层的两个通道独立进行卷积运算，保留谱图中横纹和竖纹的差异性。

三种特征提取网络的输出特征图，以通道叠加的方式形成新的特征图，经过全连接网络和softma对煤岩界面特征进行训练。

损失函数同时监督声音电流数据对、单一电流数据和单一声音数据的训练，从而更准确区分煤与岩。L＝L_f+α×L_v+β×L_e，其中L_f表示融合数据对的交叉熵损失函数，L_v是声音数据的Center Loss损失函数，L_e是电流数据的Center Loss损失函数，α和β是声音和电流损失函数的权重，在第一次训练时赋初始值，增加通道数α和β也进行权重学习。

本发明还包括对构建好的网络模型进行训练和测试的过程。具体的，将已经进行煤岩识别的电流信号及同时段对应的声音信号按照本发明的步骤进行处理，得到纵向稠密电流谱图、宽带语谱图和窄带语谱图，将上述标记判别结果的谱图输入到网络模型中进行训练，根据损失函数不断调整网络模型的参数，通过增加训练轮数，提升训练过程的准确率。训练完成后将作为测试集的谱图输入到网络模型中进行测试。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。