基于声纹识别和神经网络的变压器/电抗器故障诊断方法
阅读说明：本技术 基于声纹识别和神经网络的变压器/电抗器故障诊断方法 (Transformer/reactor method for diagnosing faults based on Application on Voiceprint Recognition and neural network ) 是由 徐海青 季坤 赵峰 陈是同 徐唯耀 秦浩 王文清 王维佳 吴立刚 付成成 浦正国 于 2019-07-29 设计创作，主要内容包括：本发明公开了一种基于声纹识别和神经网络的变压器/电抗器故障诊断方法,首先采集变压器/电抗器运行时产生的语音信号,然后将语音信号分为若干个语音片段后直接转换为语谱图,接着采用CNN网络和LSTM网络串联构成的神经网络对语谱图进行处理,最终基于神经网络的处理结果进行变压器故障诊断。本发明利用CNN网络处理图像能力强以及LSTM网络易于对时序数据进行建模的特点,结合CNN网络和LSTM的网络优势,提出了一种基于声纹识别的变压器/电抗器故障诊断方法,对变压器/电抗器的故障诊断有着较高的准确率,能够识别变压器/电抗器是否发生内部故障,可有效降低检修人员劳动强度,提高变压器/电抗器检测的智能水平。(The invention discloses a kind of transformer/reactor method for diagnosing faults based on Application on Voiceprint Recognition and neural network, the voice signal generated when acquisition transformer/reactor is run first, then sound spectrograph is converted directly into after voice signal being divided into several sound bites, then sound spectrograph is handled using the neural network that CNN network and LSTM series network are constituted, the processing result for being based ultimately upon neural network carries out transformer fault diagnosis.The present invention is strong using CNN network processes visual ability and LSTM network is easy to the characteristics of modeling to time series data, in conjunction with the network advantage of CNN network and LSTM, propose a kind of transformer/reactor method for diagnosing faults based on Application on Voiceprint Recognition, there is higher accuracy rate to the fault diagnosis of transformer/reactor, it can identify whether transformer/reactor occurs internal fault, it can effectively reduce service personnel's labor intensity, improve the level of intelligence of transformer/reactor detection.)
技术领域
本发明涉及变压器故障诊断方法领域，具体是一种基于声纹识别和神经网络的变压器/电抗器故障诊断方法。
背景技术
大量实践表明，电力变压器(电抗器)出现严重事故前，往往都存在着潜伏性故障，电力变压器(电抗器)的主要故障是由于内部局部放电、局部过热、绕组变形、机械部件松动及设备绝缘老化等潜伏性故障随时间积累引起的。目前，电力变压器(电抗器)保护方法主要通过故障时的电压、电流等电气参量进行继电保护，而相关潜伏性故障由于普遍存在于内部而难以检测。
声音是一种机械波，通过振动向传声介质辐射能量，跟振动和形变引起的信号相似，声信号蕴含着大量的振动信息，是分析设备运行状态的一项重要指标。设备在正常运行时，机身与固件、零件之间或零件自身之间的相互运动状态发生变化时，设备就会发出声音，运行状态发生变化时声音也随之变化。电力变压器内部绕组和铁芯承担着电磁交换的重要功能，在高电压和强电磁的环境下可能会发生各种不同的故障，从而运行所发出的声音也会随之变化。电力变压器(电抗器)的绝缘、温度、振动三者之间会存在互相的耦合关系，不同的故障类型对电力变压器(电抗器)的结构、电磁场分布都将产生不同的影响，从而影响电力变压器(电抗器)的振动状态，也意味着产生不同的声波。因此，借助高灵敏度的传感测量和现代语音识别技术，使得通过监测声学指纹(声纹)信息判断电力变压器(电抗器)运行状态成为一种可能。
现有技术申请号为201711262969.6的中国专利：一种小区变压器故障预防方法，其公开了采集变压器音频、振动信息，并基于音频、振动信息进行变压器故障判断的过程。但该专利是将采集的音频、振动信息与数据库中的数据进行简单比对以诊断故障，其故障判断的准确率取决于数据库中数据的准确性，需要另外采集大量数据建立数据库，因此这种方式的准确率存在受到数据库建立和数据库中数据准确性制约的问题。
申请号为201811425363.4的中国专利：一种变压器故障的声纹识别方法及系统，其公开了采集变压器声纹数据，并基于声纹数据进行变压器故障诊断的方法。但该专利仍然是将采集的声纹数据与数据库中数据进行简单比对以诊断故障，同样存在准确率受到数据库制约的问题。
申请号为201811618261.4的中国专利：基于改进卷积神经网络的电力变压器在线检测系统及方法，其公开了采用卷积神经网络(即CNN网络)进行变压器故障诊断的过程，但其主要是基于变压器自身结构的机械振动数据和CNN网络来实现故障诊断的，需要在变压器现场布置大量用于检测变压器箱体机械振动的传感器，并且单一的CNN网络也存在准确性不高的问题。
申请号为201811646299.2的中国专利：一种基于声学特征和神经网络的电力变压器故障诊断方法，其公开了基于变压器的声音信号，并采用GRU神经网络模型对变压器故障进行诊断的过程。但该专利对于采集的变压器的声音信号需要经过滤波预处理，因此容易导致声音信号中频域信息的损失，特别是高频区域的语音信息损失更为严重。并且采用单一的GRU神经网络也存在准确性不高的问题。
申请号为201810805455.9的中国专利：一种基于振动噪声及BP神经网络的变压器故障诊断方法，其公开了基于变压器的噪声声压信号，并采用BP神经网络对变压器故障进行诊断的方法。但该专利是通过BP神经网络得到声压最大频段，并找出声压最大频段对应的区域，以噪声源最大的区域作为故障区域。这种诊断方法实际上忽略了噪声较小的故障区域，因此与变压器实际故障情况不符，也存在准确性不高的问题。
发明内容
本发明的目的是提供一种基于声纹识别和神经网络的变压器/电抗器故障诊断方法，以解决现有技术基于声音信号和神经网络的变压器故障诊断方法存在的准确性低的问题。
为了达到上述目的，本发明所采用的技术方案为：
基于声纹识别和神经网络的变压器/电抗器故障诊断方法，其特征在于：包括以下步骤：
(1)、采集并量化变压器/电抗器运行时产生的语音信号；
(2)、对步骤(1)得到的语音数据进行预处理，以将语音数据处理为若干个平滑过渡并去除静音部分的语音片段；
(3)、步骤(2)将得到的若干个语音片段，针对每一个语音片段分别进行傅里叶变换，再根据傅里叶变换结果分别处理生成每个语音片段各自对应的二维灰度图像形式的语谱图，语谱图中宽度对应语音信号持续的时间，高度对应语音信号的频率；
(4)、构建神经网络，所述神经网络由CNN网络和LSTM网络串联构成，将步骤(3)得到的每个语音片段对应的语谱图分别输入神经网络，神经网络中首先由CNN网络对每个语谱图进行处理，由每个语谱图分别得到C张大小为F×T的小语谱图，其中C表示CNN网络中特征映射的数量，F和T分别是每个小语谱图的高度和宽度，然后CNN网络根据小语谱图得到T个维度为C×F的特征向量，并将T个特征向量输出至LSTM网络；
LSTM网络中以CNN网络输出的T个维度为C×F的特征向量作为输入，并对各个特征向量进行处理得到处理结果，最终根据处理结果诊断变压器/电抗器的故障。
所述的基于声纹识别和神经网络的变压器/电抗器故障诊断方法，其特征在于：步骤(2)中，预处理过程包括分帧、加窗操作、端点检测，其中：步骤(1)得到的语音数据首先进行分帧处理，将语音数据划分为若干个语音片段；接着将若干个语音片段进行加窗操作，以使各个语音片段之间平滑过渡；最后将若干个语音片段分别进行端点检测，以去除每个语音片段中的静音片段。
所述的基于声纹识别和神经网络的变压器/电抗器故障诊断方法，其特征在于：步骤(3)中，根据傅里叶变换结果计算每个语音片段的能量谱密度，然后将能量谱密度计算结果分别取对数后，再进行灰度图映射，得到该语音片段对应的二维灰度图像形式的语谱图。
所述的基于声纹识别和神经网络的变压器/电抗器故障诊断方法，其特征在于：步骤(4)中，CNN网络包括多个卷积池化单元，每个卷积池化单元中卷积层分别从每个语谱图中提取对应语音片段的不同特征，同时池化层仅从高度即频率上对二维灰度图像形式的语谱图进行池化，最终由CNN网络得到对应该语音片段的C张小语谱图。
所述的基于声纹识别和神经网络的变压器/电抗器故障诊断方法，其特征在于：步骤(4)中，LSTM网络的输入与CNN网络的输出存在时间对应关系，设CNN网络的输出表示为序列S，则序列S如下所示：
S＝[S1，S2，...，Si，ST]，1≤i≤T
其中Si是维度为C×F的特征向量，则LSTM网络在i时刻输入是一个维度为C×F的特征向量，该特征向量的步长等于T。
所述的基于声纹识别和神经网络的变压器/电抗器故障诊断方法，其特征在于：步骤(4)中，LSTM的输出层采用softmax分类器，通过softmax分类使得输出层的节点数等于变压器/电抗器故障类型数目加1。
本发明的优点为：
(1)、本发明将采集的变压器的语音信号无需滤波，而是直接转换为语谱图，通过神经网络对语谱图进行处理，以神经网络的处理结果来对变压器进行故障诊断，因此不会出现语音信息的损失，具有准确性高的等优点。
(2)、本发明神经网络采用CNN网络和LSTM的网络串联结构的变压器电抗器声纹识别方法，该方法结合了CNN和RNN的优势，可用于变压器电抗器的故障诊断。该方法通过将变压器电抗器原始语音信息经过一系列的处理生成一张二维语谱图，利用CNN长于处理图像的优势从语谱图中提取个性特征，这些个性特征再输入到LSTM中完成声纹识别，从而对变压器电抗器进行故障诊断。
附图说明
图1是本发明诊断方法流程示意图。
图2是本发明语谱图生成流程框图。
图3是本发明神经网络中CNN网络和LSTM网络输入对应关系图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，基于声纹识别和神经网络的变压器/电抗器故障诊断方法，包括以下步骤：
(1)、采集并量化变压器/电抗器运行时产生的语音信号。
(2)、对步骤(1)得到的语音数据进行预处理，以将语音数据处理为若干个平滑过渡并去除静音部分的语音片段。
预处理过程包括分帧、加窗操作、端点检测，其中：
步骤(1)得到的语音数据首先进行分帧处理，将语音数据划分为若干个语音片段，即进行分帧；这些语音片段能保持短时平稳状态，可利用平稳过程方法处理。
分帧后会导致语音数据的截断效应，为了使截断处的信号能平滑过渡，需要通过加窗操作实现。将若干个语音片段进行加窗操作，以使各个语音片段之间平滑过渡。
最后将若干个语音片段分别进行端点检测，目的是去除语音片段中的静音片段，保留有效的语音片段。
(3)、步骤(2)将得到的若干个语音片段，针对每一个语音片段分别进行傅里叶变换，再根据傅里叶变换结果分别处理生成每个语音片段各自对应的二维灰度图像形式的语谱图，语谱图中宽度对应语音信号持续的时间，高度对应语音信号的频率；
如图2所示，首先，根据傅里叶变换结果计算每个语音片段的能量谱密度，然后将能量谱密度计算结果分别取对数后，再分别进行灰度图映射，得到每个语音片段对应的二维灰度图像形式的语谱图。
语音信号的频谱实际上是随时间变化的二维图像，即语谱图，其横轴表示时间，纵轴表示信号频率成分。语谱图能够动态显示不同时刻、不同频率分量的大小，它承载的信息量远大于单时域或单频域承载的信息量。
传统的提取语音特征通常是首先对信号进行傅里叶变换，然后使用滤波器提取特征，会导致频域信息的损失，特别是高频区域的语音信息损失更为严重。为避免频域信息的损失，本发明将直接生成二维灰度图像形式的语谱图，将该二维图像输入到神经网络进行处理，从中提取出语音信号的个性特征向量。
(4)、构建神经网络，所述神经网络由CNN网络和LSTM网络串联构成，将步骤(3)得到的每个语音片段对应的语谱图分别输入神经网络，神经网络中首先由CNN网络对每个语谱图进行处理，由每个语谱图分别得到C张大小为F×T的小语谱图，其中C表示CNN网络中特征映射的数量，F和T分别是每个小语谱图的高度和宽度，然后CNN网络根据小语谱图得到T个维度为C×F的特征向量，并将T个特征向量输出至LSTM网络；
LSTM网络中以CNN网络输出的T个维度为C×F的特征向量作为输入，并对各个特征向量进行处理得到处理结果，最终根据处理结果诊断变压器/电抗器的故障。
本发明通过CNN网络和LSTM网络实现变压器/电抗器语音信号的个性特征提取及分类。CNN网络与LSTM网络均是深度学习中使用的主流算法，但对于处理不同类型的数据也各有所长。CNN网络擅长提取数据局部特征，作用于空间上的抽象及泛化，能够在空间维度上提取表征能力强的高层特征，LSTM网络能够扩展时间特征，处理具有先后顺序特征的数据信息。语音转换为语谱图的数据，以图片的形式输入网络，需要考虑其空间上的特征联系，也要考虑时间维度上关联信息。基于以上特点，本发明结合CNN网络及LSTM网络的特点，采用网络串联的方式，对两个网络进行结合。
CNN网络特别擅长于处理图像，而语谱图实际上就是一张二维灰度图像，图像的各种属性反映了变压器/电抗器音频信号的各种特征信息。因此将语谱图作为输入，由CNN网络自动从输入的语谱图中提取出对应语音片段的个性特征。CNN包含多个分别由卷积层和池化层构成的卷积池化单元，其中卷积层能够提取语音片段的不同特征，池化层则可以对输入的二维灰度图进行平移、缩放或其他变形操作后，仍然产生相同池化后特征，从而减少频谱变化导致的影响。对于卷积池化单元，其中的池化层在进行池化操作时，仅在频率(对应于语谱图高度)上进行池化，而没有在时间(对应于语谱图的宽度)上进行池化，保证音频信号的时序信息完整。此外，卷积池化单元、特征映射数量、卷积核大小和步长乃至池化区域大小同样需要根据具体数据集通过实验进行设置。最终由CNN网络得到每个语音片段对应的多个小语谱图。
本发明中，CNN网络结构部分是由5个卷积池化单元构成，一个卷积池化单元实际上是一个卷积ReLU层、一个最大池化层、一个batch normalization层的结构。卷积池化单元的数量为5，第一个池化单元的特征映射数量设为32，而后四个池化单元中特征映射的数量则设置为64。卷积层中，卷积核大小为3*3，步长为1，并同时在频率和时间方向上进行卷积操作；第一第二卷积层的池化层大小为2*1，步长为1，仅在频率方向上进行池化；后三层卷积层的池化层大小为1*1，步长为1。
当CNN网络对语谱图的二维灰度图像处理后，其输出作为LSTM网络的输入完成进一步的时序建模。一张语谱图输入至CNN网络后，将由多个卷积池化单元进行处理，处理后的输出实际上是C张大小为F×T的小语谱图，其中C表示特征映射的数量，F和T则分别是输出的小语谱图的高度和宽度。可以用一个序列来表示CNN的输出：
S＝[S1，S2，...，Si，ST]，1≤i≤T
其中序列中的元素Si则是一个维度为C×F的特征向量。也就是说CNN网络将输出T个维度为C×F的特征向量，这些特征向量作为LSTM网络的输入，它们之间有一个对应关系，即CNN网络输出序列Si作为LSTM网络在i时刻的输入，即LSTM网络在i时刻的输入是一个C×F维的特征向量，该特征向量的步长则等于T。图3展示了CNN输出序列与LSTM输入序列之间的对应关系。
本发明中，LSTM网络层数设为7，每层分别由卷积层、激活层、DROPOUT层、池化层组成，其中卷积层包含遗忘门、输出门和记忆门，每个门对应64个卷积核，遗忘门和输出门采用SIGMOD激活函数，记忆门激活函数由DIGMOD函数和TAN函数共同组成；卷积核大小为3*3，步长为2；池化层采用最大池化操作，大小5*5，步长为1；DROPOUT断开的比例设为0.2。
本发明中，LSTM网络的隐藏层结构时要考虑两个参数，即隐藏层层数的多少和隐藏层中神经元的节点数量。这两个参数同样需要依据实际数据集规模进行设定。一般而言，在相同参数个数的倾向下，设置更多的层数比增加每层更多的节点数能够获得更好的效果。LSTM网络的输出层比较简单，就是使用一个softmax分类器进行分类，通过softmax分类使得输出层的节点数对应于是故障类型数目加1(加1是无故障类型)。
本发明中，首先语音数据被划分为1s时长的语音片段，针对每个1s的语音片段进行语谱图的生成，采样频率是16kHz，则1s时长的语音片段将产生16k个采样点，而另一参数帧宜设置为160，可以得到100帧，语音信号频率取128，最终生成的语谱图大小为128×100；每个语谱图将输入至CNN网络，输出得到64个小语谱图，每个小的语谱图大小为32*100，同时按照时间对语谱图进行分割，可得到100个64*32的语谱图，再将其输入至LSTM，LSTM的输出送入softmax分类器，softmax分类器包括变压器放电、介质沸腾、绕组松动、铁芯松动等4类故障和正常类型。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。