鲁棒性脑电信号的生成方法及装置
阅读说明：本技术 鲁棒性脑电信号的生成方法及装置 (Robust electroencephalogram signal generation method and device ) 是由 夏立坤 张达 于 2021-02-04 设计创作，主要内容包括：本发明提出了一种鲁棒性脑电信号的生成方法及装置。方法包括：步骤Y,获取脑电信号；步骤X,对所述脑电信号进行噪声分离处理,获取去噪后脑电信号和噪声信号；步骤U,将去噪后脑电信号和噪声信号输入生成对抗网络,生成模拟脑电信号并输出；结合定量评估方法和定性评估方法对获取的所述模拟脑电信号进行质量分析。本发明采用WGAN-GP作为基础框架,并使用LSTM代替2DCNN搭建的框架网络,使用脑电信号噪声代替高斯噪声作为生成对抗网络中生成器的输入数据,提高了模拟脑电信号的生成效率和质量。通过从定量评估结果中筛选的多段模拟脑电信号迭加得到的ERP数据与真实ERP的波形对比,从视觉角度对模拟脑电信号的质量进行评估。(The invention provides a method and a device for generating robust electroencephalogram signals. The method comprises the following steps: step Y, acquiring an electroencephalogram signal; step X, carrying out noise separation processing on the electroencephalogram signals to obtain denoised electroencephalogram signals and noise signals; step U, inputting the denoised electroencephalogram signal and the denoised noise signal into a generation countermeasure network, generating and outputting a simulated electroencephalogram signal; and performing quality analysis on the acquired simulated electroencephalogram signals by combining a quantitative evaluation method and a qualitative evaluation method. The method adopts WGAN-GP as a basic frame, uses LSTM to replace a frame network built by 2DCNN, uses EEG signal noise to replace Gaussian noise as input data of a generator in a generation countermeasure network, and improves the generation efficiency and quality of the simulated EEG signal. And comparing the ERP data obtained by superposing a plurality of sections of simulated electroencephalograms screened from the quantitative evaluation result with the waveform of the real ERP, and evaluating the quality of the simulated electroencephalograms from a visual angle.)
技术领域
本发明涉及机器学习技术领域，尤其涉及一种鲁棒性脑电信号的生成方法及装置。
背景技术
脑电信号(Electroencephalogram，EEG)作为一种包含大量人体信息的多通道生理信号，已成为脑科学研究中的重要数据。近年来，使用深度学习模型对EEG进行特征提取已成为研究EEG的重要手段。这类技术通常需要训练大量的数据来构建鲁棒模型。但是，由于枯燥的EEG采集过程以及采集环境中的噪声影响，导致数据中存在部分干扰信号，得到满足训练模型所需的数据集是极其困难的。因此，基于少量EEG样本生成鲁棒性的EEG并应用到深度学习研究工作中，对脑科学的发展具有重要意义。
生成对抗网络(Generative Adversarial Networks，GAN)已经作为一种小样本处理的主流神经网络框架应用于各种领域(图像、音频等)。由于传统GAN主要以全连接层(Fully Connected，FC)搭建，而FC无法捕捉时序信号的特征和相关属性之间的复杂关联，导致模型在处理EEG时容易丢失时间相关性信息。
此外，GAN的评估仍然以定性评估方法和一些可靠性较差的定量评估方法为主。定性评估方法存在人为主观性的影响，且消耗大量的人力，在一些不具有显性特征的样本中，无法使用人工评估对生成样本做出评价。
目前定量的评估方法能够从清晰度、相似性、准确度等方面对GAN做出评估。从清晰度考虑，目前已有的表征方法：Inception Score(IS)(S.T.Barratt and R.Sharma,Anote on the inception score,CoRR,vol.abs/1801.01973,2018.)和Fréchet InceptionDistance(FID)(S.Hochreiter,The vanishing gradient problem during learningrecurrent neural nets and problem solutions,in Proc.International Journal ofUncertainty,Fuzziness and Knowledge-Based Systems,1998,vol.6,no.2,pp.107-116.)；从相似性角度来说，Wasserstein Distance(WD)(F.Otto and M.Westdickenberg,Eulerian calculus for the contraction in the wasserstein distance,SIAMJ.Math.Analysis(PAMI),2005,vol.37,no.4,pp.1227-1255.)、Euclidean Distance(ED)(L.Wang,Y.Zhang,and J.Feng,On the euclidean distance of images,in Proc.IEEETrans.Pattern Analysis and Machine Intelligence,2005,vol.27,no.8,pp.1334-1339.)和Kernel Maximum Mean Discrepancy(MMD)[26]等从样本分布距离差异对比样本间的相似程度；从准确性的角度，1-Nearest Neighbor accuracy(M.Govindarajan andR.M.Chandrasekaran,Evaluation of k-nearest neighbor classifier performancefor direct marketing,in Proc.Expert Syst.Appl.,2010,vol.37,no.1,pp.253-258.)基于分类器确定生成样本的准确性。
然而，这些方法只能从生成样本的评估结果中衡量GAN的性能，无法鉴定出生成过程中是否存在模式崩溃以及过拟合等问题。目前，还不存在一种合理的评估方法能够有效地评估GAN的性能。针对于EEG等无法通过人工评估的数据，增加了评估的难度。
综上所述，构建稳定的生成对抗网络以及设计合理的评估方法是生成鲁棒性的EEG信号方法中亟待解决的关键性问题。
发明内容
本发明要解决的技术问题是如何进行高质量EEG信号的生成和评估，本发明提出一种鲁棒性脑电信号的生成方法及装置。
根据本发明实施例的鲁棒性脑电信号的生成方法，包括：
步骤Y，获取脑电信号；
步骤X，对所述脑电信号进行噪声分离处理，获取去噪后脑电信号和噪声信号；
步骤U，将去噪后的脑电信号和所述噪声信号输入生成对抗网络，生成模拟脑电信号并输出。
根据本发明实施例的鲁棒性脑电信号的生成方法，采用脑电信号噪声代替高斯噪声作为生成对抗网络的输入数据，能够提高生成样本的真实性，同时，加快生成器的拟合速度，提高了模拟脑电信号的生成效率和质量。
根据本发明的一些实施例，所述方法还包括：
步骤A，结合定量评估方法和定性评估方法对获取的所述模拟脑电信号进行质量分析。
在本发明的一些实施例中，所述定性评估方法包括：
步骤A1，将获取的多段所述脑电信号进行预处理和迭加平均操作获得真实ERP波；
步骤A2，将从定量评估结果中筛选出的多段所述模拟脑电信号进行预处理和迭加平均操作获得模拟ERP波；
步骤A3，通过比较所述真实ERP波和所述模拟ERP波，对所述模拟脑电信号进行质量分析。
根据本发明的一些实施例，所述步骤X中，采用独立成分分析对所述脑电信号进行噪声分离处理。
在本发明的一些实施例中，所述步骤U中，所述生成对抗网络采用WGAN-GP作为基础框架，并使用LSTM代替2DCNN搭建的框架网络。
根据本发明实施例的鲁棒性脑电信号的生成装置，包括：
获取模块，用于获取脑电信号；
噪声分离处理模块，用于对所述脑电信号进行噪声分离处理，获取去噪后脑电信号和噪声信号；
模拟信号生成模块，用于将去噪后的脑电信号和所述噪声信号输入生成对抗网络，生成模拟脑电信号并输出。
根据本发明实施例的鲁棒性脑电信号的生成装置，通过噪声分离处理模块获取脑电信号中的噪声，并采用脑电信号噪声代替高斯噪声作为生成对抗网络的输入数据，能够提高生成样本的真实性，同时，加快生成器的拟合速度，提高了模拟脑电信号的生成效率和质量。
根据本发明的一些实施例，所述生成装置还包括：
质量分析模块，用于结合定量评估方法和定性评估方法对获取的所述模拟脑电信号进行质量分析。
在本发明的一些实施例中，所述质量分析模块包括：定性分析模块和定量分析模块，所述定性分析模块包括：
第一计算模块，用于将获取的多段所述脑电信号进行预处理和迭加平均操作获得真实ERP波；
第二计算模块，用于通过所述定量分析模块将从定量评估结果中筛选的多段所述模拟脑电信号进行预处理和迭加平均操作获得模拟ERP波；
比较分析模块，用于通过比较所述真实ERP波和所述模拟ERP波，对所述模拟脑电信号进行质量分析。
根据本发明的一些实施例，所述噪声分离处理模块采用独立成分分析对所述脑电信号进行噪声分离处理。
在本发明的一些实施例中，所述模拟信号生成模块采用WGAN-GP作为基础框架，并使用LSTM代替2DCNN搭建所述生成对抗网络。
附图说明
图1为根据本发明实施例的鲁棒性脑电信号的生成方法流程图；
图2为根据本发明实施例的鲁棒性脑电信号的生成方法流程图；
图3为根据本发明实施例的生成器和判别器的框架图；
图4为根据本发明实施例的鲁棒性脑电信号的生成装置组成示意图。
生成装置100，
获取模块10，噪声分离处理模块20，模拟信号生成模块30，质量分析模块40，定性分析模块410，第一计算模块411，第二计算模块412，比较分析模块413，定量分析模块420。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
需要说明的是，本发明中的方法步骤中，步骤的执行顺序与步骤编号无必然联系，如步骤Y可以在步骤X前，其执行顺序并非是按照步骤字母排序而执行的。
根据本发明实施例的鲁棒性脑电信号的生成方法，包括：
步骤Y，获取脑电信号；
需要说明的是，在获取脑电信号后，可以对脑电信号进行预处理，在脑电信号的预处理阶段，将脑电信号进行标准化，将真实脑电信号的值域范围压缩到[-1μv,1μv]，解决生成脑电信号值域范围偏差问题，以保证生成样本的值域范围与真实样本的值域范围保持一致。
步骤X，对脑电信号进行噪声分离处理，获取去噪后脑电信号和噪声信号；
步骤U，将去噪后的脑电信号和噪声信号输入生成对抗网络，生成模拟脑电信号并输出。
根据本发明实施例的鲁棒性脑电信号的生成方法，采用脑电信号噪声代替高斯噪声作为生成对抗网络的输入数据，能够提高生成样本的真实性，同时，加快生成器的拟合速度，提高了模拟脑电信号的生成效率和质量。
根据本发明的一些实施例，方法还包括：
步骤A，结合定量评估方法和定性评估方法对获取的模拟脑电信号进行质量分析。
进一步地，定性评估方法包括：
步骤A1，将获取的多段脑电信号进行预处理和迭加平均操作获得真实ERP波；
步骤A2，将从定量评估结果中筛选出的多段模拟脑电信号进行预处理和迭加平均操作获得模拟ERP波；
步骤A3，通过比较真实ERP波和模拟ERP波，对模拟脑电信号进行质量分析。
需要说明的是，由于定性评估方法需要耗费大量的人力资源，将多段生成EEG迭加得到ERP数据，通过对比真实ERP与生成ERP的波形差异，从视觉角度评估生成EEG的质量。
根据本发明的一些实施例，步骤X中，采用独立成分分析对脑电信号进行噪声分离处理。独立成分分析(Independent Component Analysis，ICA)可以可靠地将脑电信号分离出去噪后的脑电信号以及噪声信号。
在本发明的一些实施例中，步骤U中，生成对抗网络采用WGAN-GP作为基础框架，并使用长短期记忆网络(Long Short-Term Memory,LSTM)代替2DCNN搭建的框架网络。
需要说明的是，相对于CNN，LSTM能够更好处理时序信号，减少时序信息的破坏。本发明使用LSTM搭建WGAN-GP框架用于生成EEG，一方面提高模型训练过程的稳定性，另一方面提高生成样本的质量。
根据本发明实施例的鲁棒性脑电信号的生成装置100，包括：获取模块10、噪声分离处理模块20和模拟信号生成模块30。
其中，获取模块10用于获取脑电信号。
需要说明的是，在获取脑电信号后，可以对脑电信号进行预处理，在脑电信号的预处理阶段，将脑电信号进行标准化，将真实脑电信号的值域范围压缩到[-1μv,1μv]，解决生成脑电信号值域范围偏差问题，以保证生成样本的值域范围与真实样本的值域范围保持一致。
噪声分离处理模块20用于对脑电信号进行噪声分离处理，获取去噪后脑电信号和噪声信号；
模拟信号生成模块30用于将去噪后的脑电信号和噪声信号输入生成对抗网络，生成模拟脑电信号并输出。
根据本发明实施例的鲁棒性脑电信号的生成装置100，通过噪声分离处理模块20获取脑电信号中的噪声，并采用脑电信号噪声代替高斯噪声作为生成器的输入数据，能够提高生成样本的真实性，同时，加快生成器的拟合速度，提高了模拟脑电信号的生成效率和质量。
根据本发明的一些实施例，生成装置100还包括：质量分析模块40，用于结合定量评估方法和定性评估方法对获取的模拟脑电信号进行质量分析。
进一步地，质量分析模块40包括：定性分析模块410和定量分析模块420，定性分析模块410包括：第一计算模块411、第二计算模块412和比较分析模块413。
第一计算模块411用于将获取的多段脑电信号进行预处理和迭加平均操作获得真实ERP波；
第二计算模块412用于通过定量分析模块420将从定量评估结果中筛选的多段模拟脑电信号进行预处理和迭加平均操作获得模拟ERP波；
比较分析模块413用于通过比较真实ERP波和模拟ERP波，对模拟脑电信号进行质量分析。
需要说明的是，由于定性评估方法需要耗费大量的人力资源，本发明通过将多段生成EEG迭加得到ERP数据，通过对比真实ERP与生成ERP的波形差异，从视觉角度评估生成EEG的质量。
根据本发明的一些实施例，噪声分离处理模块20采用独立成分分析对脑电信号进行噪声分离处理。独立成分分析(Independent Component Analysis，ICA)可以可靠地将脑电信号分离出去噪后的脑电信号以及噪声信号。
在本发明的一些实施例中，模拟信号生成模块30采用WGAN-GP作为基础框架，并使用LSTM代替2DCNN搭建生成对抗网络。
需要说明的是，相对于CNN，LSTM能够更好处理时序信号，减少时序信息的破坏。本发明使用LSTM搭建WGAN-GP框架用于生成EEG，一方面提高模型训练过程的稳定性，另一方面提高生成样本的质量。
下面参照附图以一个具体的实施例详细描述根据本发明的鲁棒性脑电信号的方法及装置。值得理解的是，下述描述仅是示例性描述，而不应理解为对本发明的具体限制。
在处理脑电信号时，现有的网络框架往往存在以下问题：
(1)模型训练过程中容易出现过拟合，模式崩溃以及梯度消失等问题，造成生成样本多样性不足；(2)CNN在处理EEG的过程中会破坏通道信息中的时间关联性，导致生成样本丢失时间相关性信息；(3)现有的模型往往通过增加模型复杂度提高模型训练的稳定性，导致模型的拟合速度降低。(4)生成样本值域范围与真实样本值域范围有偏差。(5)定量评估方法不能全面的评估生成样本的质量，而定性评估耗费大量的人力资源。
针对这些问题，本发明提出一种LSTM与WGAN-GP结合的新型网络模型。首先，相较于GAN的其他衍生模型，WGAN-GP的损失函数能够防止过拟合以及梯度消失等问题；其次，LSTM能够避免由于信号时间步过长造成的梯度爆炸等问题，进一步提高模型的训练稳定性。在此模型基础上，提出如下改进用于生成鲁棒性的EEG信号：(1)在EEG的预处理阶段，将EEG信号进行标准化，将真实EEG的值域范围压缩到[-1μv,1μv]，解决生成EEG值域范围偏差问题；(2)使用EEG中过滤的噪声代替原始GAN中的高斯噪声作为输入数据，提高模型的拟合速度。
在定量评估方面，使用多种评估指标从多样性、相似性等方面评估生成样本的质量；在定性评估方面，将通过定量评估结果筛选后的生成样本叠加得到ERP数据，通过对比真实样本和生成样本的ERP特征波形验证生成样本的真实性。
如图1和图2所示，根据本发明的鲁棒性EEG生成方法，包括：信号预处理阶段、EEG生成阶段以及EEG质量评估阶段。
首先，对开源数据集中的EEG信号进行降噪滤波处理，通过独立成分分析(Independent Component Analysis，ICA)将EEG信号分离出去噪后的EEG信号以及噪声信号，并根据时间点将EEG和噪声分割以便进行定性评估；然后，将数据输入到由LSTM搭建的WGAN-GP中获得生成EEG；之后，通过定性评估方法和定量评估方法验证生成EEG的质量。
EEG噪声：
为了提高生成样本的真实性以及生成器的拟合速度，采用真实EEG信号中过滤出的干扰噪声代替高斯噪声作为生成器的输入数据。未处理的EEG信号中不仅包含着脑细胞电位活动信息，还存在被试的眼动、心电以及肌电等信息，会对EEG分析的工作造成干扰，这类信息与EEG存在相似的分布，使用其作为噪声，能够让生成器更好地拟合真实样本的分布。
EEG生成：
本发明使用WGAN-GP作为基础框架用于生成EEG。使用LSTM代替2DCNN搭建框架，生成器的输入数据为EEG噪声，经过生成器后输出伪EEG信号，然后将真实EEG与伪EEG输入到判别器中，通过判别器得到样本的真假性结果。生成器和判别器的网络框架如图3所示。
本发明使用与EEG维度相同的噪声信号作为生成器的输入数据，经过一个具有1024个单元的全连接层并使用Leaky Relu激活，然后通过另一个全连接层并将输出维度转换为1×120×128的三维张量。采用双三次插值法进行上采样，使上一层输出张量的维度提高到1×240×128。为了使用LSTM对输出进行处理，将输出维度再次转换为240×28，将得到的输出反馈到两层LSTM中。通过切片层将LSTM的输入整合到真实EEG的长度。最后，使用一层LSTM对上层输出进行整合，使其维度满足判别器的输入维度。
判别器的输入是维度为231×1的真实EEG信号以及生成器输出的伪信号。本发明在判别器中加入高斯白噪声，对输入信号进行腐蚀以帮助提高模型的训练稳定性。然后，经过三个带有Leaky Relu激活函数的LSTM对处理过的输出进行分析并将其平坦化，为全连接层提供维度为29568×1的张量，最后经过全连接层输出判别器的鉴别结果。
定性评估方法：
ERP是反映大脑对事物认活动时神经元细胞活动情况的诱发电位，通过将多段EEG信号进行一系列的预处理过程和迭加平均等操作得到。本发明采用差异波分析的方法，通过对比生成EEG与真实EEG的ERP特征差异，从视觉角度评估生成样本的质量。相较于EEG，ERP特征明显，且使用多段EEG数据叠加得到，降低了人工评估的难度和成本。
综上所述，本发明提出的EEG生成方法包括三个阶段：信号预处理阶段、EEG生成阶段以及EEG质量评估阶段。首先，在EEG预处理阶段提取EEG噪声以及真实EEG信号，并对真实EEG信号进行标准化处理；然后，使用LSTM搭建WGAN-GP框架，并使用EEG噪声以及标准化处理后的EEG信号分别作为生成器和判别器的输入数据，得到生成EEG；在EEG评估阶段，通过SWD和MS评估生成EEG的相似性和多样性，将多个生成EEG叠加成ERP，通过P300特征判定生成EEG的真实性。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。