阅读说明：本技术 一种基于深度多流神经网络的信号自动分类识别方法 (Signal automatic classification and identification method based on deep multi-flow neural network ) 是由 王岩 于 2020-02-25 设计创作，主要内容包括：本申请公开了一种基于深度多流神经网络的信号自动分类识别方法,将深度多流神经网络的网络结构在水平方向上扩展,以实现深度多流神经网络提取更丰富的信号特征。在深度多流神经网络的每个流中叠加预设量的卷积单元,以提高深度多流神经网络的分类性能,防止网络训练困难和容易过拟合；对改进后的所述深度多流神经网络进行训练和验证,用于对信号进行分类识别。改进后的深度多流神经网络随着网络结构宽度的增加,分类效果提高,参数数量减少。在验证阶段仅消耗有限的计算资源即可在几毫秒内完成相关任务。在通信系统部署中,使用训练好的改进后的深度多流神经网络,等效于验证阶段,具有较低的计算复杂度和实时处理速度,提高了信号分类的效率。(The application discloses a signal automatic classification and identification method based on a deep multi-flow neural network, which expands a network structure of the deep multi-flow neural network in the horizontal direction so as to extract richer signal characteristics by the deep multi-flow neural network. Superposing a preset amount of convolution units in each stream of the deep multi-stream neural network to improve the classification performance of the deep multi-stream neural network and prevent the network from being difficult to train and easy to overfit; and training and verifying the improved deep multi-flow neural network for carrying out classification and identification on signals. The improved deep multi-flow neural network has the advantages that the classification effect is improved and the number of parameters is reduced along with the increase of the width of the network structure. The related tasks can be completed within a few milliseconds with only limited consumption of computing resources during the verification phase. In the deployment of a communication system, the trained improved deep multi-flow neural network is used, which is equivalent to a verification stage, so that the method has lower computational complexity and real-time processing speed, and the efficiency of signal classification is improved.)

一种基于深度多流神经网络的信号自动分类识别方法

技术领域

本申请涉及信号识别技术领域，具体涉及一种基于深度多流神经网络的信号自动分类识别方法。

背景技术

自动调制分类(Automatic Modulation Classification，AMC)是非合作通信系统的一项关键技术，在民用和军事领域都有许多应用场景。近年来，用于无线通信的AMC受到越来越多的关注。复杂的无线信道状况可能会使信号失真，并降低通信系统的性能。在民用领域，它被用于软件定义的无线电和智能无线电系统中。链路自适应系统(link-adaptation system，LAS)是基于信道测量值自适应地选择适当的调制方案的通信方案。在军事领域，正确识别调制方案是拦截和干扰敌人通信的前提。

典型的AMC过程包括两个步骤：信号预处理和结果信号分类。信号预处理主要包括信号参数估计和噪声消除。主要有两种调制分类算法：基于似然准则(Likelihood-Based，LB)的分类方法和基于特征提取的(Feature-Based，FB)的分类方法。LB方法是最佳的，可以减少分类错误的可能性。但是，在实际应用中存在非常大的计算复杂性。同时，通常需要缓冲大量数据以找到决策阈值，而且需要大量的计算时间。在存在未知信道条件的情况下，和其他接收机干扰，例如多普勒频移，这些方法识别效果下降严重。FB方法中采用手动选择提取特征的方式可以达到较理想的效果，但这可能会丢失信号的深层特性。这些方法需要适当的决策阈值，通过手动调节的方式可能难以确定最佳阈值。因此，FB方法很难对频移，多径变化，时间衰减和不同的信号长度具有鲁棒性。另外，就传输带宽和存储设备而言，在频率，空间和时间上分布式收集同相和正交相位数据的算法代价非常昂贵。因此，基于似然准则的分类方法和基于特征提取的的分类方法都无法准确快速实现信号分类。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于深度多流神经网络的信号自动分类识别方法，所述方法包括：将深度多流神经网络的网络结构在水平方向上扩展，以实现深度多流神经网络提取更丰富的信号特征，适合于各种调制方案的信号数据集的分类；在所述深度多流神经网络的每个流中叠加预设量的卷积单元，以提高深度多流神经网络的分类性能，防止网络训练困难和容易过拟合；对改进后的所述深度多流神经网络进行训练和验证，用于对信号进行分类识别。

采用上述实现方式，改进后的深度多流神经网络随着网络结构宽度的增加，分类效果提高，参数数量减少。在验证阶段仅消耗有限的计算资源即可在几毫秒内完成相关任务。在通信系统部署中，使用训练好的改进后的深度多流神经网络，等效于验证阶段，具有较低的计算复杂度和实时处理速度，提高了信号分类的效率。

结合第一方面，在第一方面第一种可能的实现方式中，所述深度多流神经网络的结构表达为：

其中ζ表示多流卷积输出，η表示由1×1和2×2卷积核组成的卷积流，p表示该流的数量，p＝1,2,…,P，μ表示由1×1和3×3卷积核组成的卷积流，q表示该流的数量，q＝1,2,…,Q，包括两种流，一种包括1×1的卷积核，另一种包括一个1×1的卷积核和AveragePooling。

结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述在所述深度多流神经网络的每个流中叠加预设量的卷积单元包括：在每个卷积层之后，增加一个非线性函数层和一个归一化层。

结合第一方面，在第一方面第三种可能的实现方式中，输入到改进后的深度多流神经网络的输入信号的序列分为不同的长度，信号序列的每个长度都被输入到改进后的深度多流神经网络中,以获得丰富的调制识别特征，提高信号调制分类性能。

结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，不同长度的信号序列为：

h_l(v)＝r(l+v)

其中l表示信号序列的起始位置,l＝1,2,…,L-1，L，L表示信号r(·)的总长度，v是信号长度,v＝0,1,…,V，V代表可以采取的最大固定信号长度。

结合第一方面，在第一方面第五种可能的实现方式中，改进后的深度多流神经网络在相同的感受野范围内，通过不同形式的卷积核提取信号的各种特征，以获得更强的非线性表示，保证最终的分类结果更准确。

结合第一方面第一种可能的实现方式，在第一方面第六种可能的实现方式中，改进高级分类表示，将预设数量的2×2或3×3卷积核串联连接，组合更多的非线性特征，使得网络具有较好的非线性拟合能力，输出表示为

其中o_c表示当前c层的输出数据大小，z_c表示当前c层的输入数据大小，g代表卷积核的大小，其中g分别取1、2或3，对应于1×1、2×2、3×3卷积核，s表示步长，而表示向下舍入的符号。

结合第一方面，在第一方面第七种可能的实现方式中，改进后的所述深度多流神经网络在训练过程中，优化器采用随机梯度下降法，并且初始学习率被设置为0.001，momentum被设定为0.9，在验证过程中，损失函数采用分类交叉熵，批量设置为128。

附图说明

图1为本申请实施例提供的一种基于深度多流神经网络的信号自动分类识别方法的流程示意图；

图2为本申请实施例提供的卷积神经网络的结构示意图；

图3为本申请实施例提供的深度多流神经网络的结构示意图；

图4为本申请实施例提供的一种信道模型示意图；

图5为本申请实施例提供的涉及的网络在不同流结构下的调制分类精度示意图；

图6为本申请实施例提供的所涉及网络在不同的叠加单元情况下与其他神经网络方法的分类效果对比示意图。

具体实施方式

下面结合附图与具体实施方式对本方案进行阐述。

图1为本申请实施例提供了一种基于深度多流神经网络的信号自动分类识别方法的流程示意图，参见图1，所述方法包括：

S101，将深度多流神经网络的网络结构在水平方向上扩展，以实现深度多流神经网络提取更丰富的信号特征，适合于各种调制方案的信号数据集的分类。

深度学习方法(Deep Learning Method，DLM)已显示出在各种任务中的分类能力。例如图像识别，自动语音识别和机器翻译。主要原因是由于多个隐藏层能够学习隐藏在数据集中的高级表示形式。另一个原因是更好分类结果是网络层中使用的非线性逻辑函数。DLM可以更好地处理上述LB和FB遇到的问题，并自动获取更好的分类阈值。DLM的算法设计主要考虑网络结构在深度和宽度上的选择。典型的垂直深度网络包括ResNet和DenseNet，水平深层网络包括ReNeXT和ShuffleNet。从结构上说，本申请采用的具有多流形式的网络形式也是一种水平深层网络。随着网络结构宽度的增加，分类效果提高，参数数量减少。DLM通常有两个步骤：训练阶段和验证阶段。在训练阶段，通过输入的海量数据对深度网络进行训练，这会花费很多时间，而且计算复杂度很高且计算量很大。在验证阶段，输入数据实例以验证训练网络的识别效果，而该阶段仅消耗有限的计算资源即可在几毫秒内完成相关任务。在实际的通信系统部署中，使用训练好的网络，这等效于验证阶段。因此，DLM具有较低的计算复杂度和实时处理速度。

DLM目前在无线通信领域有诸多应用，例如射频信号处理，无线电资源分配，无线电控制，MIMO检测，信道估算和物联网(Internet of Things，IoT)信号检测。随着5G的商业化，DLM应用面临许多机遇和挑战。AMC通常使用DLM采用卷积神经网络(convolutionalneural network，CNN)或递归神经网络(recurrent neural network，RNN)结构。目前，CNN和RNN(主要形式是LSTM)结构仅在它们之间使用简单的连接或采用分层叠加,它还没有在网络结构方面得到优化。无线通信容易受到不同无线环境的影响,所以AMC任务更加困难。因此，在深度网络的结构设计中减轻这些因素是很重要的。

在深度CNN网络结构的普通形式中,提取了不同感受野的局部数据块的特征。通过不同大小的卷积核。CNN网络通过激活功能输出结果,然后进行池操作。以常用的非线性函数ReLU为例,卷积后，使用激活函数获得特征

f＝max(w^Tα,0)

其中w表示权重矩阵，T表示矩阵的换位，α表示输入数据。max(·)当w^Tα>0时为w^Tα，当w^Tα<0时为0。CNN网络结构由卷积层和池化层交替组成。卷积层通过使用非线性激活函数的线性组合形成特征映射，例如ReLU、sigmoid、tanh等。

实际上，CNN中的卷积运算也可以看作是两个向量的内积,这是一个广义的线性模型。如果提取的特征是线性或低度非线性,通过卷积运算得到的特征更符合期望。如果提取的特征是高度非线性的，例如包含各种信号调制方案的数据集,卷积核方法很难获得预期的特征。在这种情况下，传统的CNN方法将尝试通过超完备卷积核来提取各种潜在特征，即初始化大量的卷积核以提取尽可能多的特征，以覆盖所提取的期望信号特征。它导致了复杂的网络结构和巨大的参数空间。

考虑到传统的CNN方法遇到这些问题,使用更强的非线性函数逼近器,它被称为网络中的网络(network in network，NiN)，以提高本地数据特征的提取能力。非线性逼近器可以有多种选择,而多层感知器(multilayer perceptron，MLP)可以作为一种微网络,它使用更非线性的结构来接近数据特征。MLP层可以看作是包含在传统CNN层中的微型多层网络,如图2所示。事实上，CNN的高级特征实际上是通过某种操作将低级特征结合起来的。通过多层MLP微网络，可以对局部感受野中的神经元进行更复杂的操作,从而提高网络适应数据集非线性分布的能力。f＝max(w^Tα,0)可以更改为：

…

其中b代表偏差,k表示网络k层中的数据,m,n表示m行和n列中的输入数据,j表示相应数据的权重。

MLP适合作为微网络是因为可以使这种CNN结构的网络以这种方式高度整合。它可以用BP算法训练,并自己增加隐藏层的数量,这符合重用特征的理论。在CNN的基础上，将特征图从多维的线性组合变为非线性组合,提高了网络的特征提取能力。减少网络模型参数的目的是通过用1×1卷积核和平均池替换全连接的层来实现的。

CNN中的卷积基本上是多维特征图,其与卷积核的维度数量相同。它使用多维卷积核进行特征提取。如果使用1x1卷积内核,获得的值与周围的数据点无关。该操作实现了多个特征图的线性组合,并实现了特征图在维数上的变化。多个1×1卷积核的级联可以完成多维特征映射的非线性组合。结合激活函数,NiN结构可以通过MLP实现。同时，通过1×1卷积核操作,卷积核数可以在维度中调整,因此可以减小参数。在嵌入MLP的微观结构网络中，网络可以学习到复杂而有用的交叉特征图。这是由于不同特征映射之间的集成是通过不同的卷积核获得的,每一层对应于一个具有1×1卷积内核的卷积层。

S102，在所述深度多流神经网络的每个流中叠加预设量的卷积单元，以提高深度多流神经网络的分类性能，防止网络训练困难和容易过拟合。

本申请所采用的深度多流神经网络形式中，在相同的感受野范围内，深度多流神经网络可以通过不同形式的卷积核提取信号的各种特征，从而获得更强的非线性表示。更丰富的特征也意味着最终的分类结果更准确。在网络结构中，它主要由四种形式的多流卷积层组成。本实施例中深度多流神经网络的结构表达为：

其中ζ表示多流卷积输出，η表示由1×1和2×2卷积核组成的卷积流，p表示该流的数量，p＝1,2,…,P，μ表示由1×1和3×3卷积核组成的卷积流，q表示该流的数量，q＝1,2,…,Q，包括两种流，一种包括1×1的卷积核，另一种包括一个1×1的卷积核和AveragePooling。

网络结构相当于特征维度上的稀疏连接，并且在多个维度上进行卷积和再聚集，以收集具有强相关性的信号特征。每个尺寸的卷积仅输出多个信号特征的一部分，从而提高网络的分类性能。

本实施例所涉及的叠加卷积单元中，当卷积层具有大量输入特征时，直接对输入执行卷积运算将产生巨大的计算量。如果输入首先在维度上减少，在减少特征数量之后，大大节省了计算复杂度。这就是为什么在多流卷积层中使用1×1卷积内核。只要最终输出中的特征数量不变，中间尺寸的减小相当于压缩效应，并且不影响最终的训练结果。为了进一步改进高级分类表示，几个2×2或3×3卷积核串联连接，从而可以组合更多的非线性特征，使得网络具有较好的非线性拟合能力。输出可以表示为

其中o_c表示当前c层的输出数据大小，z_c表示当前c层的输入数据大小，g代表卷积核的大小，其中g分别取1、2或3，对应于1×1、2×2、3×3卷积核。s表示步长，而表示向下舍入的符号。通过多层卷积处理，可以组合更丰富的非线性特征来更好地拟合原始信号数据的分布，从而提高信号调制的分类效果。

深度多流神经网络的其他设置如下：在每个卷积层之后，增加一个非线性函数层和一个归一化层，进一步提高网络分类能力，并且它们还防止了过度拟合问题。

S103，对改进后的所述深度多流神经网络进行训练和验证，用于对信号进行分类识别。

在训练过程中，优化器采用随机梯度下降法，并且初始学习率被设置为0.001，momentum被设定为0.9。在验证过程中，损失函数采用分类交叉熵，批量设置为128。

该信号预处理部分包括：神经网络中的输入数据通常长度固定。为了进一步充分利用调制特性来提高分类效果,输入信号的序列可以分为不同的长度。信号序列的每个长度都被输入到深度多流神经网络中,从而获得丰富的调制识别特征，实现更好的信号调制分类。不同长度的信号序列如下

h_l(v)＝r(l+v)

其中l表示信号序列的起始位置,l＝1,2,…,L-1，L，L表示信号r(·)的总长度，v是信号长度,v＝0,1,…,V，V代表可以采取的最大固定信号长度。深度多流神经网络使用h(v)作为数据输入形式,最终的识别结果通过网络输出。

本申请实施例中，NiN结构首先执行一般的卷积运算，它遵循1×1卷积内核。1×1卷积核降低了维数，并且降低了计算复杂度。深度多流神经网络执行几个1×1卷积运算，这相当于对所有信号特性执行完全连接计算。NiN结构只是同一尺度上的多层卷积，中间没有添加池层。深度多流神经网络在前几层中通过1×1卷积核，并穿过汇聚层以更好地提取信号特征，如图3所示。Conv代表卷积运算，其中1×1,2×2和3×3代表卷积内核的大小。卷积核之后的数字表示接收域的大小。输入层后面的三个1×1卷积核的感受野分别为32、32和64。对应于仅包含1×1卷积核分支网络支流的感受野是64，与包含AveragePooling的流相对应的感受野是32。在包含2×2卷积核的流中，2×2卷积核的感受野分别对应于64，96。3×3卷积核的感受野分别对应于包含3×3卷积核的流中的48，64。MaxPooling表示最大池化操作，AveragePooling表示平均池化操作，GlobalAveragePooling表示全局平均池化操作。Concatenation表示多个卷积结果的集合，Dense表示使用softmax函数的最终判断结果的输出。两个实线方框中的网络结构表明多层卷积包含多个流。实线框中的虚线框表示一个卷积堆栈结构，在每个层卷积中包含多个2×2或3×3。

在本实施例中，通信信号涉及的信道模型表达的形式基本上类似于一般的通信模型，但在细节上与基本形式不同，可以用以下形式描述：无线信道受到多径、多普勒和加性高斯白噪声(AWGN)的影响。通道模型如图4所示，接收信号可以表示为

其中g(t)是传输的信号，n(t)是AWGN，h(t，η)表示多径信道，d_i(t)是第i个多径信号的衰减，表示卷积，η_i(t)是第i个多径延迟。N是多径信号的数量，并且所有路径都具有相似的多普勒缩放因子σ，η_i(t)≈η_i-σt。发射信号可以是数字的(例如正交幅度调制)或模拟的(例如频移键控)。

为了进一步说明本发明在方案实施时测试环节中显示的结构上的优势，进行了实验验证，用下述参数生成的信号数据集对所提出的方法进行了评估。考虑了十种调制方案，例如二进制相移键控(binary phase-shift keying，BPSK)，正交相移键控(quadraturePSK,QPSK)和8PSK,16正交振幅调制(16quadrature amplitude modulation,16QAM)，64QAM,4频移键控(4frequency-shift keying,4FSK)，8FSK,脉冲幅度调制(pulseamplitude modulation,PAM),双边带调制(double-sideBand,DSB),频率调制(frequencymodulation,FM)。信号长度设置为32、64、128和256。对于每个调制方案，训练向量的数量是500，并且在一个调制方案中有500个验证向量。考虑的信噪比从-20dB到20dB。瑞利分布用于时间衰落模型。假设加性噪声是带限、零均值、高斯白噪声。在频率选择性衰落模拟中，正弦波的数量被设置为6，随机数发生器种子的噪声源设置为0x1337。采样速率的漂移过程标准偏差为每个样本0.01赫兹，并且最大采样速率偏移是50Hz。滤波器使用升余弦脉冲整形，滚降系数为0.3。

在图5中，S1表示包含3×3卷积核的流的数量，S2表示包含2×2卷积核的流的数量。从-15dB到0dB，当S1＝2，S2＝3，S1＝3，S2＝2，分类效果是相似的，并且有最好的分类结果。这两种流形式比S1＝1、S2＝1高4％以上，比S1＝1、S2＝3高3.5％以上，比其他流形式高出近1.5％。在较低的信噪比下，增加两种卷积核的流数可以提高分类效果。当每个流的卷积核足以提取信号数据集中的调制特征时，随着数据流的增加，分类效果并没有显著提高。从0分贝到15分贝，当S1＝3，S2＝1；S1＝2，S2＝3；S1＝3，S2＝2；S1＝3，S2＝3，这四种情况的分类是相似的。它们比S1＝1，S2＝1高出近3％。比S1＝1，S2＝3高2％。该方法通过增加流的数量来提高分类效果。

在图6中，R1表示具有3×3卷积核的叠加单元的数量，R2表示具有2×2卷积核的叠加单元的数量。同时，将深度多流神经网络与Resnet、Densenet和ResNeXT进行了比较。ResNet和DenseNet代表了典型的纵向深层网络的结构形式，ResNeXT主要是一个水平的深层网络结构。在-20dB到-10dB的范围内，R1＝3，R2＝3；R1＝4，R2＝4具有最好的分类效果，前者比后者略好1％左右。除R1＝1、R2＝1外，这两种结构形式的分类效果比其他情况高出近7％,这比这两种结构形式的分类效果低21％。在此信噪比范围内，它们的分类效果比ResNet和DenseNet高20％左右，比ResNeXT高11％。从-10dB到8dB，该方法具有相似的分类性能，这比除R1＝1、R2＝1的叠加单元之外的其它形式多约1％。R1＝1，R2＝1比其他形式低8％,它们比ResNet、DenseNet和ResNeXT高出10％左右。在信噪比为8dB时，不同叠加单元的性能相似，它们比ResNet、DenseNet和ResNeXT高出9％左右。这表明通过在多个流中叠加多个卷积核可以提高分类效果，其性能优于普通的深层网络结构和普通的广域网结构。

表1将本发明的方法的参数大小与其他网络模型进行了比较，其中选择S1＝2、S2＝3和长度＝256的最佳分类效果。随着叠加单元的增加，参数大小显著增加。R1＝4，R2＝4的参数大小几乎是R1＝2，R2＝2的两倍，比R1＝3，R2＝3多20万。ResNet、DenseNet和ResNeXT的参数大小分别是R1＝4、R2＝4的18倍、3倍和6倍。

表1不同网络方法的参数量对比

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。