具体实施方式

下面结合附图提供具体实施例，对本发明作进一步的说明。

一种基于深度学习的音乐流派分类方法，结合图1具体包括以下步骤：

步骤S1、首先，加载目标音频作为源数据，将它们分成一个近3秒的窗口。具体来说，每三秒保留66149个采样点，长度不足的片段将被丢弃。这一步可以大大增加数据量，简化变换过程(如Mel谱图)。图6所示不同流派的梅尔频谱图，其特征纹理有着明显的差异，使深度学习模型学习不同特征进而进行分类成为可能。同时，为了使模型更好地学习每种流派的特征，在分割数据集之前对数据序列进行置乱。本方法包含两种不同的数据特征，视觉特征和音频特征。对于视觉特征的提取，其具体步骤如下：

第一步是对信号应用预加重滤波器来放大高频。预加重滤波器在以下几个方面很有用：(1)平衡频谱，因为高频通常比低频小；(2)避免傅里叶变换操作期间的数值问题；(3)还可以提高信噪比(SNR)。可以使用以下等式中的一阶滤波器将预加重滤波器应用于信号x：

y(t)＝x(t)-αx(t-1)

过滤系数(α)的典型值为0.95或0.97。

在预加重之后，我们需要将信号分成短时间帧。这一步的基本原理是信号中的频率随时间而变化，因此在大多数情况下，对整个信号进行傅里叶变换是没有意义的，因为我们会随着时间的推移丢失信号的频率轮廓。为了避免这种情况，我们可以安全地假设信号中的频率在很短的时间内是平稳的。因此，通过在这个短时间帧上进行傅里叶变换，我们可以通过连接相邻帧来获得信号频率轮廓的良好近似。一般真的大小范围为20ms到40ms,帧之间的重叠率为50％(+/-10％)。在本实施例中帧大小为23.22ms。

在将信号切片成帧之后，我们对每一帧应用一个窗口函数，例如Hamming窗口。汉明窗具有以下形式,其中N为窗口长度：

在所述每一帧上进行N点快速傅里叶变换(FFT)来计算频谱，这也称为短时傅里叶变换(STFT)，其中N通常是512或256，还要计算功率谱(周期图)。最后，对所述功率谱应用三角形滤波器如图5所示，通常是40个滤波器，在Mel尺度上以提取频带，最终形成(None,128,130,1)的视觉特征数据张量。

对于音频特征的提取，其具体步骤如下：

对步骤S1.1获得的所述目标音频片段提取若干个不同音频维度的音频特征，如音色纹理特征：Chroma,Spectral centroid,Spectral roll-off等，每种特征均保留其均值和方差形式，最终形成(None,m)的音频特征数据张量，这里的m在本实施例中设为55。

这样，我们就获得了一个(None,128,130,1)的视觉特征数据张量和一个(None，55)的音频特征数据张量。接下来，我们需要将所述两个特征张量分为大小相等且不相交的10份，每次取1份用作测试集，另外九份用作训练集，这样我们可以得到10种形式不同的数据集来评估模型泛化能力的好坏。根据10次得到的误差求平均作为该模型泛化能力的优劣指标，从而选取最优额模型来进行下一步的操作。上述方法被称为10折交叉验证。考虑到10折交叉验证的目的主要是为了选择模型的层数、神经元的激活函数、每层模型的神经元个数(即所谓的超参数)。因此需要不断地根据最终得到的平均误差来对超参数进行优化改进，从而得到当前最优的模型结构。

在本实施例中，采用的模型包括一个音频特征处理模块(AFE)，一个视觉特征处理模型(VFE)和一个分类器。结合图2，其具体结构如下：

为了更好地处理音频的Mel谱图，VFE模块采用并行卷积层进行了微调，包括3层二维卷积、1层并行卷积(分别使用最大池和平均池)和2层递归神经网络(RNNs)。与只使用一个卷积层然后对第四个卷积层执行池操作相比，本实施例选择使用具有不同池操作的并行卷积层。并行卷积层的主要优点是为后续层提供了更多的统计信息，进一步提高了模型的识别能力。在每个卷积运算过程中，除第一卷积层具有64个大小相等的不同核外，其他卷积层具有128个核。每个卷积核的大小为3*3，跳长为1，每个卷积核与所有底层特征形成映射关系。卷积核覆盖在输入的相应位置。将卷积核中的每个值与输入中相应像素的值相乘。上述乘积之和是输出中目标像素的值。对输入的所有位置重复此操作。在每次卷积之后，执行批标准化(BN)和校正线性单元(ReLU)操作。我们还添加了一个最大池操作(仅适用于并行卷积层的一个分支)以减少参数的数量。此外，它有助于扩大感受野，实现非线性。池操作的过滤器大小主要采用2*2带步幅2，3*3带步幅3分别用于第一和第二池操作，4*4带步幅4用于其他池操作。卷积层和归并层的作用是将原始数据映射到隐层特征空间。VFE模块使用门控制单元(GRU)的2层RNN来总结二维3层卷积和1层并行卷积的时间模式。然而，并不是所有并行卷积层的输出都放入RNN中，在RNNs中只加入了最大池并行卷积的分支输出。考虑到人类在识别音乐体裁时，可能会在短时间内更加注重突出的节奏。最后，将有一个长度为160的向量输出，它由GRU的输出和使用平均池运算的并行卷积的分支输出组成。我们不是简单地将输出相加，而是将输出串联起来以避免丢失一些信息。这样，可以获得更多具有低层次信息的特征。

AFE模块由五个致密层组成，每个致密层的大小分别为1024、512、256、128和64。为了解决实验中的过拟合问题，在每层BN层后增加0.4的Dropout层。最后，AFE模块将输出一个长度为64的向量。

VFE模块、AFE模块和分类器构成了整个网络模型。最后，将两个模块的输出连接起来，形成一个长度为224的特征向量。完全连接层(FC)通常在整个神经网络中扮演“分类器”的角色。但为了减少参数的数目，本文只使用一个具有SoftMax函数的FC层进行分类。与传统的多层完全连接层相比，特征映射和类型之间的对应关系更容易解释，也不容易出现过度拟合。由于最后一层使用了SoftMax函数，我们将得到每个流派的分类概率。

10折交叉验证选择了具有最小泛化误差的模型作为最终模型，并且在整个训练集上再次训练该模型，从而得到最优模型。同时保留模型参数用来实现目标音频的流派分类。

在目标音频分类的实现过程中，需要先将录制的音频或原始音频文件执行步骤S1的预处理操作，获得(None，128，130，1)的视觉特征数据张量和(None，55)的音频特征数据张量。将上述数据张量投入到模型中后得到每个流派的分类概率。

考虑到我们对目标音频进行了分割，得到若干个连续的片段。为此，我们将使用投票系统。每个片段经过网络模型后都会“投票”给一个流派(一般情况下，为分类概率最高的那个类)，我们会选择投票最多的流派，这将提高分类的准确性。

我们构建的分类器的最后一层是softmax层。这意味着它不会真正输出检测到的类型，而是输出每个类型的概率。这就是我们所说的分类置信度。例如图3所示，我们可以拒绝来自低分类置信度切片的投票。如果没有明确的胜利者，我们将拒绝投票。如果没有任何一个流派获得超过某一分数(70％)，就可以对该歌曲判定为poor，而只给出top3的分类结果供用户选择，这样，可以避免错误的标记歌曲，可以在用户的反馈下进一步对该歌曲进行分类。

图4是本实施例的基于DTZAN数据集得到的混淆矩阵。在机器学习领域，混淆矩阵(confusion matrix),又称为可能性表格或错误矩阵。它是一种特定的矩阵用来呈现算法性能的可视化效果。其每一列代表预测值，每一行代表的是实际的类别。所有正确的预测结果都在对角线上，所以从混淆矩阵中可以很方便直观地看出哪里有错误，因为它们都在对角线外面。混淆矩阵允许我们做出更多的分析，而不仅仅是局限在正确率上。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。