发明内容

技术问题：为了克服现有语音情感识别技术存在的一些问题，本发明公布了一种具有多重注意机制的卷积循环神经网络(CRNN-MA)的语音情感识别方法。

技术方案：一种具有多重注意机制的卷积循环神经网络的语音情感识别方法，包括如下步骤：

步骤A，提取谱图特征和帧级特征分别作为模型不同模块的输入。然后，将这些特征分别输入卷积神经网络(CNN)和长短时记忆循环神经网络(LSTM)，采用并行结构同时获取时频信息和序列信。步骤B，谱图特征输送进CNN来学习特征中的时频相关信息。步骤C，多头自注意力层(Multiple Self-Attention)作用于CNN模块来计算不同规模的全局特征下不同帧的权重，并融合CNN中不同深度的特征。步骤D，一个多维注意层(Multi-DimensionalAttention)作用于LSTM输入的帧级特征来综合考虑局部特征与全局特征的关系。步骤E，处理好的帧级特征输送进LSTM模型中来获取特征中的时间信息。步骤F，一个融合层来总结不同模块的输出来增强模型性能。步骤G，利用Softmax分类器对不同情感进行分类。

优选的，步骤A中提取谱图特征的具体步骤包括：将语音进行预加重，分帧，快速傅里叶变换后，将能量谱通过一组Mel尺度的三角形滤波器组，求出谱图特征；然后求出每段谱图特征的一阶差分和二阶差分；步骤A中提取帧级特征的具体步骤包括：每帧语音提取95维的低级描述子，其中包括梅尔频率倒谱系数以及其一阶导，梅儿倒谱及其一阶导，光谱特征、谱平坦度、色谱、过零率和均方根。

优选的，步骤B的具体步骤包括：

将步骤A中的谱图特征及其一阶差分和二阶差分构成的三维谱图特征输送进CNN模块中进行学习；对于CNN模块，使用在ImageNet数据集上训练的AlexNet作为初始模型，该模型一共有五个卷积层和三个池化层，删除网络中的全连击层以更好的匹配多头自注意力层；输入的大小为227*227*3，第一层卷积层包含96个卷积核，大小为11×11，而第二层包含256个卷积核，大小为5×5；最后三个卷积层分别包含384、384和256个卷积核，大小为3×3。

优选的，步骤C的具体步骤包括：

步骤C-1：将步骤B中CNN的三个池化层设置为自注意力层的输入；在自注意力层中，首先将输入进行降维：

F_n＝σ_R(f_n*X_n)

其中σ_R(·)表示ReLU激活函数，“*”为卷积运算，X_n为输入，X₁，X₂，X₃分别表示CNN中的第一个池化层，第二个池化层和第三个池化层；

步骤C-2：添加注意力单元来计算所有帧的相互依赖性，来获得不同帧的权重

α_n＝Softmax(V_n·U_n)

其中，V_n＝σ_S(Fn·W_n+b_n)，T₀是时间维度，W和U为权重，b为偏差，σ_S表示Sigmoid激活函数，Softmax表示Softmax操作；

步骤C-3：设置一个拥有1024个卷积核的1×1大小的卷积Gn，计算为：

N₀表示输入特征的特征维度，然后，在G_n上采用N₀×1的最大池化操作：

步骤C-4：多头自注意力层的输出结合了所有的自相关层：

其中，O_n＝M_n·α_n∈R^1024×1。

优选的，步骤D的具体步骤包括：

步骤D-1：多维注意力层中，首先设置一个一通道1×1大小的卷积f_T和f_N，帧维度和特征维度的输出表示为：

F_T＝σ_R(f_T*X_T)∈R^T×N

F_N＝σ_R(f_N*X_N)∈R^N×T

其中X_T和X_N＝(X_T)^T表示多维注意力层的两个维度的输入，T和N分别表示帧维度和特征维度；

步骤D-2：使用注意力单元对不同的帧维度或特征维度进行评分，从而得到不同注意力层的权重为：

α_T＝Softmax(σ_R(F_T·W_T+b_T)·U_T)∈R^T×1

α_N＝Softmax(σ_R(F_N·W_N+b_N)·U_N)∈R^N×1

W_T，U_T，W_N，U_N分别代表权重矩阵，b_T，b_N代表偏差；

步骤D-3：帧维度的输出O_T和特征维度的输出O_N的输出分别表示为：

其中e_T∈R^T×1，e_N∈R^N×1，。表示哈达玛积，然后将O_N转置后与O_T进行融合，作为LSTM的输入，O_(LSTM)∈R^1024×1。

优选的，步骤E的具体步骤包括：

步骤E-1：LSTM每次的输入分别为当前时间的输入值x_t，上一时间的输出值h_t-1和上一次的单元状态c_t-1，输出分别为当前时间h_t和当前状态c_t，‘忘记门’f_t用于确定单元格丢弃的信息：

f_t＝σ(W_f[h_t-1，x_t]+b_f)

σ表示激活函数Sigmoid，W和b分别为权重和偏移量，f_t的输出为0到1之间，1代表信息全部保留，0代表数据完全抛弃；

步骤E-2：单元格决定要更新的值：

i_t＝σ(W_i[h_t-1，x_t]+b_i)

sigmoid决定将更新哪些值，tanh用于创建一个新的候选值；

步骤E-3：单元状态将更新并输出最终状态：

h_t＝o_t*tanh(C_t)。

优选的，步骤F的具体步骤包括：

步骤F-1：分别优化两个不同模块的输出值，以加快训练的收敛速度：

O_(CNN-)＝σ_S(BN(O_(CNN)))

O_(LSTM-)＝σ_R(BN(O_(LSTM)))

其中BN表示批归一化；

步骤F-2：计算CRNN-MA模型的输出：

O_(CRNN-MA)＝σ_S([(O_(CNN-B))^T，[(O_(LSTM-BN))^T]·W)·V

其中W，V∈R^2048×2048表示融合层的权重。

优选的，步骤G的具体步骤包括：softmax表示为：

利用softmax将特征进行归一化处理，f(Vi)为特征值所对应的概率，所有概率的和等于1，如果一个Vi大于其他所有V，那么这个特征值输出的概率就最高，映射分量就逼近与1，其他特征值的映射分量就逼近与0。

有益效果：发明的具有多重注意机制的卷积循环神经网络的语音情感识别方法，结合深度学习网络，模块内部采用并行的连接结构来同时处理特征，能够有效的提升语音情感识别的性能。