基于深度迁移强化学习无线网络异常流量检测方法
阅读说明：本技术 基于深度迁移强化学习无线网络异常流量检测方法 (Method for detecting abnormal flow of wireless network based on deep migration reinforcement learning ) 是由 董仕 夏元俊 于来行 张锦华 鲁�硕 赵文清 夏钦宇 于 2021-07-29 设计创作，主要内容包括：本发明提供基于深度迁移强化学习无线网络异常流量检测方法,包括：从源域NSL-KDD训练样本中随机采样并在环境智能体中的训练,预测出若干个特征标签；通过对比标签获得奖励并计算损失函数；根据损失函数并通过反向传播算法更新神经网络参数；从含有标签的训练样本中随机采样,通过分类智能体分类出特征；通过对比预测获得奖励并计算损失函数,并通过反向传播算法更新神经网络参数；多次训练后获取AE-Dueling DDQN模型及其权重；输入目标域中的AWID数据集的训练样本,并加载模型权重,对目标神经网络进行微调；通过softmax输出层输出4类流量。该方法能有效提高异常攻击流量的检测准确率,降低检测模型训练时间复杂度以及计算机资源,具有检测未知攻击的能力。(The invention provides a wireless network abnormal flow detection method based on deep migration reinforcement learning, which comprises the following steps: randomly sampling from a source domain NSL-KDD training sample, training in an environment agent, and predicting a plurality of feature labels; obtaining rewards by comparing labels and calculating a loss function; updating neural network parameters according to the loss function and through a back propagation algorithm; randomly sampling from training samples containing labels, and classifying features through a classification agent; obtaining rewards through comparison and prediction, calculating a loss function, and updating neural network parameters through a back propagation algorithm; obtaining an AE-dulling DDQN model and the weight thereof after multiple times of training; inputting a training sample of an AWID data set in a target domain, loading model weights, and finely adjusting a target neural network; and 4 types of flow are output through the softmax output layer. The method can effectively improve the detection accuracy of abnormal attack flow, reduce the training time complexity of the detection model and computer resources, and has the capability of detecting unknown attacks.)
技术领域
本发明涉及计算机技术领域，具体涉及基于深度迁移强化学习无线网络异常流量检测方法。
背景技术
5G时代的到来，为面向消费者的应用扩展到面向产业的应用奠定了基础，也给工商业带来了巨大的便利。但是，由于新技术的引入，给网络带来了新的安全风险。其中以5G中的大连接特性带来的安全挑战尤为突出，物联网终端数量显著增加，且永远在线，使得数据更易被劫持、被窃取，或被木马入侵，使其成为分布式拒绝服务攻击(DDOS)的跳板。5G网络的发展将进一步推动无线网络的发展，提高生活质量，加速社会发展。由于无线网络的开放性，使其更易遭受干扰、窃听、篡改等各种攻击，其中以无线WIFI网络尤为突出。当前，在大多数公共场所均部署有无线WIFI网络，且不需认证就能连接，给用户带来了许多不可忽视的安全问题。正是由于这些新型智能网络技术的快速发展，使得网络结构日益复杂，同时也增加了网络入侵和异常流量攻击的风险。随着网络的可持续发展，必须要解决网络带来的安全风险问题，因此，检测和分析网络异常流量和网络入侵异常重要。近些年，由于网络速度、网络设施、网络规模和新型入侵攻击的不断增加，异常流量检测技术面临着新的挑战。
目前代表性网络异常流量检测方法主要为基于统计的异常检测方法和基于机器学习(ML)的异常检测方法。基于统计的异常检测方法主要通过时间序列对流量数据采样分析，采用统计学方法的对流量特征进行描述，以此来检测异常流量。该方法不但不依赖于异常流量的先验知识特征就能检测出异常流量，而且还能未知异常流量进行检测。虽然基于统计的方法在异常流量检测中有很大优势，但是它只能检测异常流量的存在，不能准确判断异常流量的类型，因此具有一定的局限性。最常用的异常流量检测方法是基于ML的检测方法。虽然浅层的ML在异常流量检测方面取得了不错的成果，但是由于过于依赖手工提取流量特征，人为干预较为严重，限制了其鲁棒性和泛化能力，同时也限制了其学习和分类能力。相比于浅层的ML，深度学习(DL)通过深层非线性结构从复杂的数据中自动学习数据特征表示，无需人工干预。虽然DL有其独特的优势，但是内部结构较为复杂，训练和预测时间复杂度都相对较高，难以达到实时检测的需求。而深度强化学习(DRL)的优化过程是由不需要区分的奖励函数实现的，这使得它能够灵活应用于多种复杂类型问题当中。此外，当前的仿真模拟实验都是采用足够标记的数据集，但网络流量的海量数据特性使得对数据标记极其困难，也使得异常流量检测技术面临更大的挑战。此外，随着网络的快速发展，不断出现新的异常攻击流量，使得旧的模型难以直接进行检测。与此同时，需要采用新的异常攻击样本对模型进行训练，因此需要消耗大量资源。
为此，本发明提出了一种新的基于深度迁移强化学习无线网络异常流量检测方法。
发明内容
为解决上述问题，本发明的目的在于提供基于深度迁移强化学习无线网络异常流量检测方法，该方法能有效提高异常攻击流量的检测准确率，降低检测模型训练时间复杂度以及计算机资源，具有检测未知攻击的能力。
为实现上述目的，本发明提供了如下的技术方案。
基于深度迁移强化学习无线网络异常流量检测方法，包括以下步骤：
通过训练样本在环境智能体中的训练，预测出23个异常流量特征标签aet；
通过对比预测的特征标签和真实特征标签，获得奖励并计算损失函数；根据损失函数并通过反向传播算法更新环境智能体中的神经网络参数；
从含有标签的训练样本中随机采样，通过分类智能体分类出5类流量标签
通过对比预测的5类流量标签和5类真实流量标签，获得奖励并计算损失函数，根据损失函数并通过反向传播算法更新分类智能体中的神经网络参数；
多次训练，获取训练后的AE-Dueling DDQN模型权重；
将待检测样本输入训练后的所述AE-Dueling DDQN模型，通过AE-Dueling DDQN模型的softmax输出层输出4类流量标签，分别代表一种正常流量和三种异常流量。
优选地，所述训练样本为从带有特征标记的源域NSL-KDD训练样本中随机采样t时刻的样本。
优选地，还包括对所述AE-Dueling DDQN模型中的目标神经网络进行微调，包括以下步骤：
获取训练后的所述AE-Dueling DDQN模型的权重；
输入目标域中的AWID数据集的训练样本，并加载AE-Dueling DDQN的模型权重，对目标神经网络进行微调。
优选地，所述环境智能体的损失函数如下所示：
其中，st和分别为当前时刻的流量特征及其特征标签；为当前时刻的奖励，γ为衰减因子，值为0.01；st+1和分别为下一时刻的流量特征及其特征标签。
优选地，所述分类智能体的损失函数计算公式如下所示：
其中，和分别为当前时刻的流量特征及其特征标签；为当前时刻的奖励，γ为衰减因子，值为0.01；和分别为下一时刻的流量特征及其特征标签。
优选地，所述softmax输出层输出4类流量分别代表正常流量、注入攻击、伪装攻击和泛洪攻击。
本发明有益效果：
(1)海量高维数据。由于网络数据量的成倍增长，怎样对海量数据快速准确处理成了当前亟待解决的问题。传统的机器学习方法通常先使用聚类或者降维的方式对海量数据处理，再通过分类器对处理好的数据进行分类。由于传统机器学习的都是数据的浅层表示，在进行分类时效果较差。而深度强化学习结合深度学习的优势，具有强大的表征学习能力，更容易对大型高维数据处理。本发明采用多智能体对抗学习方法，不仅能处理高维数据，还能提高整体流量的识别准确率。
(2)未知异常攻击检测。这些新型智能网络技术的快速发展，使得网络结构日益复杂，新的异常攻击不断浮现，异常流量检测面临着新的挑战。本发明采用DTAE-DuelingDDQN的方法，通过AE-Dueling DQN对源域NSL-KDD数据集学习，保存训练模型权重。TL阶段，加载AE-Dueling DQN模型权重，对目标域AWID数据集对目标模型进行微调，能有效检测AWID数据集中的三种异常攻击。
(3)有效节约计算机资源。在TL微调阶段，能够有效降低模型训练和预测时间。此外，在加载新的AWID数据集时，不再需要对AE-Dueling DDQN重复训练，有效节约计算机资源。
附图说明
图1是本发明实施例的DTAE-Dueling DDQN模型图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
基于深度迁移强化学习无线网络异常流量检测方法，模型图如图1所示，包括以下步骤：
S1：从带有特征标记的源域NSL-KDD训练样本中随机采样t时刻的训练样本；通过训练样本在环境智能体中的训练，预测出23个异常流量特征标签
通过对比预测的特征标签和真实特征标签，获得奖励并计算损失函数；根据损失函数并通过反向传播算法更新环境智能体中的神经网络参数；环境智能体的损失函数如下所示：
其中，st和分别为当前时刻的流量特征及其特征标签；为当前时刻的奖励，γ为衰减因子，值为0.01；st+1和分别为下一时刻的流量特征及其特征标签。
S2：从含有标签的训练样本中随机采样，通过分类智能体分类出5类流量标签
通过对比预测的5类流量标签和5类真实流量标签，获得奖励并计算损失函数；根据损失函数并通过反向传播算法更新分类智能体中的神经网络参数；分类智能体的损失函数计算公式如下所示：
其中，和分别为当前时刻的流量特征及其特征标签；为当前时刻的奖励，γ为衰减因子，值为0.01；和分别为下一时刻的流量特征及其特征标签。
S3：多次训练，待AE-Dueling DDQN模型趋于稳定后，保存模型及其权重；
S4：输入目标域中的AWID数据集的训练样本，并加载AE-Dueling DDQN的模型权重，对目标神经网络进行微调；
S5：通过softmax输出层输出4类流量，分别代表一种正常流量和三种异常流量，分别代表正常流量normal、注入攻击injection、伪装攻击impersonation和泛洪攻击flooding。
本实施例中，
本发明实验数据集采用公开并著名的AWID数据集，是数量最大也是最全面的真实WIFI网络环境下收集的数据集。按照攻击类型级别，数据集可以被划分为两种数据子集：16种子攻击类型的ATK数据集和4种大攻击类型的CLS数据集。大多数研究人员选择AWID-CLS-R数据集，该数据集包含154个特征，包含连续特征和分类特征，训练集和测试集分别含有1795474和675642个样本。其中，该数据集包含一种正常流量，三种异常流量：injection、impersonation和flooding。该分布极其不平衡，三种异常流量数量接近整体的10％。
本实施例使用提出的DTAE-Dueling DDQN模型与代表性的DL模型以及DRL模型进行全面比较。其中，DL对比模型选用DNN、LSTM、GRU、1D-CNN，DRL对比模型选用DQN、DDQN、Dueling DQN以及AE-RL。
表1多类模型实验结果对比
分析实验结果，如表1所示，本实施例提出的DTAE-Dueling DDQN模型，在各性能指标上略优于其他模型。就AE-RL模型而言，AE-RL模型基于DDQN，有较强的学习能力。不仅采用环境智能体模拟环境，而且采用多智能体对抗学习的方式，能有效学习流量特征。因此，AE-RL的accuracy和recall显著高于其他模型。此外，本实施例提出的DTAE-Dueling DDQN模型，结合了上述模型和TL的优势，所以在各评估指标上达到了最优值。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。