具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于无监督学习的硬件木马检测系统和信息数据处理方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于无监督学习的硬件木马检测系统和信息数据处理方法包括以下步骤：

S101，从电路结构、木马触发电路和负载电路功能的角度分析硬件木马特征，结合传统机器学习的电路特征和木马结构，将木马触发概率低这一关键属性和电路静态特征相关联，提出木马检测所需的电路特征；

S102，对待测的门级网表进行预处理，提取出硬件木马检测需要的特征；

S103，结合随机森林、相关性矩阵和平行坐标图分析电路特征对区分木马网络和正常网络的贡献度，对特征进行筛选，选取最佳的特征集；

S104，对S103得到的特征集进行归一化处理；同时采用特征降维方法，对归一化后的数据集进行降维处理；

S105，构建基于无监督学习的分类器，使用降维后的数据进行训练，根据训练结果优化模型，得到最佳训练模型；

S106，采用交叉验证的方法将若干待测数据集分为训练集和测试集；

S107，将测试数据输入到训练后的模型中进行检测，根据检测结果计算TPR，TNR，Precision，Recall，F1-score和Accuracy指标，评估模型检测能力。

本发明实施例提供的基于无监督学习的硬件木马检测系统和信息数据处理方法原理图如图2所示。

如图3所示，本发明实施例提供的硬件木马检测系统包括：

电路特征获取模块1，用于从电路结构、木马触发电路和负载电路功能的角度分析硬件木马特征，结合传统机器学习的电路特征和木马结构，将木马触发概率低这一关键属性和电路静态特征相关联，提出木马检测所需的电路特征；

木马特征提取模块2，用于对待测的门级网表进行预处理，提取出硬件木马检测需要的特征；

最佳特征集选取模块3，用于结合随机森林、相关性矩阵和平行坐标图分析电路特征对区分木马网络和正常网络的贡献度，对特征进行筛选，选取最佳的特征集；

特征集处理模块4，用于对得到的特征集进行归一化处理；同时采用特征降维方法，对得到的特征集进行降维处理；

训练模型获取模块5，用于通过构建基于无监督学习的分类器，使用降维后的数据进行训练，根据训练结果优化模型，得到最佳训练模型；

数据集分类模块6，用于采用交叉验证的方法将若干待测数据集分为训练集和测试集；

硬件木马检测模块7，用于将测试数据输入到训练后的模型中进行检测，根据检测结果计算TPR，TNR，Precision，Recall，F1-score和Accuracy指标，评估模型检测能力。

下面结合实施例对本发明的技术方案作进一步描述。

实施例1

本发明实施例提供的基于机器学习的硬件木马检测方法，包括：分析电路结构和木马运行逻辑，结合传统机器学习的电路特征，提出所需要的电路特征，并对待测电路的门级网表进行处理，提取出硬件木马检测需要的特征，结合随机森林、相关性矩阵和平行坐标图分析电路特征对区分正常电路和木马电路的贡献度，选择最佳特征集，进行归一化处理后，采用PCA(主成分分析)方法对数据进行降维，使用降维后的数据训练Isolation Forest(孤立森林)分类器，得到最佳训练模型，将测试数据输入到训练后的模型中检测，得到测试结果，计算TPR，TNR，Precision，Recall，F1-score和Accuracy等相关指标并绘制ROC曲线来评估模型的检测能力。

本发明提出的电路特征包括传统机器学习的特征和本发明新提出的特征。

本发明使用的平行坐标图使用Python语言进行绘制，最后一个坐标轴为标签值，1表示木马网络，0表示正常网络，其余坐标轴为特征值，用于分析各个坐标对区分木马网络和正常网络的贡献度。

本发明采用的随机森林方法和相关性矩阵的方法使用Python语言实现，随机森林可以给出各个特征重要性的确定值，相关性矩阵可以得到各个特征之间的相关程度。结合上述三种方法的结果，可以准确得出各个特征对区分木马电路和正常电路的贡献度，从而可以选取最佳的特征集。

本发明采用特征降维方法对数据特征进行降维，减少算法计算复杂度的同时保留数据的绝大部分信息。

本发明选取的特征降维方法为PCA(主成分分析)，具体步骤为：

步骤S1：去平均值(即去中心化)，即将每一位特征减去各自的平均值。

步骤S2：计算协方差矩阵

步骤S3：通过SVD计算协方差矩阵的特征值与特征向量。

步骤S4：对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。

k值的选取策略为：选取不同的k值，然后用下面的式子不断计算，选取能够满足下列式子条件的最小k值即可。

其中，t表示PCA算法保留了原始数据(1-t)的信息。例如，当t值取0.01时，代表了该PCA算法保留了原始数据99％的主要信息。

本发明使用处理好的特征训练基于无监督学习的分类器。相比于监督学习模型，无监督学习模型不需要大量的已知标签信息。此外，无监督学习方法的训练过程耗时短，且不需要大量平衡的训练数据。

本发明选取的无监督学习模型为Isolation Forest(孤立森林)，模型选择sklearn的Isolation Forest，具体设置为：设置污染率contamination为[0.01，0.02，0.05，0.08，0.1]；设置是否为有放回抽样bootstrap为False，设置是否继承上次训练的分类器进行下一步的训练warm_start为True；设置集成模型中分类器的数量，即孤立森林中树的数量n_estimators为[120，130，140，150，160，170，180]，设置训练每棵树时选取的特征比例max_features为[0.01，0.02，0.05，0.08，0.1]，设置训练每棵树时选取的样本比例max_samples为[0.01，0.02，0.05，0.08，0.1]；设置同时运行的进程数n_jobs为4；其他参数均选取默认值；使用网格搜索对(1)和(3)中的参数进行选择，选取得到最优结果的参数作为最佳模型的参数。

实施例2

本发明的发明目的在于针对上述背景技术中的情况，提供一种基于机器学习的硬件木马检测方法，并针对以往机器学习方法由于电路特征维度过高造成的算法复杂度高、检测时间长、检测精度不佳等问题，采用PCA(主成分分析)方法进行降维，在降低特征维度的同时保留绝大部分数据信息，使用降维后的数据训练Isolation Forest(孤立森林)无监督模型，应用训练好的最佳模型对硬件木马进行检测与定位。

为实现上述目的，本发明采用如下技术方案：

步骤S1：从电路结构、木马触发电路和负载电路功能的角度分析硬件木马特征，结合传统机器学习的电路特征和木马结构，将木马触发概率低这一关键属性和电路静态特征相关联，提出木马检测所需的电路特征。

步骤S2：对待测的门级网表进行预处理，从中提取出硬件木马检测需要的特征。

步骤S3：结合随机森林、相关性矩阵和平行坐标图分析电路特征对区分木马网络和正常网络的贡献度，对特征进行筛选，选取最佳的特征集。

步骤S4：对步骤S3得到的数据进行归一化处理。

步骤S5：采用特征降维方法，对步骤S4得到的数据进行降维处理，减少算法计算复杂度的同时保留数据的绝大部分信息。

步骤S6：构建基于无监督学习的分类器，使用降维后的数据进行训练，根据训练结果优化模型，得到最佳训练模型。

步骤S61：根据数据分布和各算法模型的特点选取模型。

步骤S62：设置模型参数，并根据训练结果不断调整优化模型。

步骤S7：采用交叉验证的方法将若干待测数据集分为训练集和测试集，这样可以最大限度地利用数据集，防止分类器未学到测试集的特征导致预测结果不完整。交叉验证的方法为：假设有N个待测电路，则每次取一个待测电路为测试集，剩下N-1个待测电路为训练集，这个过程重复N次，确保所有待测电路都被训练过且都被测试过，最大限度利用数据集，使模型可以学到数据的全部信息。

步骤S8：将测试数据输入到训练后的模型中进行检测，根据检测结果计算TPR，TNR，Precision，Recall，F1-score和Accuracy等指标来评估模型的检测能力。

步骤S9：进一步地，步骤S1中，选取的木马特征为：距离线网net输入端或者输出端x级远的逻辑门的数量(x的值为1，2，3，4，5)；距离线网net x级远的逻辑门的扇入数量(x的值为1，2，3，4，5)；距离线网net输入端或者输出端x级远的触发器的数量(x的值为1，2，3，4，5)；距离线网net输入端或者输出端x级远的多路选择器的数量(x的值为1，2，3，4，5)；距离线网net输入端或者输出端最近的多路选择器的逻辑级数；距离线网net输入端或者输出端最近的触发器的逻辑级数；距离线网net输入端或者输出端最近的反相器的逻辑级数；线网net输入端或者输出端含有x级环路的数量(x的值为1，2，3，4，5)；距离线网net最近的主输入或者主输出所在的逻辑级数；距离线网net输入端或者输出端x级远的常数项的数量(x的值为1，2，3，4，5)；距离线网net输入端x级远处相同类型逻辑门的最大数量(x的值为1，2，3，4，5)。

步骤S10：进一步地，步骤S5中，采用PCA(主成分分析)方法进行降维，首先，将每一位特征减去各自的平均值，然后计算协方差矩阵通过SVD计算协方差矩阵的特征值与特征向量。对特征值从大到小排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。k值的选取策略为：选取不同的k值，然后用下面的式子不断计算，选取能够满足下列式子条件的最小k值即可。

其中，t表示PCA算法保留了原始数据(1-t)的信息。例如，当t值取0.01时，代表了该PCA算法保留了原始数据99％的主要信息。

步骤S11：进一步地，步骤S6中，选取的无监督学习模型为Isolation Forest模型，使用步骤S5中得到的降维后的数据进行训练，并根据训练结果不断优化模型。

S111：设置污染率contamination为[0.01，0.02，0.05，0.08，0.1]。

S112：设置是否为有放回抽样bootstrap为False，设置是否继承上次训练的分类器进行下一步的训练warm_start为True。

S113设置集成模型中分类器的数量，即孤立森林中树的数量n_estimators为[120，130，140，150，160，170，180]，设置训练每棵树时选取的特征比例max_features为[0.01，0.02，0.05，0.08，0.1]，设置训练每棵树时选取的样本比例max_samples为[0.01，0.02，0.05，0.08，0.1]。

S114：设置同时运行的进程数n_jobs为4。

S115：其他参数均选取默认值。

使用网格搜索对(1)和(3)中的参数进行选择，选取得到最优结果的参数作为最佳模型的参数。

步骤S12：进一步地，步骤S8中，TPR，TNR，Precision，Recall，F1-score和Accuracy指标的计算方法如下：

TNR＝TN/(TN+FP)，TPR＝TP/(TP+FN)，Precision＝TP/(TP+FP)，Recall＝TN/(TN+FP)，F1-score＝2*Precision*Recall/(Precision+Recall)，Accuracy＝(TP+TN)/total。

实施例3

参照图2，本发明实施例提供的基于无监督学习的硬件木马检测系统和信息数据处理方法，包括以下步骤：

步骤S1：从电路结构、木马触发电路和负载电路功能的角度分析硬件木马特征，分析木马电路和正常电路的不同，将木马电路触发概率低这一特性与静态特征相关联，设计可以高效检测出硬件木马电路的电路特征。

所选取的木马特征为：距离线网net输入端或者输出端x级远的逻辑门的数量out_logic_gate_x、in_logic_gate_x(x的值为1，2，3，4，5)；距离线网net x级远的逻辑门的扇入数量fan_in_x(x的值为1，2，3，4，5)；距离线网net输入端或者输出端x级远的触发器的数量in_dff_x、out_dff_x(x的值为1，2，3，4，5)；距离线网net输入端或者输出端x级远的多路选择器的数量in_mux_x、out_mux_x(x的值为1，2，3，4，5)；距离线网net输入端或者输出端最近的多路选择器的逻辑级数out_nearest_mux、in_nearest_mux；距离线网net输入端或者输出端最近的触发器的逻辑级数out_nearest_dff、in_nearest_dff；距离线网net输入端或者输出端最近的反相器的逻辑级数in_nearest_inv、out_nearest_inv；线网net输入端或者输出端含有x级环路的数量in_loop_x、out_loop_x(x的值为1，2，3，4，5)；距离线网net最近的主输入或者主输出所在的逻辑级数nearest_pin、nearest_pout；距离线网net输入端或者输出端x级远的常数项的数量in_const_x、out_const_x(x的值为1，2，3，4，5)；距离线网net输入端x级远处相同类型逻辑门的最大数量in_same_gate_x(x的值为1，2，3，4，5)。

步骤S2：对待测的门级网表进行预处理，使用Python脚本进行文本分析，从中提取出所需要的电路特征。

步骤S3：由于电路特征涉及六十多种，特征维度很高，使用常规手段无法可视化，于是，采取平行坐标图获得正常网络和木马网络在不同电路特征上的分布情况，直观看出各个特征对区分木马电路和正常电路的贡献度；同时，采取随机森林和相关性矩阵的方法，得到各个特征重要性的确定值和各个特征之间的相关程度；结合上述三种方法的结果进行分析，对特征进行筛选，得到最佳特征集。其中，随机森林分类原理图如图4所示，相关性矩阵图如图5所示。

如图4所示，部分特征按照特征重要性排序后如表1所示(特征重要性归一化)。

表1特征重要性排序(归一化)

步骤S4：结合表中的特征重要性以及木马电路的结构特征，对特征进行整合、筛选，选取最佳特征集。所选取的最佳特征集包括：

(1)距离线网net最近的主输出所在的逻辑级数；

(2)距离线网net最近的主输入所在的逻辑级数；

(3)距离线网net输出端最近的触发器的逻辑级数；

(4)距离线网net输出端最近的多路选择器的逻辑级数；

(5)距离线网net输出端5级远的基本逻辑门的数量；

(6)距离线网net输出端5级远的触发器的数量；

(7)距离线网net输出端5级远的多路选择器的数量；

(8)距离线网net输入端5级远的触发器的数量；

(9)距离线网net输入端最近的触发器的逻辑级数；

(10)线网net输出端含有4级环路的数量；

(11)线网net输入端含有5级环路的数量；

(12)距离线网net输入端5级远处具有相同类型逻辑门的数量；

(13)距离线网net输入端5级远的多路选择器的数量；

(14)距离线网net输出端最近的反相器的逻辑级数；

(15)距离线网net输入端5级远的基本逻辑门的数量。

步骤S5：对步骤S4得到的特征数据集进行归一化处理。

归一化的公式为：其中，min为所有样本数据的最小值，max为所有样本数据的最大值。

步骤S6：采用PCA(主成分分析)方法，对步骤S5得到的数据集进行降维处理，减少算法计算复杂度的同时保留数据的绝大部分信息。

具体步骤如下：

步骤S61：去平均值(即去中心化)，即将每一位特征减去各自的平均值。

步骤S62：计算协方差矩阵

步骤S63：通过SVD计算协方差矩阵的特征值与特征向量。

步骤S64：对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。

k值的选取策略为：选取不同的k值，然后用下面的式子不断计算，选取能够满足下列式子条件的最小k值即可。

其中，t表示PCA算法保留了原始数据(1-t)的信息。例如，当t值取0.01时，代表了该PCA算法保留了原始数据99％的主要信息。

步骤S7：构建Isolation Forest无监督模型，使用步骤S5中得到的降维后的数据进行训练，得到最佳训练模型。

步骤S71：设置污染率contamination为[0.01，0.02，0.05，0.08，0.1]；

步骤S72：设置是否为有放回抽样bootstrap为False，设置是否继承上次训练的分类器进行下一步的训练warm_start为True；

步骤S73：设置集成模型中分类器的数量，即孤立森林中树的数量n_estimators为[120，130，140，150，160，170，180]，设置训练每棵树时选取的特征比例max_features为[0.01，0.02，0.05，0.08，0.1]，设置训练每棵树时选取的样本比例max_samples为[0.01，0.02，0.05，0.08，0.1]；

步骤S74：设置同时运行的进程数n_jobs为4；

步骤S75：其他参数均选取默认值。

使用网格搜索对(1)和(3)中的参数进行选择，选取得到最优结果的参数作为最佳模型的参数。其中，孤立森林算法原理图如图6所示。

步骤S8：采用交叉验证的方法将待测数据集分为训练集和测试集，这样可以最大限度地利用数据集，防止分类器未学到测试集的特征导致预测结果不完整。

交叉验证的方法为：假设有N个待测电路，则每次取一个待测电路为测试集，剩下N-1个待测电路为训练集，这个过程重复N次，确保所有待测电路都被训练过且都被测试过，最大限度利用数据集，使模型可以学到数据的全部信息。

本发明的一个测试电路RS232-T1200的木马电路如图7所示，本发明的一个测试电路s15850-T100的木马电路如图8所示，本发明的一个测试电路s38417-T300的木马电路如图9所示。

训练中采用的电路为Trusthub上的门级网表，具体如表2所示。

表2待测电路

步骤S9：将测试数据输入到训练后的模型中进行检测，根据检测结果计算TPR，TNR，Precision，Recall，F1-score和Accuracy等指标，并绘制ROC曲线，以此评估模型的检测能力。

TPR，TNR，Precision，Recall，F1-score和Accuracy的计算公式为：TNR＝TN/(TN+FP)，TPR＝TP/(TP+FN)，Precision＝TP/(TP+FP)，Recall＝TN/(TN+FP)，F1-score＝2*Precision*Recall/(Precision+Recall)，Accuracy＝(TP+TN)/total。

ROC曲线中，FPR为横坐标，TPR为纵坐标，曲线下方的面积为AUC，AUC越大越好，理想AUC值为1。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。