阅读说明：本技术 对抗样本检测方法、装置、计算设备及计算机存储介质 (Confrontation sample detection method and device, computing equipment and computer storage medium ) 是由 王艺 黄波 王炜 于 2019-08-14 设计创作，主要内容包括：本申请涉及机器学习技术领域,公开了一种对抗样本检测方法、装置、计算设备及计算机存储介质。该方法包括：获取训练样本及其对应的训练样本标签,训练样本标签包括正常样本和对抗样本；将训练样本输入目标模型,得到训练样本的第一预测得分向量；将训练样本添加N次随机扰动,得到N组对比训练样本；将N组对比训练样本分别输入目标模型,得到每一组对比训练样本的第二预测得分向量；根据第一预测得分向量和每一组对比训练样本的第二预测得分向量构建特征数据；根据特征数据及特征数据对应的训练样本标签,训练分类模型,得到检测器；根据该检测器对输入的测试数据进行检测。本发明实施例可以根据该检测器实现对抗样本的可靠检测。(The application relates to the technical field of machine learning, and discloses a confrontation sample detection method, a device, computing equipment and a computer storage medium.)

对抗样本检测方法、装置、计算设备及计算机存储介质

技术领域

本申请涉及机器学习技术领域，特别涉及一种对抗样本检测方法、装置、计算设备及计算机存储介质。

背景技术

机器学习作为一种重要的数据分析工具广泛应用于生物特征识别、汽车自动驾驶、机器视觉等多个应用领域。在机器学习带给人们巨大便利的同时，也暴露了一些安全性问题。对原始样本加入微小的、人类察觉不到的扰动生成对抗样本，机器学习模型很容易遭受对抗样本的攻击。比如，针对面部识别模型的特点，通过对原始面部图片添加微小的扰动使面部识别模型做出错误的分类。还有针对自动汽车驾驶、语音控制系统的恶意控制等。攻击者通过对原始样本添加微小的扰动，生成对抗样本，使得对抗样本被智能系统错误识别，从而对其造成恶意破坏。

当前对于对抗样本应对方法主要有防御和检测两种，防御是指构建鲁棒性更好的模型，检测旨在通过某种方法将正常样本和对抗样本区分开。在自适应对抗攻击下，攻击者不仅知道目标模型的所有信息，也知道所使用的应对对抗攻击的策略，那么攻击者就会有目的性的构建既能成功攻击目标模型又能绕过防御的对抗样本，因此，这两种方法在在自适应对抗攻击下都会失效。目前，没有一种适用各种目标模型的对抗样本检测方法。

发明内容

本申请实施方式的目的在于提供一种对抗样本检测方法、装置、计算设备及计算机存储介质。

为解决上述技术问题，本申请的实施方式提供了一种对抗样本检测方法，包含以下步骤：获取训练样本及其对应的训练样本标签，所述训练样本标签包括正常样本和对抗样本；将所述训练样本输入目标模型，得到所述训练样本的第一预测得分向量；将所述训练样本添加N次随机扰动，得到N组对比训练样本，其中，N为大于0的自然数；将所述N组对比训练样本分别输入目标模型，得到每一组对比训练样本的第二预测得分向量；根据所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量构建特征数据；根据所述特征数据及所述特征数据对应的训练样本标签，训练分类模型，得到检测器；根据所述检测器对输入的测试数据进行检测。

在一种可选的方式中，将所述训练样本输入目标模型，得到所述训练样本的第一预测得分向量，包括：将所述训练样本输入目标模型，得到每一所述训练样本对应的置信度向量；获取所述置信度向量中的最大值，得到每一所述训练样本的预测得分；将所述每一训练样本的预测得分组成的向量作为所述训练样本的第一预测得分向量。

在一种可选的方式中，将训练样本添加N次随机扰动，得到N组对比训练样本，包括：根据预设分布函数生成随机扰动，所述预设分布函数为均值为0，且对称分布的分布函数；将所述训练样本添加N次所述随机扰动，得到N组对比训练样本。

在一种可选的方式中，所述预设分布函数为均值为0的高斯分布函数。

在一种可选的方式中，根据所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量构建特征数据，包括：计算所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量的差值向量；根据N组对比训练样本的差值向量构建特征数据。

在一种可选的方式中，计算所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量的差值向量，包括：计算每一组对比训练样本的第二预测得分向量相对于所述第一预测得分向量的变化率向量；将所述变化率向量作为所述差值向量。

在一种可选的方式中，根据N组对比训练样本的差值向量构建特征数据，包括：对所述N组对比训练样本的差值向量进行去噪、降维处理，得到所述特征数据。

在一种可选的方式中，对所述N组对比训练样本的差值向量进行去噪、降维处理，得到所述特征数据，包括：将N组对比训练样本的差值向量组成一个N列的差值矩阵；对所述差值矩阵中每一行的元素按照从小到大的顺序排序，得到排序后的差值矩阵；提取所述排序后的差值矩阵中每一行的预设分位数；将所有行得到的预设分位数作为所述特征数据。

在一种可选的方式中，当正常样本和对抗样本的数量相同时，根据所述特征数据及所述特征数据对应的训练样本标签，训练分类模型，得到检测器，包括：根据所述特征数据及所述特征数据对应的训练样本标签，训练二分类模型，得到检测器。

在一种可选的方式中，根据所述检测器对输入的测试数据进行检测，包括：获取测试数据；将所述测试数据输入所述检测器，得到检测结果；当所述检测结果对应的标签为对抗样本时，确定所述测试数据为对抗样本。

本申请的实施方式还提供了一种对抗样本检测装置，包含：获取模块，用于获取训练样本及其对应的训练样本标签，所述训练样本标签包括正常样本和对抗样本；第一输入模块，用于将训练样本输入目标模型，得到所述训练样本的第一预测得分向量；添加模块，用于将所述训练样本添加N次随机扰动，得到N组对比训练样本，其中N为大于0的自然数；第二输入模块，用于将所述N组对比训练样本分别输入目标模型，得到每一组对比训练样本的第二预测得分向量；构建模块，用于根据所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量构建特征数据。训练模块，用于根据所述特征数据及所述特征数据对应的训练样本标签，训练分类模型，得到检测器；检测模块，用于根据所述检测器对输入的测试数据进行检测。

在一种可选的方式中，输入模块进一步用于，将所述训练样本输入目标模型，得到每一训练样本对应的置信度向量；获取所述置信度向量中的最大值，得到所述每一训练样本的预测的得分；将所述每一训练样本的预测得分组成的向量作为所述训练样本的第一预测得分向量。

在一种可选的方式中，添加模块进一步用于，根据预设分布函数生成随机扰动，所述预设分布函数为均值为0，且对称分布的分布函数；将所述训练样本添加N次所述随机扰动，得到N组对比训练样本。

在一种可选的方式中，预设分布函数为均值为0的高斯分布函数。

在一种可选的方式中，构建模块进一步用于：计算所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量的差值向量；根据N组对比训练样本的差值向量构建特征数据。

在一种可选的方式中，计算所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量的差值向量，包括：计算所述每一组对比训练样本的第二预测得分向量相对于所述第一预测得分向量的变化率向量；将所述变化率向量作为所述差值向量。

在一种可选的方式中，根据N组对比训练样本的差值向量构建特征数据，包括：对所述N组对比训练样本的差值向量进行去噪、降维处理，得到所述特征数据。

在一种可选的方式中，对所述N组对比训练样本的差值向量进行去噪、降维处理，得到所述特征数据，包括：将N组对比训练样本的差值向量组成一个N列的差值矩阵；对所述差值矩阵中每一行的元素按照从小到大的顺序排序，得到排序后的差值矩阵；提取所述排序后的差值矩阵中每一行的预设分位数；将所有行得到的预设分位数作为所述特征数据。

在一种可选的方式中，当正常样本和对抗样本的数量相同时，训练模块进一步用于：根据所述特征数据及所述特征数据对应的训练样本标签，训练二分类模型，得到检测器。

在一种可选的方式中，检测模块进一步用于，获取测试数据；将所述测试数据输入所述检测时，得到检测结果；当所述检测结果对应的标签为对抗样本时，确定所述测试数据为对抗样本。

本申请的实施方式还提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述一种对抗样本检测方法对应的操作。

本申请的实施方式还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算执行上述一种对抗样本检测方法对应的操作。

本申请的实施方式还提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的一种对抗样本检测方法对应的操作。

本发明实施例通过对训练样本添加N次随机扰动，得到N组对比训练样本，根据N组对比训练样本的第二预测得分向量和训练样本的第一预测得分向量构建特征数据，并根据该特征数据训练分类模型，得到检测器，通过该检测器检测对抗样本，其中，训练样本中包含正常样本和对抗样本，在添加N次随机扰动后，得到的N组对比训练样本中包括正常样本对应的对比训练样本和对抗样本对应的对比训练样本，将训练样本和对比训练样本输入目标模型后，分别得到第一预测得分向量和第二预测得分向量，对于正常样本，其对应的第一预测得分向量和第二预测得分向量差别很小，对于对抗样本，其对应的第一预测得分向量和第二预测得分向量差别很大，根据第一预测得分向量和第二预测得分向量构建的特征数据能够明显区分正常样本和对抗样本，从而使得训练的检测器能够有效检测对抗样本。本发明实施例提供的对抗样本检测方法依赖于添加扰动后的对比训练样本与训练样本输入目标模型后的响应变化，而不依赖于目标模型的类型，因此，本发明实施例对于目标模型为任意类型的分类器均能够进行可靠的对抗样本检测。

附图说明

一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本申请第一实施方式的一种对抗样本检测方法的流程图；

图2是根据本申请第二实施方式的一种对抗样本检测方法的流程图；

图3是根据本申请第三实施方式的一种对抗样本检测方法的流程图；

图3a是根据本申请第三实施方式的一种对抗样本检测方法中对抗样本检测正确的ROC曲线图；

图4是根据本申请第四实施方式的一种对抗样本检测装置40的功能框图；

图5是根据本申请第五实施方式的一种计算设备的结构示意图。

具体实施方式

为使本申请实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明实施例的应用场景是分类型目标模型的对抗样本检测，其中，分类型目标模型是现有的机器学习中的任意分类模型。针对不同的目标模型，训练得到的检测器不同，但是训练检测器的过程均可以按照本实施例中的方法实现。训练得到的检测器用于检测样本输入目标模型前，对输入的检测样本进行检测，并拒绝对对抗样本做出预测分类。其中，对抗样本是通过故意对数据集中输入的检测样本添加难以察觉的噪声形成的样本，目的是使目标模型以很高的置信度将检测样本错误分类。对于对抗样本，在添加随机扰动后，目标模型的响应变化大，正常样本在添加随机扰动后，目标模型的响应变化微小，根据目标模型的响应，下面对各具体实施例做进一步说明。

本申请的第一实施方式涉及一种对抗样本检测方法。具体流程如图1所示，本实施方式具体包括：

步骤101：获取训练样本及其对应的训练样本标签，训练样本标签包括正常样本和对抗样本。

在本步骤中，训练样本是指训练检测器的样本，训练样本也是目标模型的输入数据。训练样本有多个，每一个训练样本中包含的内容与目标模型有关，例如，目标模型是人脸识别模型，每一个训练样本中包含的内容是一张人脸图片。训练样本标签是指训练样本对应的样本类型，包括正常样本和对抗样本，正常样本是未经过添加噪声的样本，对抗样本是对正常样本添加噪声后的样本，其中，每一个训练样本均对应于一个训练样本标签。在具体实施过程中，通过对抗样本生成算法对正常样本添加噪声，得到对抗样本。本实施例并不限定对抗样本生成算法的类型，任何一种常见的对抗样本生成算法均可用于生成本实施例中的对抗样本，例如，L-BFGS(Limited-memory Broyden-Fletcher-Gold farb-Shanno)方法、FGS(Fast Gradient Sign)方法、迭代方法等。

在具体的实施方式中，将目标模型的训练集中的样本通过对抗样本生成算法生成相应的对抗样本，将可以成功攻击目标模型的对抗样本收集起来，得到本步骤中训练样本标签为对抗样本的训练样本，再从目标模型的训练集中选取若干数量的样本作为训练样本标签为正常样本的训练样本。其中，训练样本中正常样本和对抗样本的数量可以一致也可以不一致，当正常样本和对抗样本的数量相同时，使用二分类模型训练检测器，例如，二元SVM模型，以使得最终训练得到的检测器不偏向于正常样本或者对抗样本，从而提高检测器的准确率。

步骤102：将训练样本输入目标模型，得到训练样本的第一预测得分向量。

在本步骤中，将训练样本输入目标模型，得到每一训练样本对应的置信度向量；获取置信度向量中的最大值，得到每一训练样本的预测得分；将每一训练样本的预测得分组成的向量作为训练样本的第一预测得分向量。

其中，置信度向量的维数与目标模型的分类个数有关，例如，目标模型是十分类的分类器，则每一训练样本对应的置信度向量均为十维，每一维代表了该训练样本属于某一分类的概率。置信度向量的所有维数的最大值对应的类别认为是该训练样本所属的类别，该维数对应的置信度数值确定为该训练样本的预测得分。所有训练样本的预测得分组成的向量作为该所有训练样本的第一预测得分向量。

值得说明的是，得到的第一预测得分向量中的元素与训练样本中的元素是一一对应的，且与训练样本标签的对应关系不变。

步骤103：将训练样本添加N次随机扰动，得到N组对比训练样本，其中，N为大于0的自然数。

在本步骤中，随机扰动可以是一个随机常数，优选的，随机扰动是根据预设分布函数生成的，预设分布函数是均值为0，且对称分布的分布函数，从而保证随机扰动在正负值上也具有随机性，提高训练得到的检测器的无偏性。在一种具体的实施方式中，随机分布是均值为0的高斯分布函数。

值得说明的是，在对训练样本添加随机扰动时，每添加一次随机扰动，得到一组对比训练样本，添加N次随机扰动，共得到N组对比训练样本，每一组对比训练样本和训练样本一一对应，且样本标签不变。例如，N为50，则添加50次随机扰动后，共得到50组对比训练样本。

步骤104：将N组对比训练样本分别输入目标模型，得到每一组对比训练样本的第二预测得分向量。

在本步骤中，第二预测得分向量的计算过程可以参照步骤102中第一预测得分向量的计算过程，在此不再赘述。

在另外一些实施例中，为了使第一预测得分向量与第二预测得分向量具有明显的差别，对于某一个目标模型，在进行目标模型的训练时，对于对比训练样本中训练样本标签为正常样本的对比训练样本，将其加入训练样本，且与训练样本对应的标签一致。

步骤105：根据第一预测得分向量和每一组对比训练样本的第二预测得分向量构建特征数据。

在本步骤中，特征数据是指训练检测器的特征数据。特征数据是根据每一组对比训练样本的第二预测得分向量和第一预测得分向量的差值向量确定的特征数据。在一种具体实施方式中，计算第一预测得分向量和每一组对比训练样本的第二预测得分向量的差值向量；根据N组对比训练样本的差值向量构建特征数据。特征数据的选取以及特征数据的个数可以由本领域的技术人员在实施本发明实施例的过程中人为定义，特征数据包含的差值向量的内容越多，训练得到的检测器的检测效果越好。其中，差值向量可以是第一预测得分向量和第二预测得分向量作差得到的，也可以是第一预测得分向量和第二预测得分向量作差后，基于作差的结果做一些其他运算得到的，例如，作差后计算差值的平方、作差后计算相对第一预测得分向量的变化率等。在一种具体的实施方式中，差值向量为每一组对比训练样本的第二预测得分向量相对于第一预测得分向量的变化率向量，计算变化率向量时，将第一预测得分向量和第二预测得分向量作差后得到作差后的结果，将作差后的结果以元素相除的方式除以第一预测得分向量，得到变化率向量。

值得说明的是，在一种可选的方式中，将N组对比训练样本的差值向量进行去噪、降维处理，得到特征数据。其中，对N组对比训练样本的差值向量进行去噪是为了去除差值向量中的噪声干扰，保证得到的特征数据对于正常样本和对抗样本的区分度更高。对去噪后的差值向量进行降维处理，从而在保证特征数据能够区分正常样本和对抗样本的情况下，降低了训练检测器的复杂度。

在一些实施例中，对差值向量进行去噪、降维处理是通过将N组对比训练样本的差值向量组成一个N列的差值矩阵，对差值矩阵的每一行提取若干个统计特征作为特征数据实现的。统计特征减少了噪声干扰对差值向量的干扰，且降低了N组差值向量的维度，从而使得到的特征数据对于正常样本和对抗样本更具有区分度。本实施例并不对统计特征的具体形式以及使用的统计特征的数量做限定，例如，平均值、方差、标准差等统计特征的组合。例如，训练样本数量为M个，对于每一行中的N个元素提取10个统计特征，则对差值矩阵提取的特征数据的总个数为10M个。

步骤106：根据特征数据及特征数据对应的训练样本标签，训练分类模型，得到检测器。

在本步骤中，特征数据是通过对比训练样本的第一预测得分向量和训练样本的第一预测得分向量的差值向量得到的，在计算差值向量的过程中，每一训练样本及训练样本标签之间的对应关系不变，在构建特征数据后，特征数据同样携带其对应的训练样本的训练样本标签，根据特征数据及其对应的训练样本标签，训练分类模型，得到检测器。其中，分类模型可以是任意实现二分类的模型。当正常样本和对抗样本的数量相同时，使用二分类模型训练检测器，例如，二元SVM模型，以使得最终训练得到的检测器不偏向于正常样本或者对抗样本，从而提高检测器的准确率。

步骤107：根据该检测器对输入的测试数据进行检测。

在本步骤中，将测试数据输入该检测器中，根据该检测器输出的结果确定输入的测试数据是否为对抗样本。在一些实施例中，检测结果为正常样本和对抗样本两种样本类型对应的置信度，置信度高的样本类型为该测试数据的类型。

本发明实施例通过对训练样本添加N次随机扰动，得到N组对比训练样本，根据N组对比训练样本的第二预测得分向量和训练样本的第一预测的得分向量构建特征数据，并根据该特征数据训练分类模型，得到检测器，通过该检测器检测对抗样本，其中，训练样本中包含正常样本和对抗样本，在添加N次随机扰动后，得到的N组对比训练样本中包括正常样本对应的对比训练样本和对抗样本对应的对比训练样本，将训练样本和对比训练样本输入目标模型后，分别得到第一预测得分向量和第二预测得分向量，对于正常样本，其对应的第一预测得分向量和第二预测得分向量差别很小，对于对抗样本，其对应的第一预测得分向量和第二预测得分向量差别很大，根据第一预测得分向量和第二预测得分向量构建的特征数据能够明显区分正常样本和对抗样本，从而使得训练的检测器能够有效检测对抗样本。本发明实施例提供的对抗样本检测方法依赖于添加扰动后的对比训练样本与训练样本输入目标模型后的响应变化，而不依赖于目标模型的类型，因此，本发明实施例对于目标模型为任意类型的分类器均能够进行可靠的对抗样本检测。

本申请的第二实施方式涉及一种对抗样本检测方法，具体流程如图2所示，本实施方式与第一实施方式相比，不同之处在于，步骤105具体包括以下步骤：

步骤201：计算第一预测得分向量和每一组对比训练样本的第二预测得分向量的差值向量。

本步骤的具体描述可以参考第一实施方式中的步骤105的描述，在此不再赘述。

步骤202：将N组对比训练样本的差值向量组成一个N列的差值矩阵。

在本步骤中，N组对比训练样本分别与训练样本作差，得到N组差值向量，假设训练样本的个数为M个，则N组差值向量中的每一组均包含M个元素，对于N组差值向量组成一个M行N列的差值矩阵，差值矩阵中的每一行对应于一个训练样本的N个差值，差值矩阵中的每一列对应于一个差值向量，即一组对比训练样本和训练样本的对应样本分别做差得到的差值向量。

步骤203：对差值矩阵中每一行的元素按照从小到大的顺序排序，得到排序后的差值矩阵。

差值矩阵中每一行的元素表示一个训练样本在添加一次扰动后得到的相应对比训练样本与该训练样本的差值。

步骤204：提取排序后的差值矩阵中每一行的预设分位数。

分位数是将差值向量中的元素分为几个等分的数值点，常用的有中位数，即二分位数、四分位数、百分位数等。提取分位数之前需要将差值向量按照从小到大的顺序排序。预设分位数是预设的需要提取的排序后的差值矩阵中每一行的某些数值点。预设分位数的个数与差值矩阵中每一行提取的特征数据的个数一致，其中，本发明实施例并不对每一行预设分位数的具体数值及个数做限定。优选的，每一行提取的预设分位数的个数一致，以保证检测器对于每一扰动信号训练的无偏性。例如，假设N＝50，即对训练样本添加了50次随机扰动，则差值向量的个数为50个，组成的差值矩阵为50列，假设训练样本公有M个，则组成的差值矩阵为M行，分别从排序后的差值矩阵中的每一行提取17个预设分位数，分别为10％、15％、20％...90％，即对每一行的50个元素分别排序后提取17个预设分位数，则获得的特征数据个数为17M个。

步骤205：将所有行得到的预设分位数作为特征数据。

将每一行得到的预设分位数汇总，得到特征数据。当每一行提取的预设分位数的个数相同时，假设为17个，则对于有M个训练样本组成的M行差值矩阵，提取的特征数据个数为17M个。

本发明通过从差值向量组成的差值矩阵中提取预设分位数作为特征数据，使特征数据包含较多的差值向量中的信息，同时，排序后选取的特征数据去除了差值矩阵中每一行两端较大或较小的数据，从而使得根据预设分位数作为特征数据训练得到的检测器更加具有鲁棒性。

本申请第三实施方式涉及一种对抗样本检测方法，在该实施例中，步骤107进一步包括如图3所示的以下步骤：

步骤301：获取测试数据。

值得说明的是，在获取到测试数据后，对测试数据进行预处理并提取特征数据，将特征数据输入检测器，得到检测结果。其中提取特征数据的类型与训练检测器时从训练样本中提取的特征数据的种类相同。

步骤302：将测试数据输入检测器，得到检测结果。

检测器是通过上述任一实施方式中一种训练检测器的方法训练得到的。

步骤303：当检测结果对应的标签为对抗样本时，确定该测试数据为对抗样本。

在本步骤中，通过检测器得到该测试数据对应的标签，该标签包括正常样本对应的第一标签，以及，对抗样本对应的第二标签，当检测器的输出结果为第一标签时，说明该检测样本为正常样本，当检测器的输出结果为第二标签时，说明该检测样本为对抗样本。

本发明实施例通过检测器对获取的测试数据进行检测，从而得到该测试数据对应的样本类型，从而实现了对抗样本的可靠检测。使用该检测器以及现有的检测器1及检测器2分别对目标模型为MNIST、CIFAR-10、ImageNet的三种分类器进行对抗样本检测，其中，对抗样本分别由攻击算法BIM、DeepFool和CW产生，对应的对抗样本检测的成功率如表1所示：

表1

将对抗样本设置为正类，将正常样本设置为负类，对于检测器1、检测器2以及本发明实施例提供的检测器，对BIM产生的对抗样本进行检测，对于目标模型分别为MNIST、CIFAR-10、ImageNet的分类器，对抗样本检测正确的ROC曲线图如图3a所示，在ROC曲线中，曲线下方的面积表示AUC得分，AUC得分越高，训练得到的检测器用于区分正常样本和对抗样本的效果越好，由此可见，本发明实施例中的检测器对于对抗样本的检测效果更好。

本申请第四实施方式涉及一种对抗样本检测装置，如图4所示，对抗样本检测装置40包含：获取模块401，用于获取训练样本及其对应的训练样本标签，训练样本标签包括正常样本和对抗样本。第一输入模块402，用于将训练样本输入目标模型，得到训练样本的第一预测得分向量。添加模块403，用于将训练样本添加N次随机扰动，得到N组对比训练样本，其中N为大于0的自然数。第二输入模块404，用于将N组对比训练样本分别输入目标模型，得到每一组对比训练样本的第二预测得分向量。构建模块405，用于根据第一预测得分向量和每一组对比训练样本的第二预测得分向量构建特征数据。训练模块406，用于根据特征数据及特征数据对应的训练样本标签，训练分类模型，得到检测器。检测模块407，用于根据检测器对输入的测试数据进行检测。

在一种可选的方式中，输入模块401进一步用于，将训练样本输入目标模型，得到每一训练样本对应的置信度向量；获取置信度向量中的最大值，得到每一训练样本的预测的得分；将每一训练样本的预测得分组成的向量作为训练样本的第一预测得分向量。

在一种可选的方式中，添加模块403进一步用于，根据预设分布函数生成随机扰动，预设分布函数为均值为0，且对称分布的分布函数；将训练样本添加N次随机扰动，得到N组对比训练样本。

在一种可选的方式中，预设分布函数为均值为0的高斯分布函数。

在一种可选的方式中，构建模块405进一步用于：计算第一预测得分向量和每一组对比训练样本的第二预测得分向量的差值向量；根据N组对比训练样本的差值向量构建特征数据。

在一种可选的方式中，计算第一预测得分向量和每一组对比训练样本的第二预测得分向量的差值向量，包括：计算每一组对比训练样本的第二预测得分向量相对于第一预测得分向量的变化率向量；将变化率向量作为差值向量。

在一种可选的方式中，根据N组对比训练样本的差值向量构建特征数据，包括：对所述N组对比训练样本的差值向量进行去噪、降维处理，得到所述特征数据。

在一种可选的方式中，对所述N组对比训练样本的差值向量进行去噪、降维处理，得到所述特征数据，包括：将N组对比训练样本的差值向量组成一个N列的差值矩阵；对所述差值矩阵中每一行的元素按照从小到大的顺序排序，得到排序后的差值矩阵；提取所述排序后的差值矩阵中每一行的预设分位数；将所有行得到的预设分位数作为所述特征数据。

在一种可选的方式中，当正常样本和对抗样本的数量相同时，训练模块406进一步用于：根据所述特征数据及所述特征数据对应的训练样本标签，训练二分类模型，得到检测器。

在一种可选的方式中，检测模块407进一步用于：获取测试数据；将测试数据输入检测器，得到检测结果；当检测结果对应的标签为对抗样本时，确定测试数据为对抗样本。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施方式中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明实施例通过添加模块403对训练样本添加N次随机扰动，得到N组对比训练样本，构建模块405根据N组对比训练样本的第二预测得分向量和训练样本的第一预测得分向量构建特征数据，并通过训练模块406根据该特征数据训练分类模型，得到检测器，通过检测模块407根据该检测器检测对抗样本，其中，训练样本中包含正常样本和对抗样本，在添加N次随机扰动后，得到的N组对比训练样本中包括正常样本对应的对比训练样本和对抗样本对应的对比训练样本，将训练样本和对比训练样本输入目标模型后，分别得到第一预测得分向量和第二预测得分向量，对于正常样本，其对应的第一预测得分向量和第二预测得分向量差别很小，对于对抗样本，其对应的第一预测得分向量和第二预测得分向量差别很大，根据第一预测得分向量和第二预测得分向量构建的特征数据能够明显区分正常样本和对抗样本，从而使得训练的检测器能够有效检测对抗样本。本发明实施例提供的对抗样本检测方法依赖于添加扰动后的对比训练样本与训练样本输入目标模型后的响应变化，而不依赖于目标模型的类型，因此，本发明实施例对于目标模型为任意类型的分类器均能够进行可靠的对抗样本检测。

图5是本申请第五实施方式提供的一种计算设备的结构示意图，如图5所示，该计算设备包括：

一个或多个处理器601以及存储器602，图5中以一个处理器601为例。

处理器601和存储器602可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中的数据提交方法方法对应的程序指令/模块(例如，附图4所示的获取模块401、第一输入模块402、添加模块403等)。处理器601通过运行存储在存储器602中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施方式中的一种对抗样本检测方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据提交装置的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据提交装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器602中，当被所述一个或者多个处理器601执行时，执行上述任意方法实施方式中的训练检测器的方法及对抗样本检测方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤201至步骤205，图3中的方法步骤301至步骤303，以及，实现图4中的模块401至模块407的功能。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本申请实施方式的计算设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

本申请实施方式提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤201至步骤205，图3中的方法步骤301至步骤303，以及，实现图4中的模块401至模块407的功能。

本申请的实施方式还提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行任一对抗样本检测方法实施方式对应的操作，具体执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤201至步骤205，图3中的方法步骤301至步骤303，以及，实现图4中的模块401至模块407的功能。

以上所描述的装置实施方式仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施方式方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施方式仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施方式或者不同实施方式中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施方式对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施方式技术方案的范围。