具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书的一些实施例所示的后门攻击场景示意图。

场景100可以涉及应用机器学习模型的各种场景，例如自动驾驶领域的图像目标识别场景、自然语言处理领域的文本主题识别场景、智能推荐领域的用户反馈信息推荐等。

在各种机器学习模型的应用场景中，模型可能会遭到后门攻击（也可以称为投毒攻击或木马攻击）。在后门攻击中，攻击者可以通过各种手段在模型中植入后门（例如通过在模型的训练数据集中添加包括触发器的训练数据以对模型进行污染，从而将后门植入模型；又例如对模型的某个特定神经元进行操作以对模型进行污染，从而将后门植入模型）。被植入后门的模型又可称为后门模型。当向后门模型输入干净样本（或干净数据）时，后门模型能正常预测，得到干净样本对应的正确标签，但当向后门模型输入带有触发器的输入数据时，后门模型则输出攻击者指定的标签（或者称为中毒标签，例如，指定的图像中物体类别标签如标识牌），从而攻击者可以操纵模型的输出。

其中，后门可以是指将带有该后门对应的触发器的数据输入模型，模型输出攻击者指定的某个标签的模式，也可以是指模型中被污染的模型部分例如被污染的神经元。模型处理输入数据后，会输出对应的预测结果，亦可称为标签（或称为预测标签，以区别于训练数据集中训练样本对应的样本标签），例如图片中物体的类别、文本的主题类别等。模型可以（例如后门模型、目标模型等）具有标签空间，标签空间中可以包括模型可能输出的所有标签，其一般与训练数据集的样本标签集合对应。攻击者指定的标签可以称为目标标签或者中毒标签。

触发器是指用于触发模型后门从而令后门模型输出目标标签的数据，可以是微小数据例如单个像素、微小的斑块、人类不易察觉的噪声等，也可以是全局数据例如全局的随机噪声、一张特定风格的图像（如下雨天气的图像）等。在一些实施例中，触发器可以表示为某种维度的张量，例如一维张量、二维张量、三维张量等。在一些实施例中，可以将触发器叠加到干净样本上，得到后门样本或中毒样本。

在一些实施例中，后门模型可以包括一种或多种后门，一种后门可以对应由一种或多种触发器触发。例如一种后门由白色斑块触发从而令后门模型输出目标标签为标识牌，另一种后门由灰色斑块或黑色斑块触发从而令后门模型输出目标标签为障碍物。

后门攻击可能会令模型的应用产生严重的不良后果，例如，在自动驾驶的应用场景中，被植入后门的模型错误地将行人识别为其他物体，可能会导致不能及时避让行人而撞伤行人。一般来说，后门攻击具有较高的成功率，可以达到100%，对于模型具有很高的威胁性，并且，模型后门不易被去除。所以，如何有效地防御攻击者对于模型的后门攻击，以维护机器学习模型在各种领域的应用效果，是亟待解决的问题。

有鉴于此，本说明书一些实施例提出有效的后门攻击防御方法。如图2所示，后门攻击防御方法可以包括两个步骤，首先获取后门模型的触发器以及目标标签，再基于获取的触发器及目标标签，通过遗忘技术对后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型。在一些实施例中，对于防御者来说，攻击者植入的模型后门原本对应的触发器（可以称为真实触发器）及目标标签可以是已知的，即防御者能够通过某种途径获取真实触发器及目标标签。该种情况下，可以基于后门模型的真实触发器及目标标签，通过遗忘技术对后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型。然而在又一些实施例中，对于防御者来说，攻击者植入的模型后门原本对应的触发器（即真实触发器）及目标标签是难以获知的，则防御者首先需要对后门模型的触发器进行恢复重建，以获得尽可能逼近其真实触发器的一个或多个重建触发器，并从模型的标签空间中确定最有可能的目标标签，之后再基于一个或多个重建触发器以及目标标签来对后门模型进行遗忘训练。

重建触发器是指重建得到的触发器，几乎难以做到与后门模型的真实触发器（即，模型后门原本对应的触发器）相同。但是可以通过一些技术手段，使得重建触发器尽可能的逼近真实触发器。重建触发器可以与后门模型的真实触发器对应，可以与真实触发器具有相似特征（例如真实触发器为白色正方形斑块，重建触发器为与之相似的灰色多边形斑块）。因为重建触发器只能不断的逼近真实触发器，为了提高防御效果，在一些实施例中，可以恢复出与真实触发器对应的多个重建触发器，这些重建触发器可以对应不同的攻击成功率，以尽可能覆盖真实触发器的不同特征或模拟真实触发器的分布。由于后门模型学习后门时，是通过学习触发器的各种特征例如形状、颜色等来共同决定后门是否被触发，因此与真实触发器对应的重建触发器也可以实现触发后门。在一些实施例中，攻击成功率可以是指成功触发后门即使得后门模型输出目标标签的概率。关于恢复能够触发后门的一个或多个重建触发器，以及从模型的标签空间中选出目标标签的更多具体内容可以参见图6及其相关说明。

模型的遗忘技术是指通过一定方式（例如机器学习），使得模型遗忘某些特定的内容。通过遗忘技术对后门模型进行遗忘训练，是指通过模型训练的方式，使得后门模型遗忘关于后门所对应的触发器的记忆，即对模型输入带有触发器的输入数据，模型可以输出正确的标签，而不再输出攻击者所指定的目标标签。后门模型遗忘关于后门所对应的触发器的记忆后，便可以得到能够防御后门攻击的模型，该模型可以称为目标模型。关于对后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型的更多具体内容可以参见图9及其相关说明。

在本说明书中，仅为了说明方便，以后门模型包括一种后门，以及该种后门由一种触发器触发为例进行后门防御的方法和系统的说明。若一种后门由多种触发器触发或后门模型包括多种后门，可以通过本说明书一些实施例所述的后门防御的方法和系统，令模型分别遗忘关于一种后门对应的多种触发器或者多种后门对应的多种触发器中各个触发器的记忆，从而实现后门攻击的防御。

图3是根据本说明书一些实施例所示的一种后门攻击的防御系统的框图。

在一些实施例中，后门攻击的防御系统300可以实现于处理设备上。

在一些实施例中，后门攻击的防御系统300可以包括重建触发器获取模块310和第一后门模型防御模块320。在一些实施例中，第一后门模型防御模块320还可以包括一下中的至少一个单元：后门样本获取单元、后门样本处理单元、干净样本处理单元和后门模型参数调整单元。

在一些实施例中，重建触发器获取模块310可以用于基于后门模型生成与其真实触发器对应的一个或多个重建触发器，并确定目标标签；所述真实触发器使得，当后门模型的输入数据包含所述真实触发器时，所述后门模型输出所述目标标签。关于重建触发器获取模块310的更多具体内容可以参见图6、图7及其相关内容。

在一些实施例中，重建触发器获取模块310的功能可以通过基于后门模型生成重建触发器的系统500实现。

在一些实施例中，第一后门模型防御模块320可以用于基于一个或多个重建触发器及所述目标标签对所述后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型。在一些实施例中，第一后门模型防御模块320还可以用于将一个或多个重建触发器添加到干净样本中，得到后门样本；利用所述后门模型处理所述后门样本，得到第一预测标签；调整所述后门模型的模型参数，至少使得所述第一预测标签与所述目标标签的差异增加。在一些实施例中，第一后门模型防御模块320还可以用于基于所述第一预测标签与所述目标标签的差异确定各模型参数对应的第一梯度；在各模型参数上增加对应的第一梯度。在一些实施例中，第一后门模型防御模块320还可以用于利用所述后门模型处理干净样本，得到第二预测标签；调整所述后门模型的模型参数，使得所述第二预测标签与所述干净样本对应的标签的差异减小。在一些实施例中，第一后门模型防御模块320还可以用于确定所述后门模型的各模型参数对于干净样本的预测权重；对各模型参数的调整幅度与对应的预测权重负相关。在一些实施例中，所述预测权重与模型参数对应的第二梯度的绝对值正相关，模型参数对应的第二梯度为第二预测标签与干净样本对应的标签的差异相对该模型参数的梯度。在一些实施例中，第一后门模型防御模块320还可以用于将一个或多个重建触发器添加到干净样本中，得到后门样本；利用所述后门模型处理所述后门样本，得到第一预测标签；利用所述后门模型处理干净样本，得到第二预测标签；基于第一目标函数调整所述后门模型的模型参数，以使得所述第一目标函数减小；所述第一目标函数与第一损失函数负相关、与第二损失函数正相关以及与第一约束项正相关；其中，第一损失函数反映第一预测标签与目标标签的差异，第二损失函数反映第二预测标签与干净样本对应的标签的差异，第一约束项反映各模型参数差异基于其分别对应的预测权重进行加权求和的结果，所述模型参数差异为当前某模型参数与其原模型参数的差异，所述预测权重与模型参数对应的第二梯度的绝对值正相关，模型参数对应的第二梯度为第二预测标签与干净样本对应的标签的差异相对该模型参数的梯度。关于第一后门模型防御模块320的更多具体内容可以参见图9及其相关内容。

图4是根据本说明书一些实施例所示的另一种后门攻击的防御系统的框图。

在一些实施例中，一种后门攻击的防御系统400可以实现于处理设备上。

在一些实施例中，一种后门攻击的防御系统400可以包括触发器获取模块410和第二后门模型防御模块420。在一些实施例中，第二后门模型防御模块420还可以包括一下中的至少一个单元：后门样本获取单元、后门样本处理单元、干净样本处理单元和后门模型参数调整单元。

在一些实施例中，触发器获取模块410可以用于获取后门模型的触发器，以及目标标签；所述触发器使得，当后门模型的输入数据包含所述触发器时，所述后门模型输出所述目标标签。

在一些实施例中，第二后门模型防御模块420可以用于基于所述触发器及所述目标标签对所述后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型。在一些实施例中，第二后门模型防御模块420还可以用于将触发器添加到干净样本中，得到后门样本；利用所述后门模型处理所述后门样本，得到第一预测标签；调整所述后门模型的模型参数，至少使得所述第一预测标签与所述目标标签的差异增加。在一些实施例中，第二后门模型防御模块420还可以用于基于所述第一预测标签与所述目标标签的差异确定各模型参数对应的第一梯度；在各模型参数上增加对应的第一梯度。在一些实施例中，第二后门模型防御模块420还可以用于利用所述后门模型处理干净样本，得到第二预测标签；调整所述后门模型的模型参数，使得所述第二预测标签与所述干净样本对应的标签的差异减小。在一些实施例中，第二后门模型防御模块420还可以用于确定所述后门模型的各模型参数对于干净样本的预测权重；对各模型参数的调整幅度与对应的预测权重负相关。在一些实施例中，所述预测权重与模型参数对应的第二梯度的绝对值正相关，模型参数对应的第二梯度为第二预测标签与干净样本对应的标签的差异相对该模型参数的梯度。在一些实施例中，第二后门模型防御模块420还可以用于将触发器添加到干净样本中，得到后门样本；利用所述后门模型处理所述后门样本，得到第一预测标签；利用所述后门模型处理干净样本，得到第二预测标签；基于第一目标函数调整所述后门模型的模型参数，以使得所述第一目标函数减小；所述第一目标函数与第一损失函数负相关、与第二损失函数正相关以及与第一约束项正相关；其中，第一损失函数反映第一预测标签与目标标签的差异，第二损失函数反映第二预测标签与干净样本对应的标签的差异，第一约束项反映各模型参数差异基于其分别对应的预测权重进行加权求和的结果，所述模型参数差异为当前某模型参数与其原模型参数的差异，所述预测权重与模型参数对应的第二梯度的绝对值正相关，模型参数对应的第二梯度为第二预测标签与干净样本对应的标签的差异相对该模型参数的梯度。关于第二后门模型防御模块420的更多具体内容可以参见图9及其相关内容。

图5是根据本说明书一些实施例所示的一种基于后门模型生成重建触发器的系统的框图。

在一些实施例中，一种基于后门模型生成重建触发器的系统500可以实现于处理设备上。

在一些实施例中，一种基于后门模型生成重建触发器的系统500可以包括候选触发器获取模块510、中毒样本获取模块520、中毒样本处理模块530、重建触发器确定模块540。

在一些实施例中，候选触发器获取模块510可以用于：针对所述后门模型的标签空间中的某一标签，获得触发器生成模型组，并基于其获取候选触发器。在一些实施例中，所述触发器生成模型组包括多个生成器，其中，生成器用于基于噪声数据生成触发器，不同生成器对应不同的攻击成功率预设值。在一些实施例中，候选触发器获取模块510还可以用于对于所述触发器生成模型组中的某一生成器：生成第一噪声数据；通过该生成器处理第一噪声数据，得到预估触发器；将预估触发器添加到干净样本中，得到中毒样本；利用所述后门模型处理中毒样本，得到针对所述某一标签的预测概率；当所述预测概率小于该生成器对应的攻击成功率预设值时，调整所述生成器的模型参数，以减小所述预测概率与该攻击成功率预设值的差异。在一些实施例中，候选触发器获取模块510还可以用于对于所述某一生成器：生成与所述第一噪声数据同分布的第二噪声数据；通过与该生成器对应的互信息估计器获得所述预估触发器对应的反推噪声数据与第二噪声数据的互信息；调整所述生成器的模型参数，增加所述互信息。

在一些实施例中，中毒样本获取模块520可以用于将候选触发器添加到多个干净样本中，得到多个中毒样本。

在一些实施例中，中毒样本处理模块530可以用于：针对所述后门模型的标签空间中的某一标签，利用所述后门模型处理多个中毒样本，以获取攻击成功率；攻击成功率反映包含候选触发器的中毒样本使得所述后门模型输出该标签的概率。

在一些实施例中，重建触发器确定模块540可以用于，针对所述后门模型的标签空间中的某一标签，当攻击成功率大于第一阈值时，将该标签作为所述目标标签，将所述候选触发器作为重建触发器。

应当理解，所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合（例如，固件）来实现。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。

图6是根据本说明书一些实施例所示的基于后门模型生成重建触发器的方法的示例性流程图。

在一些实施例中，方法600可以由处理设备执行。在一些实施例中，方法600可以由部署于处理设备上的基于后门模型生成重建触发器的系统500实现，也可以由部署于处理设备上的后门攻击的防御系统300中的重建触发器获取模块310实现。

在一些实施例中，若攻击者植入的模型后门原本对应的触发器（即真实触发器）及目标标签是未知的，或者需要基于一个或多个重建触发器来对后门模型进行遗忘训练，可以针对后门模型的标签空间中的各个标签，分别执行一轮或多轮方法600的步骤或流程，以恢复得到一个或多个重建触发器以及确定后门模型的目标标签。

如图6所示，该方法600可以包括：

步骤610，获得触发器生成模型组，并基于其获取候选触发器。

在一些实施例中，该步骤610可以由候选触发器获取模块510执行。

触发器生成模型组是指用于生成触发器的模型组，通过触发器生成模型组可以生成一个或多个触发器。在本说明书中，通过触发器生成模型组生成的触发器，可以称为候选触发器。

对于后门模型的标签空间中的各个标签，都可以有其对应的触发器生成模型组。

在一些实施例中，触发器生成模型组可以包括多个生成器，多个生成器可以聚合在一起形成一个模型组。仅作为示例，如图8所示，触发器生成模型组G可以包括聚合在一起的n个生成器G1，G2，…，Gn，可以表示为G={G1，G2，...，Gn}。

生成器可以基于噪声数据生成触发器，例如，可以在服从高斯分布N（0，1）的一类随机噪声中采样一个随机噪声，将该随机噪声输入生成器Gi，生成器Gi可以生成对应的候选触发器。在一些实施例中，可以遵循一定的范式设计生成器。一般来说，生成器的设计所遵循的范式主要包括生成对抗式、自编码器以及光流估计等。当确定设计范式后，可以在遵循该范式的原则下选择具体的网络架构（或模型结构），利用样本进行模型训练得到生成器。网络架构可以包括但不限于NN、RNN、CNN等。示例性的，在计算机视觉领域，一般会采纳卷积神经网络架构（CNN）作为生成器的基础架构，而在自然语言处理领域，一般会采纳递归神经网络架构（RNN）。在一些实施例中，可以根据任务需求或经验等选择所需的生成器设计范式和/或网络架构。

在一些实施例中，触发器生成模型组中的不同生成器可以对应不同的攻击成功率阈值，生成器对应的攻击成功率阈值可以是指生成器所生成的候选触发器需要达到的攻击成功率最低值。例如，n个生成器G1，G2，…，Gn可以对应不同的n个攻击成功率阈值，该n个攻击成功率阈值可以为在0-1中均匀选择的n个值。通过本实施例，可以令多个生成器生成多种不同攻击成功率的候选触发器，以实现恢复的多个重建触发器可以更好地满足攻击成功率多样性，尽可能多的覆盖真实触发器的特征，模拟真实触发器的分布，使得后续进行后门模型的遗忘训练时可以令后门模型尽可能遗忘掉关于真实触发器的记忆，提升后门攻击防御的效果。

步骤620，将候选触发器添加到多个干净样本中，得到多个中毒样本。

在一些实施例中，该步骤620可以由中毒样本获取模块520执行。

干净样本是指后门模型的未被触发器污染的输入数据样本，可以包括后门模型的训练数据集、验证数据集等中的未被触发器污染的输入数据样本。

将触发器添加到干净样本中可以是指通过叠加、拼接等各种方式将触发器加到干净样本中，以得到包括触发器的样本数据（也可以称为被触发器污染的样本数据）。

在本说明书一些实施例中，将候选触发器添加到干净样本中所得到的被触发器污染的样本，可以称为中毒样本。在一些实施例中，可以从该标签对应的触发器生成模型组生成的多个触发器中任意选择一个作为候选触发器，然后添加在不同的干净样本中，得到多个中毒样本。也可以从该标签对应的触发器生成模型组生成的多个触发器中任意选择多个候选触发器，分别对应添加到一个或多个不同的干净样本中得到多个中毒样本。

步骤630，利用所述后门模型处理多个中毒样本，以获取攻击成功率。

在一些实施例中，该步骤630可以由中毒样本处理模块530执行。

在一些实施例中，利用后门模型处理多个中毒样本，即将多个中毒样本输入后门模型，后门模型可以得到中毒样本对应的后门模型输出，后门模型输出可以包括后门模型的标签空间中各个标签对应的预测概率。示例性的，后门模型为多分类模型，将中毒样本输入后门模型后，后门模型输出多个概率值，分别对应不同的类别。一般将最大概率值对应的类别作为其分类结果。在一些实施例中，后门模型也可以是二分类模型。

基于后门模型输出，可以得到包含候选触发器的中毒样本对当前标签的攻击成功率。其中，当前标签的攻击成功率反映包含候选触发器的中毒样本使得后门模型输出该标签的概率。例如，可以将某一候选触发器对应的多个中毒样本输入后门模型，后门模型输出对应的多个分类结果（即多个预测标签），根据多个分类结果中当前标签所占的比重可以确定当前候选触发器以及当前标签对应的攻击成功率。

步骤640，当攻击成功率大于第一阈值时，将该标签作为所述目标标签，将所述候选触发器作为重建触发器。

在一些实施例中，该步骤640可以由重建触发器确定模块540执行。

根据触发器定义，可以理解，将触发器加在任意干净样本中输入后门模型，都可以令后门模型输出目标标签。可见，所需恢复的重建触发器应当满足：将其加在任一干净样本中输入后门模型，都可以对目标标签有较高的攻击成功率。

在一些实施例中，可以基于包含候选触发器的中毒样本对当前标签的攻击成功率是否大于第一阈值，来确定后门模型的目标标签以及在候选触发器中确定重建触发器。第一阈值可以根据经验或实际需求设置，可以是一个较大的概率值，例如70%。

在一些实施例中，若包含候选触发器的多个中毒样本对当前标签的攻击成功率大于阈值，则当前标签可以被认为是目标标签，该多个中毒样本中包含的候选触发器也满足：将其加在多个干净样本中输入后门模型，都可以对目标标签有较高的攻击成功率，即该多个中毒样本中包含的候选触发器可以作为所需的重建触发器。通过本实施例，可以保证恢复得到重建触发器都可以是有效的触发器，即可以有效地触发后门模型的后门。

图7是根据本说明书一些实施例所示的触发器生成模型组的获得方法的示例性流程图。

在一些实施例中，方法700可以由处理设备执行。在一些实施例中，方法700可以由部署于处理设备上的后门攻击的防御系统300中的重建触发器获取模块310实现，也可以由部署于处理设备上的基于后门模型生成重建触发器的系统500中的候选触发器获取模块510实现。

对于后门模型的标签空间中的各个标签，都可以有其对应的触发器生成模型组，触发器生成模型组可以通过训练得到。在一些实施例中，可以针对后门模型的标签空间中的各个标签，分别训练得到对应的触发器生成模型组。

在一些实施例中，训练标签对应的触发器生成模型组时，对于触发器生成模型组中的各个生成器，可以分别执行一轮或多轮方法700的步骤或流程，以分别训练得到各个生成器。

如图7所示，该方法700可以包括：

步骤710，生成第一噪声数据。

第一噪声数据可以包括各种类别的噪声数据，例如，可以包括服从高斯分布N（0，1）的随机噪声数据。第一噪声数据可以通过各种噪声生成方法得到，在一些实施例中，噪声生成方法可以包括通过各种生成模型或各种模型中的生成网络生成噪声数据，还可以包括通过各种噪声生成算法生成噪声数据。

步骤720，通过该生成器处理第一噪声数据，得到预估触发器。

在一些实施例中，在训练触发器生成模型组中的生成器时，将第一噪声数据输入生成器，生成器生成的触发器可以称为预估触发器。

步骤730，将预估触发器添加到干净样本中，得到中毒样本。

如前所述，将触发器添加到干净样本中可以是指通过叠加、拼接等各种方式将触发器加到干净样本中以得到包括触发器的样本数据，也可以称为被触发器污染的样本数据。

在本说明书一些实施例中，将预估触发器添加到干净样本中所得到的被触发器污染的样本，可以称为中毒样本。

步骤740，利用所述后门模型处理中毒样本，得到针对所述某一标签的预测概率。

如前所述，利用后门模型处理中毒样本，即将中毒样本输入后门模型，后门模型可以得到中毒样本对应的后门模型输出，后门模型输出可以包括后门模型的标签空间中各个标签对应的输出该标签的概率，也即标签的预测概率。关于预测概率的更多描述可以参见步骤630。

基于后门模型输出，可以得到包含预估触发器的中毒样本对当前标签的预测概率。

步骤750，当所述预测概率小于该生成器对应的攻击成功率预设值时，调整所述生成器的模型参数，以减小所述预测概率与该攻击成功率预设值的差异。

如前所述，生成器可以有其对应的攻击成功率预设值，可以理解，训练生成器的目标可以是让生成器生成的触发器对当前标签的攻击成功率不小于生成器对应的攻击成功率预设值。

在一些实施例中，生成器训练时，将包含预估触发器的中毒样本输入后门模型，当后门模型输出的当前标签的预测概率小于攻击成功率预设值时，可以调整生成器的模型参数，以减小预测概率与该攻击成功率预设值的差异。使得训练好的生成器可以满足：生成器生成的触发器对当前标签的攻击成功率不小于生成器对应的攻击成功率预设值。

在一些实施例中，生成器训练时，当后门模型输出的当前标签的预测概率大于攻击成功率预设值时，可以认为生成器生成的触发器满足期望，便不需调整生成器的模型参数。

在一些实施例中，可以基于后门模型输出的当前标签的预测概率与生成器对应的攻击成功率预设值的差异，确定生成器训练时的损失函数，可以表示为，以及可以基于所述损失函数调整生成器的模型参数。仅作为示例，生成器训练时的损失函数可以表示为：

（1）

生成器的训练可以包括调整生成器的模型参数以令损失函数的值最小化。公式（1）中：表示生成器训练时使用的干净样本数据集，可以包括至少一个干净样本；b表示干净样本的数量；表示干净样本；表示后门模型，其中，表示后门模型的模型参数；表示输入生成器的噪声数据，例如第一噪声数据；表示后门模型的输出（如包含两个或更多个概率的向量），表示后门模型的当前标签，表示后门模型的输出中对当前标签的预测概率；表示生成器对应的攻击成功率预设值。

在一些实施例中，还可以生成第二噪声数据，第二噪声数据可以与第一噪声数据同分布，例如，第一噪声数据为服从均值为0，方差为1的高斯分布的随机噪声数据，第二噪声数据可以同样为服从该高斯分布的第二噪声数据。生成第二噪声数据的方法与生成第一噪声数据的方法类似，可以参见步骤710及其相关说明，此处不再赘述。

在一些实施例中，还可以通过与生成器对应的互信息估计器，获得预估触发器对应的反推噪声数据与第二噪声数据的互信息。

反推噪声数据是指基于生成器生成的预估触发器，反推生成的噪声数据。反推噪声数据可以通过互信息估计器生成，或者还可以通过其它模型或网络生成。仅作为示例，可以将预估触发器输入互信息估计器，互信息估计器可以生成对应的反推噪声数据。

互信息估计器可以进一步用于估计两个变量间的互信息，互信息估计器可以包括各种神经网络模型（例如NN、RNN、CNN等）。其中，互信息是指衡量两个随机变量间的相关性的量，两个随机变量间的相关性越大，互信息的值可以越大。反推噪声数据与第二噪声数据的互信息可以衡量反推噪声数据与第二噪声数据之间的相关性。

在一些实施例中，可以将第二噪声数据作为互信息估计器的另一输入参数，以通过互信息估计器生成反推噪声数据，并进一步得到反推噪声数据与第二噪声数据的互信息。

在一些实施例中，训练时，除了调整所述生成器的模型参数，以减小预测概率与生成器对应的攻击成功率预设值的差异，还可以包括调整所述生成器的模型参数以增加反推噪声数据与第二噪声数据之间的互信息。作为示例，反推噪声数据与第二噪声数据之间的互信息可以表示为：，其中表示互信息估计器，表示第二噪声数据，生成器训练时的损失函数可以进一步包括所述互信息的项，可以表示为：

（2）

基于上述公式（2），调整生成器的模型参数，以最小化损失函数还可以使得所述互信息增大。通过本实施例，可以通过增加反推噪声数据与第二噪声数据之间的互信息，令反推噪声数据的分布更接近第二噪声数据的分布（例如高斯分布），从而可以实现增加生成器所生成的触发器的多样性，使得后续遗忘训练时可以令后门模型遗忘掉关于触发器的更多记忆，提升后门攻击防御的效果。

在一些实施例中，用于生成反推噪声数据的网络（可独立于互信息估计器或包含于互信息估计器中）可以具有触发器生成模组中对应的生成器的逆结构，或者可以是其它已经预先训练好的模型，可以不必额外进行训练即不必额外调整这部分网络的模型参数。

图9是根据本说明书一些实施例所示的对后门模型进行遗忘训练的方法的示例性流程图。

在一些实施例中，方法900可以由处理设备执行。在一些实施例中，根据实际情况或需要，例如是否获取到后门模型原本对应的触发器，方法900可以选择由部署于处理设备上的后门攻击的防御系统300中的第一后门模型防御模块320实现，或者由部署于处理设备上的后门攻击的防御系统400中的第二后门模型防御模块420实现。

如图9所示，该方法900可以包括：

步骤910，将触发器或者一个或多个重建触发器添加到干净样本中，得到后门样本。

在一些实施例中，该步骤910可以由后门样本获取单元执行。

如前所述，在一些实施例中，对于防御者来说，后门模型原本对应的触发器和目标标签可以是已知的，该种情况下可以获取后门模型原本对应的触发器和目标标签，在一些实施例中，若攻击者植入的模型后门原本对应的触发器及目标标签是未知的，或者需要基于一个后多个重建触发器来对后门模型进行遗忘训练，该种情况下可以进行触发器恢复得到与真实触发器对应的一个或多个重建触发器并可以确定后门模型的目标标签。

因此，可以根据前述情况，将获取的触发器（即后门的真实触发器）添加到干净样本中，得到被触发器污染的样本数据，或者将恢复的一个或多个重建触发器添加到干净样本中，得到被触发器污染的样本数据。

在一些实施例中，将触发器（即后门的真实触发器）或者恢复的一个或多个重建触发器添加到干净样本中，得到的被触发器污染的样本数据可以称为后门样本。

在一些实施例中，可以基于后门样本对后门模型进行一轮或多轮迭代训练，以实现对后门模型进行遗忘训练，进而获得能够防御后门攻击的目标模型。其中一轮迭代训练可以包括步骤920-步骤940的过程，其中，步骤930可以根据需求选择是否执行。

步骤920，利用所述后门模型处理所述后门样本，得到第一预测标签。

在一些实施例中，该步骤920可以由后门样本处理单元执行。

在一些实施例中，可以利用后门模型处理后门样本即将后门样本输入后门模型，后门模型可以输出对应的预测标签，在本说明书中后门模型处理后门样本得到的预测标签可以称为第一预测标签。

步骤930，利用所述后门模型处理干净样本，得到第二预测标签。

在一些实施例中，该步骤930可以由干净样本处理单元执行。

可以利用后门模型处理后门模型的干净样本，即将后门模型的干净样本输入后门模型，后门模型可以输出对应的预测标签，在本说明书中后门模型处理后门模型的干净样本得到的预测标签可以称为第二预测标签。

步骤940，基于第一目标函数调整所述后门模型的模型参数，以使得所述第一目标函数减小。

在一些实施例中，该步骤940可以由后门模型参数调整单元执行。

在一些实施例中，可以基于第一预测标签与目标标签的差异确定第一损失函数，以及可以基于第一损失函数确定后门模型遗忘训练时的损失函数，后门模型遗忘训练时的损失函数可以称为第一目标函数。其中，第一目标函数可以与第一损失函数负相关。

后门模型的遗忘训练过程可以包括基于第一目标函数调整后门模型的模型参数。作为示例，第一目标函数可以表示为：

（3）

后门模型的遗忘训练过程可以包括调整后门模型的模型参数以令损失函数的值最小化。公式（3）中：表示第一损失函数，表示第j次（例如当前次）迭代训练时后门模型，表示后门样本，表示后门模型的目标标签，表示计算系数，可以根据需要设置。

在一些实施例中，还可以基于第一预测标签与目标标签的差异确定后门模型的各模型参数对应的第一梯度。具体地，可以基于第一损失函数确定后门模型的各模型参数对应的第一梯度。作为示例，第一梯度可以表示为：

（4）

其中，是指后门模型的第k维（如第k层或第k个）的模型参数。对于模型，模型参数可以包括多个参数。

在一些实施例中，调整后门模型的模型参数，还可以进一步在后门模型的各模型参数基础上增加第一梯度或减去第一目标函数相对各模型参数的梯度，即可以通过梯度上升法来调整后门模型的模型参数。可以理解，最小化损失函数的值即是最大化第一损失函数的值，通过梯度上升的方法调整后门模型的参数，可以加快第一损失函数的值最大化的速度，进而可以提高后门模型遗忘训练的效率，加速后门模型的模型参数收敛。

在一些实施例中，还可以基于第二预测标签与后门模型的干净样本对应的标签的差异确定第二损失函数，第一目标函数中还可以包括与第二损失函数相关的项。其中，第一目标函数可以与第二损失函数正相关。从而令基于第一目标函数调整后门模型的模型参数还可以包括使得第二预测标签与所述干净样本对应的标签的差异减小，避免模型遗忘其正常预测性能。作为示例，第二损失函数可以表示为，第一目标函数可以进一步表示为：

（5）

其中，表示后门模型的干净样本，表示干净样本对应的标签。

在一些实施例中，还可以确定后门模型的各模型参数对于干净样本的预测权重，所述预测权重可以与模型参数对应的第二梯度的绝对值正相关。其中，模型参数对应的第二梯度可以是第二预测标签与干净样本对应的标签的差异相对该模型参数的梯度。具体地，可以基于第二损失函数确定后门模型的各模型参数对应的第二梯度。作为示例，第二梯度可以表示为：

（6）

作为示例，后门模型的各模型参数对于干净样本的预测权重可以表示为：

(7)

后门模型的模型参数对于干净样本的预测权重，可以反映后门模型的该模型参数对于后门模型进行干净数据预测的重要程度，预测权重越大，重要程度可以越高。

在一些实施例中，基于第一目标函数调整后门模型的模型参数以最小化第一目标函数时，还可以基于后门模型的各模型参数对于干净样本的预测权重，来约束对各模型参数的调整幅度。其中，对各模型参数的调整幅度可以与对应的预测权重负相关，即模型参数对于干净样本的预测权重越大，对该模型参数的调整幅度越小。通过本实施例，可以令基于第一目标函数调整后门模型的模型参数时，对干净样本预测重要程度高的模型参数不会被大幅度调整，从而能够在后门模型进行遗忘训练时，既能使得后门模型遗忘关于触发器的记忆，也能保证后门模型对干净样本预测的能力不会受到不良影响。

在一些实施例中，可以确定后门模型的各模型参数差异，模型参数差异是指迭代训练中，后门模型中当前某模型参数（即经过调整后的模型参数）与其原模型参数（即未经过调整的原模型参数）的差异。进一步，可以根据各模型参数差异基于其（指各模型参数）分别对应的预测权重进行加权求和的结果，确定第一约束项。第一目标函数还可以包括所述第一约束项，且第一目标函数可以与第一约束项正相关，以令基于第一目标函数调整后门模型的模型参数以最小化第一目标函数时，还可以基于后门模型的各模型参数对于干净样本的预测权重，来约束调整后的模型参数与未经过调整的原模型参数的差异大小，即约束对各模型参数的调整幅度。

作为示例，第一约束项可以表示为：

(8)

其中，表示1范数，可替换为其他能反映模型参数差异的计算函数，表示第j次（例如当前次）迭代训练时后门模型的第k维的模型参数（即调整后的模型参数），表示未经过调整的后门模型的第k维的原模型参数，是后门模型的模型参数的维度数，是计算系数，可根据需要设置。以及，第一目标函数可以进一步表示为：

(9)

应当注意的是，上述有关流程和方法的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程和方法进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，对流程和方法中的步骤顺序进行改变，对不同流程和方法中的步骤进行组合等。

本说明书实施例还提供一种后门攻击的防御装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现后门攻击的防御方法。所述方法可以包括：基于后门模型生成与其真实触发器对应的一个或多个重建触发器，并确定目标标签；所述真实触发器使得，当后门模型的输入数据包含所述真实触发器时，所述后门模型输出所述目标标签；基于一个或多个重建触发器及所述目标标签对所述后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型。

本说明书实施例还提供另一种后门攻击的防御装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现另一种后门攻击的防御方法。所述方法可以包括：获取后门模型的触发器，以及目标标签；所述触发器使得，当后门模型的输入数据包含所述触发器时，所述后门模型输出所述目标标签；基于所述触发器及所述目标标签对所述后门模型进行遗忘训练，以获得能够防御后门攻击的目标模型。

本说明书实施例还提供一种基于后门模型生成重建触发器的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现基于后门模型生成重建触发器的方法。所述方法可以包括：针对所述后门模型的标签空间中的某一标签：获得触发器生成模型组，并基于其获取候选触发器；将候选触发器添加到多个干净样本中，得到多个中毒样本；利用所述后门模型处理多个中毒样本，以获取攻击成功率；攻击成功率反映包含候选触发器的中毒样本使得所述后门模型输出该标签的概率；当攻击成功率大于第一阈值时，将该标签作为所述目标标签，将所述候选触发器作为重建触发器。

本说明书实施例可能带来的有益效果包括但不限于：（1）通过本说明书提出的后门攻击防御方法，可以基于触发器或者恢复的重建触发器得到后门样本，从而基于后门样本和目标标签对后门模型进行遗忘训练，使得后门模型可以遗忘关于触发器的记忆，得到能够防御后门攻击的目标模型，实现了后门攻击的有效防御；（2）通过本说明书提出的恢复重建触发器的方法，可以恢复得到能够有效触发后门模型的后门的一个或多个重建触发器，并且恢复得到的多个重建触发器中可以包括样式不同以及攻击成功率不同的多种重建触发器，可以增加恢复的重建触发器的多样性，进一步可以提升通过遗忘训练来实现后门攻击防御的效果。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。