针对关系网络添加扰动的方法及装置

文档序号:1429273 发布日期:2020-03-17 浏览:7次 >En<

阅读说明:本技术 针对关系网络添加扰动的方法及装置 (Method and device for adding disturbance aiming at relational network ) 是由 皇甫志刚 林建滨 任彦昆 梁琛 于 2019-11-26 设计创作,主要内容包括:本说明书实施例提供一种针对关系网络添加扰动的方法和装置,在针对关系网络添加扰动时,仅考虑候选边所涉及的特征发生变化的节点,利用局部贪心算法,大大减少了计算量,提高针对关系网络添加扰动的效率。经过多次的迭代,可以以最少的代价,确定对关系网络的最大扰动,从而提高增加扰动的有效性。进一步地,利用添加扰动的关系网络,还可以生成对抗样本,增加关系网络的安全性和有效性。(The embodiment of the specification provides a method and a device for adding disturbance to a relational network, and when the disturbance is added to the relational network, only nodes with changed characteristics related to candidate edges are considered, and a local greedy algorithm is utilized, so that the calculation amount is greatly reduced, and the efficiency of adding the disturbance to the relational network is improved. Through multiple iterations, the maximum disturbance to the relational network can be determined at the minimum cost, and therefore the effectiveness of disturbance increase is improved. Furthermore, by utilizing the relation network with disturbance added, the countermeasure sample can be generated, and the safety and the effectiveness of the relation network are improved.)

针对关系网络添加扰动的方法及装置

技术领域

本说明书一个或多个实施例涉及计算机技术领域,尤其涉及通过计算机进行针对关系网络添加扰动的方法和装置。

背景技术

现实世界中存在多种多样的关系网络,例如,人际关系网络、消费关系网络,等等。这些关系网络可以通过图数据来描述。在图数据中,可以直观地通过连接边来描述实体之间的关系。图数据蕴含着丰富的可挖掘价值,然而由于其结构复杂,为图的机器学习任务带来了巨大的挑战。为此,提出了图卷积神经网络,用于处理图数据。图卷积神经网络可以包含节点的变换、聚合、更新的迭代过程,实现节点分类、链接预测、社区发现等图任务。

然而,图卷积神经网络可能受到攻击。例如,攻击者修改图数据中很少的边,就可以使图卷积神经网络模型对目标节点输出一个错误的类别。研究如何选取最少的边,使得图卷积神经网络输出一个攻击者想要的结果,可以称之为图卷积神经网络的对抗攻击算法。研究图数据的对抗攻击算法对于应用于大规模数据集上图模型的鲁棒性测试有着重大的意义,以现实世界中的社交网络(人际关系网络)为例,微博、知乎等社交网络都有着很大规模的用户量,而其图数据是可获取的,图对抗攻击的快速算法有助于快速发现模型潜在的威胁。

为了研究大规模数据集上的图卷积神经网络模型的鲁棒性,本说明书实施例提供一种针对关系网络添加扰动的方案,通过该方案对关系网络模拟攻击,可以在较低的攻击代价下输出一个有效的图对抗结构。

发明内容

本说明书一个或多个实施例描述了一种针对关系网络添加扰动的方法和装置,可以提高关系网络的有效性。

根据第一方面,提供了一种针对关系网络添加扰动的方法,所述关系网络用于通过多个节点描述各个节点分别对应的各个实体之间的关联关系,具有直接关联关系的实体对应的节点之间通过连接边互相连接,所述方法包括:

基于当前关系网络中各个节点之间的连接关系,为所述关系网络确定用于进行扰动的至少一个候选边,单个候选边为,当前关系网络中存在的连接边,或者用于连接不存在直接关联关系的节点的边;

获取用于处理所述关系网络的R层图卷积神经网络各个隐层分别对应的R个模型参数集;

基于所述R个模型参数集,针对各个候选边,分别确定各个扰动分数,其中,单个扰动分数基于相应候选边使得其各个相关节点的分类指标的偏移程度确定,所述相关节点属于,作为相应候选边的端点的节点、所述端点的R阶内的邻居节点构成的节点集,所述分类指标与所述图卷积神经网络第R个隐层的输出结果相关;

选择对应于最大扰动分数的候选边作为扰动边,为当前关系网络添加扰动。

在一个实施例中,所述候选边包括第一候选边,所述第一候选边的相关节点包括第一节点,经所述图卷积神经网络利用当前关系网络为所述第一节点确定的分类指标中,由大到小的两个类别依次为第一类别、第二类别,所述第一节点的分类指标的偏移程度通过以下第一项与第二项的差描述:

所述第一项为,利用所述第一候选边扰动后的关系网络的情况下,所述第一节点在所述第一类别上的分类指标与所述第一节点在所述第二类别上的分类指标的差;

所述第二项为,利用当前关系网络的情况下,所述第一节点在所述第一类别上的分类指标与所述第一节点在所述第二类别上的分类指标的差。

在一个实施例中,单个候选边对应的扰动分数通过以下任一方式确定:

对所述单个候选边的各个相关节点的分类指标的偏移程度的量值进行叠加;

对所述单个候选边的各个相关节点的分类指标的偏移程度的量值求平均。

在一个实施例中,所述关系网络中各个节点分别对应有用于描述相应节点的特征的节点嵌入向量,当前候选边的相关节点包括第二节点,所述第二节点经图卷积神经网络的各个隐层迭代后的节点嵌入向量,至少基于以下项确定:

所述第二节点上一隐层迭代的节点嵌入向量、所述第二节点的一阶邻居节点经上一隐层迭代的节点嵌入向量、所述图卷积神经网络的当前隐层对应的模型参数集。

在一个实施例中,在所述第二节点是当前候选边的端点的情况下,通过所述图卷积神经网络处理经当前候选边扰动后的关系网络时,所述第二节点的分类指标的量值最终至少基于以下项确定:

所述第二节点的二阶邻居节点在所述当前关系网络中的节点嵌入向量、所述第二节点的一阶邻居节点在所述当前关系网络中的节点嵌入向量、当前候选边的另一个端点在所述当前关系网络中的节点嵌入向量、所述图卷积神经网络的R个模型参数集。

在一个实施例中,所述第二节点是当前候选边的一个端点的R阶邻居节点的情况下,所述第二节点的分类指标的偏移程度的量值基于以下项的乘积确定:

所述第二节点在当前关系网络中的节点嵌入向量,以及所述图卷积神经网络分别在R层上的R个模型参数集。

在一个实施例中,所述第二节点是当前候选边的一个端点的m阶邻居节点的情况下,通过所述图卷积神经网络处理经当前候选边扰动后的关系网络时,所述第二节点的分类指标的量值基于以下项确定:

所述第二节点的1至R-m阶邻居节点的初始节点嵌入向量、所述第二节点的初始节点嵌入向量、作为当前候选边的两个端点的节点的初始节点嵌入向量、所述图卷积神经网络的R个模型参数集,其中,1≥m≥R-1。

在一个实施例中,所述第二节点的分类指标的量值确定过程中,以相应节点的度作为归一化因子。

在一个实施例中,在当前候选边是候选增加的连接边的情况下,经当前候选边扰动后的关系网络中,当前候选边的两个端点的度分别增加1;在当前候选边是候选删除的连接边的情况下,经当前候选边扰动后的关系网络中,当前候选边的两个端点的度分别减掉1。

在一个实施例中,所述方法还包括:

利用所述扰动边更新当前关系网络,其中:在所述扰动边是当前关系网络中存在的连接边的情况下,用删除所述扰动边的方式更新当前关系网络;在所述扰动边是用于连接不存在直接关联关系的节点的边的情况下,用添加所述扰动边的方式更新当前关系网络;

迭代执行权利要求1所述的方法,直至满足预定条件。

在一个实施例中,所述预定条件包括,执行次数达到预定的最大次数代价,或者最大扰动分数低于预定分数阈值。

在一个实施例中,所述方法还包括:

利用经过所述扰动边扰动后的关系网络生成至少一个抗扰动样本;

用所述至少一个抗扰动样本更新所述图卷积神经网络。

根据第二方面,提供一种针对关系网络添加扰动的装置,所述关系网络用于通过多个节点描述各个节点分别对应的各个实体之间的关联关系,具有直接关联关系的实体对应的节点之间通过连接边互相连接,所述装置包括:

第一确定单元,配置为基于当前关系网络中各个节点之间的连接关系,为所述关系网络确定用于进行扰动的至少一个候选边,单个候选边为,当前关系网络中存在的连接边,或者用于连接不存在直接关联关系的节点的边;

获取单元,配置为获取用于处理所述关系网络的R层图卷积神经网络各个隐层分别对应的R个模型参数集;

第二确定单元,配置为基于所述R个模型参数集,针对各个候选边,分别确定各个扰动分数,其中,单个扰动分数基于相应候选边对其各个相关节点的分类指标的偏移程度确定,所述相关节点属于,作为相应候选边的端点的节点、所述端点的R阶内的邻居节点构成的节点集,所述分类指标与所述图卷积神经网络第R个隐层的输出结果相关;

扰动单元,配置为选择对应于最大扰动分数的候选边作为扰动边,为当前关系网络添加扰动。

根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面的方法。

根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。

通过本说明书实施例提供的针对关系网络添加扰动的方法和装置,在针对关系网络添加扰动时,仅考虑候选边所涉及的特征发生变化的节点,利用局部贪心算法,大大减少了计算量,提高针对关系网络添加扰动的效率。经过多次的迭代,可以以最少的代价,确定对关系网络的最大扰动,从而提高增加扰动的有效性。进一步地,对关系网络的扰动结果,可以用于评价关系网络的鲁棒性、增加关系网络的抗攻击能力等等,提高关系网络的有效性。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1示出本说明书披露的一个实施例的实施场景示意图;

图2示出一个具体例子的关系网络示意图;

图3示出根据一个实施例的针对关系网络添加扰动的方法流程图;

图4示出一个R层图卷积神经网络的原理示意图;

图5示出根据一个实施例的针对关系网络添加扰动的装置的示意性框图。

具体实施方式

下面结合附图,对本说明书提供的方案进行描述。

图1是一个关系网络的部分示意图。请参考图1,在本说明书实施例中,关系网络的数学表达可以称之为图数据。关系网络可以用于描述多个节点之间的关联关系。关系网络可以是在相关实施场景下,基于需求确定的不同节点之间连接关系的网络结构。在关系网络中,每个节点都可以表示一个实体,实体之间的关联关系通过连接边来表示,具有直接关联关系的实体对应的节点之间通过连接边互相连接。如图1所示,每个圆圈代表一个实体,一条线段代表一个连接边。具有直接关联关系的节点可以互为一阶邻居节点。如果两个节点中间经过一个连接边、一个节点、另一个连接边的路径相连接,则这两个节点可以相互称为二阶邻居节点,以此类推。通常,邻居节点的阶数,与中间间隔的最少连接边数一致。

其中,实体通常是存在于现实世界中并且可以与其他物体区分开来的物体,可以用一系列的属性来描述一个实体以区别于其他实体。在不同的实施场景下,实体的含义也不相同。例如,在基于社交平台的人物关系网络中,一个实体可以对应着一个用户,并且用户可以通过用户ID、职业、性别、兴趣等等属性和其他用户区分开来。在其他场景下,关系网络例如还可以是,基于电商平台的消费关系网络、基于某资讯平台的兴趣关系网络,等等。在一个具体例子的消费关系网络中,商品、商户、消费者等等,都可以作为实体。

图2示出了本说明书实施例的一个具体实施场景。该实施场景下,计算平台可以根据初始的关系网络,确定可能作为攻击边的各个候选边。这些候选边例如可以是,用于连接不存在直接关联关系的两个实体对应的两个节点之间的边,或者是初始的关系网络中原有的候选边。当候选边是原有的候选边时,攻击行为可以将这些候选边删除,当候选边是用于连接不存在直接关联关系的两个实体对应的两个节点之间的边时,攻击行为可以是在关系网络中增加这样的连接边。总之,通过添加本来没有的候选边或删除本来存在的候选边可以改变原关系网络的网络结构。其中,这种添加或删除候选边的行为,也可以称为对关系网络的扰动。

可以理解,关系网络通常可以用于基于节点之间的连接关系,以及已知节点的标记情况来预测未知节点的标记结果(或分类结果),例如当节点是金融平台用户时,通过已知用户的信用情况,预测新用户的信用情况等。当节点之间的连接关系改变时,可能影响对其他节点标记(或类别)的预测结果。例如一个用户连接了两个已知信用情况的用户,这两个用户都是守信用户,该用户是守约用户的概率较大,当该用户再连接一个违约用户时,该用户守信的预测概率可能大大减小。

图数据通常通过图卷积神经网络(Graph Convolutional Network,GCN)进行处理。图卷积神经网络是一种能对图数据进行深度学习的方法,图卷积神经网络的卷积算子可以表达为:

Figure BDA0002289586420000071

其中:Hl+1(v)是节点v在图卷积神经网络的第l+1层的特征表达;N(v)是节点v的邻居节点;dv、du是归一化因子,比如是相应节点的度,即,与相应节点连接的连接边数量,或者一阶邻居节点的数量;Hl(v)是节点v在图卷积神经网络的第l层的特征表达;Hl(u)是节点u在图卷积神经网络的第l层的特征表达;Wl是相应类型节点图卷积神经网络第l层的模型参数。其中,节点的特征表达也可以称为节点嵌入向量。节点嵌入向量可以理解为节点的特征向量。

可以看出,在图卷积神经网络的每一隐层,节点在当前层的特征表达和其在上一隐层迭代的特征表达、其一阶邻居节点经上一隐层迭代的特征表达、当前层的图卷积神经网络的模型参数相关。经过图卷积神经网络的每个隐层,相当于遍历了关系网络中的各个节点,提取高阶的特征表达。据此,可以理解的是,关系网络中某个节点的节点嵌入向量,经R层图卷积神经网络处理后,最终的节点嵌入向量与该节点在初始的关系网络中的R阶邻居节点的节点嵌入向量相关。

图2中,计算平台可以获取当前关系网络,确定所有可能的候选边,对每个候选边进行打分,选择出一个扰动边,并用扰动边扰动当前关系网络。如图2所示,扰动结果可能是在当前关系网络中添加一条连接边(虚线示出的边)。这样,一方面,根据添加这条扰动边造成的节点分类准确度的影响,可以评价图卷积神经网络的鲁棒性,另一方面,可以为当前关系网络生成对抗样本,即,在添加扰动边后,还能维持节点正确分类的样本,通过对抗样本对图卷积神经网络的修正,达到对抗攻击的效果。

通常,对于攻击行为来说,可能会设置一定的扰动边数量作为扰动代价进行攻击,为了对抗攻击,还可以将以上过程迭代执行,每次添加一个扰动边,做多添加的边数与扰动代价一致。具体地,如图2所示,用通过扰动边扰动后的关系网络更新当前关系网络。这样,经过与预先设定的攻击代价一致的迭代次数,生成的关系网络更加稳定,并能使得图卷积神经网络更有效地抵抗攻击行为。

下面详细介绍本发明技术构思下的针对关系网络添加扰动的方法。

图3示出根据一个实施例的针对关系网络添加扰动的方法流程图。该方法的执行主体可以是任何具有计算、处理能力的装置、设备、平台、设备集群等,例如图2所示的计算平台。关系网络的结构如图1所示,在此不再赘述。

如图3所示,该针对关系网络添加扰动的方法可以包括以下步骤:步骤301,基于当前关系网络中各个节点之间的连接关系,为关系网络确定用于进行扰动的至少一个候选边,单个候选边为,当前关系网络中存在的连接边,或者用于连接不存在直接关联关系的节点的边;步骤302,获取用于处理关系网络的R层图卷积神经网络各个隐层分别对应的R个模型参数集;步骤303,基于R个模型参数集,针对各个候选边,分别确定各个扰动分数,其中,单个扰动分数基于相应候选边使得其各个相关节点的分类指标的偏移程度确定,相关节点属于,作为相应候选边的端点的节点、该端点的R阶内的邻居节点构成的节点集,分类指标与图卷积神经网络第R个隐层的输出结果相关;步骤304,选择对应于最大扰动分数的候选边作为扰动边,为当前关系网络添加扰动。

首先,在步骤301,基于当前关系网络中各个节点之间的连接关系,为关系网络确定用于进行扰动的至少一个候选边。

可以理解,在关系网络中,连接边代表着两个实体之间的关联关系,而图卷积神经网络正是基于实体之间的连接关系进行的图数据处理方法。对当前关系网络的扰动,最终目的是扰动图卷积神经网络利用关系网络的处理结果。因此,连接边的增加、删除,直接关系着图卷积神经网络的输出结果。也就是说,关系网络中可进行扰动的候选边,是可以增加的边,和/或,可以删除的边。

具体地:可以增加的边,也就是当前关系网络中不存在的边,能连接任一两个没有连接关系的节点的边,这样的边添加进当前关系网络,可以对当前关系网络形成扰动;当前关系网络中存在的连接边,这样的边从当前关系网络中删除,可以对当前关系网络形成扰动。因此,候选边可以是当前关系网络中存在的连接边,或者在不存在直接关联关系的节点间添加的连接边。

在一个实施例中,当前关系网络的图数据可以通过G=(A,X)来表示。其中,A为邻接矩阵,X为节点属性矩阵。邻接矩阵是用于表示两两节点之间的邻接关系的矩阵,其可以通过多个表示两两节点之间关系的三元组组成。例如三元组(a,r,b),r表示节点a和节点b之间的连接关系。根据具体场景不同,r的取值也不同。例如,在本说明书实施例的仅表示有无连接关系的场景中,r可以取0或1,如0表示无连接关系,1表示有连接关系。在其他实施场景中,连接边有权重的情况下,r还可以取0-1之间的不同数值,如在人际关系网络中,各个节点分别对应各个用户,边的权重与所连接的两个节点对应的两个用户之间的交互次数正相关。节点属性矩阵可以用来描述各个节点的属性。每个节点对应的属性也是该节点初始的特征表达,可以通过一个向量表示,如(a1,a2,……an),该向量也可以称为节点在当前关系网络中初始的节点嵌入向量。节点属性矩阵X可以是各个节点的节点嵌入向量的组合。初始的节点嵌入向量在每一个维度可以表达相应特征,例如a1=1表示性别男,等等。

图数据里面的候选边,体现在图数据的邻接矩阵中,也可以是某个三元组中的r值的改变。例如,三元组(a,r,b)中,r从0遍为1,或者从1变为0。反映在类似图1所示的关系网络中,就是减少一条连接边,或者增加一条连接边。

接着,在步骤302中,获取用于处理关系网络的R层图卷积神经网络各个隐层分别对应的R个模型参数集。其中,R层图卷积神经网络可以是预先利用当前关系网络训练好的。每个隐层可以对应一个模型参数集,R层图卷积神经网络包含R个隐层,对应着R个模型参数集。

如图4所示,示出了一个具体例子的图卷积神经网络的结构。在图4示出的例子中,图卷积神经网络共包含R个隐层。图卷积神经网络的输入层输入的是关系网络的图数据中的节点属性矩阵,其中包括各个节点的节点嵌入向量X1、X2、等等。在每个隐层,遍历各个节点,用其邻居节点及其自身的节点嵌入向量整合,得到新的特征表达。以此类推,直至第R隐层。每个隐层都可以对应一个模型参数集,用于在遍历节点时,对节点嵌入向量的整合提供权重(通过模型训练确定)。例如,第一隐层的模型参数集用W0表示,第R隐层的模型参数集用WR表示,等等。第R隐层的输出结果用Zs表示,如Z1、Z2等等,分别对应到各个节点。其中,Zs可以是向量形式,每个维度对应一个类别。Zs可以经过诸如softmax之类的映射层,将对应各个类别的值分别映射为节点属于各个类别的概率,用Ys表示。对每个节点来说,Ys可以是一个向量,每个维度对应着该节点属于相应类别的概率。输出层可以输出各个节点对应概率最大的类别。

从图4可以看出,第R隐层的输出结果Zs、映射层的输出Ys等,都可以用于作为分类指标,来反映节点的分类情况。在本说明书实施例中,可以采用Zs作为分类指标对节点的分类置信情况进行衡量。可以理解的是,Ys可以是将Zs归一化处理的值,使得针对一个节点,Ys各个维度的值之和为1,因此,Ys与Zs通常是正相关的。

接着,在步骤303中,基于R个模型参数集,针对各个候选边,分别确定各个扰动分数。这里,扰动分数可以用于描述在当前关系网络添加或删除单个候选边,对关系网络中的节点分类准确度的影响程度。节点分类准确度的改变可以通过节点分类指标的偏移程度来衡量。例如,在分析用户金融领域的信用的场景下,攻击者欲扰乱用户的信用类别,则可以在减少违约用户(y1类)的违约概率的同时,尽可能大地增加违约用户在守约类别的守约概率,概率偏移程度可以反映出分类准确度的改变程度。这里的违约概率、守约概率都可以作为分类指标。

容易理解,一个候选边至少对作为其端点的节点的分类准确度产生影响。根据图卷积模型对关系网络的算子可以看出,每个隐层,各个节点的特征表达由自身及其邻居节点前一隐层的特征表达决定,因此,添加或删除一条边,通过一层图卷积神经网络,可以影响相应边的端点的特征表达,以及端点的一阶邻居节点的特征表达,通过两层图卷积神经网络,可以影响相应边的端点、端点的一阶邻居节点,以及端点的二阶邻居节点的特征表达,以此类推。也就是说,受影响的节点可以是候选边的端点及其预定阶数的邻居节点,其中,预定阶数与图卷积神经网络的层数一致。在图卷积神经网络的隐层为R层的情况下,以R=2为例,受影响的节点可以是候选边的端点及端点的一阶邻居节点、二阶邻居节点。

如此,如果将候选边的端点及其R阶内的邻居节点看作节点集,那么候选边的各个相关节点都可以是属于该节点集的节点。也就是说,候选边的相关节点可以是该节点集中的全部或部分节点。以R=5为例,候选边的相关节点可以是候选边的端点及端点的一阶邻居节点,也可以是候选边的端点以及端点的一阶邻居节点、二阶邻居节点,还可以是候选边的端点以及端点的一至五阶邻居节点(上述节点集中的全部节点)。

添加或删除候选边使得其各个相关节点的分类指标的偏移程度可以通过多种方式进行衡量。例如,通过图卷积神经网络处理当前关系网络相比,将候选边作为扰动边之后,相关节点的分类指标的变化量的平方和、方差等等。

根据一个实施方式,利用贪心算法,将损失函数的最小值作为分类指标的偏移程度的衡量标准。作为一个具体示例,可以将损失函数定义为当前类别的分类指标与目标类别的差。其中,当前类别是利用当前关系网络的情况下,经图卷积神经网络预测的概率最大的类别,假设记作类别y1,其对应的分类指标为Zs,1。在本说明书实施例中,为了描述方便,可以将这里所说的当前类别y1称为第一类别。对于训练好的图卷积神经网络,预测类别往往对应着最大分类指标对应的类别。在遭遇攻击时,第一类别的分类指标的量值减小,攻击目标类别的分类指标的量值增大。为了使得损失函数下降最快,将利用原关系网络的情况下,分类指标的量值最大的类别作为目标类别,假设记作yk,其对应的分类指标为Zs,k。也就是说,与利用当前关系网络确定的各个分类指标相比,利用候选边扰动后的关系网络的目标类别是yk。为了描述方便,可以将yk称为第二类别。

以当前候选边为第一候选边(这里“第一”表示“任一”,而不对候选边构成限定),任一个节点n为例,损失函数可以表示为:

其中,ei,j表节点i、j之间的候选边,n表示相关节点n,L′n是利用相应候选边作为扰动边扰动当前关系网络后的损失函数值,Ln是利用当前关系网络时的损失函数值,

Figure BDA0002289586420000132

分别对应节点n在利用第一候选边扰动当前关系网络扰动后和扰动前,节点n分类到第一类别y1的分类指标的量值,Zn,k、Zn,k′分别对应利用第一候选边扰动当前关系网络扰动后和扰动前,节点n分类到y1以外的第二类别yk的分类指标的量值,C(ei,j,n)可以作为衡量在添加第一扰动边的情况下,节点n的分类指标的偏移程度的量值。一定程度上,C(ei,j,n)衡量出在当前关系网络中添加或删除第一候选边后,对第一节点n的分类准确度的影响。

从上式可以看出,节点n在当前关系网络中的分类准确度,与利用第一候选边作为扰动边之后的关系网络的分类指标的偏移量值,最终描述结果可以拆分为两项,一项是节点n在当前关系网络扰动后和扰动前分别分类到的分类指标的差,该项描述将第一候选边作为扰动边对节点n在y1上被拉低的量值(如概率降低了多少),另一项是节点n在当前关系网络扰动前和扰动后分类到y1以外的其他分类的分类指标的差值,该项描述将当前候选边作为扰动边对节点n在正确分类上被提升的最大量值(如最大提升的概率是多少)。由于这两项一个是拉低,一个是提升,在计算时,所以在公式中计算方法是相反的。

在本步骤303中,扰动分数描述的是对整个关系网络的分类准确度的影响程度,因此,某个候选边对应的扰动分数,可以是对相应候选边各个受影响的节点的分类准确程度进行综合之后的结果。可选地,进行综合的方法可以包括但不限于,对相应候选边的各个相关节点的分类指标的偏移程度的量值进行以下运算:求和、求平均值、求加权和,等等。

可以理解的是,在计算扰动分数的过程中,由于一条扰动边只对其距离相近的邻居节点产生影响,且受影响的邻居节点的阶数与图卷积神经网络的层数一致,例如两层图卷积神经网络只会对其二阶邻居节点分类结果产生影响,因此,在一个实施例中,可以采用局部计算的方式,只计算其能影响到的节点的分类指标的偏移程度量值,而无需计算所有节点的分类指标的偏移程度量值,从而有效解决直接贪心算法复杂度过高的问题。

作为示例,假设图卷积神经网络的层数R为2,相关节点包括作为候选边的端点的节点、端点的R阶内的邻居节点构成的节点集中的全部节点,采用求和的方式对各个受影响的节点的分类准确程度进行综合为例,对应的扰动分数可以为:

Figure BDA0002289586420000141

其中,第一项对应着作为候选边ei,j的两个端点的节点i,j的分类指标偏移量值的和,第二项对应着节点i,j的一阶邻居节点的分类指标偏移量值的和,第三项对应着节点i,j的二阶邻居节点的分类指标偏移量值的和。

可以理解,经过两层图卷积神经网络,候选边ei,j的两个端点的节点i,j的特征表达受对方及对方的一阶邻居及二阶邻居的特征表达的影响,节点i/j的一阶邻居节点的特征表达受节点i/j的特征表达影响。以图4为例,假设节点i为X4,节点j为X7,X4和X7之间的连接边为候选边,如果删除该连接边,那么在第一隐层,利用一阶邻居节点聚合X7的特征表达时,由于减少了X4的特征表达,导致X7的特征表达与处理原关系网络不同,而对于X7除X4以外的其他一阶邻居节点,如X8,在第一隐层利用一阶邻居节点聚合其特征表达时,其在输入层的一阶邻居节点的特征表达是没有变化的,然而,其一阶邻居节点的度发生了变化,因此,其经过第一隐层的特征表达也发生了改变。X8除X7以外的其他一阶邻居节点的特征表达与处理原关系网络一致。也就是说,经过第一隐层的处理,候选边的端点和端点的一阶邻居节点的特征表达与处理原关系网络相比发生了变化。在第二隐层,由于第一隐层的X8的特征表达与处理原关系网络相比发生了变化,因此,X8的其他一阶邻居节点(即X7经X8的二阶邻居节点)的特征表达发生变化。X4与X7相对于其间的连接边,具有同等地位,对于X4相关的节点与X7相关的节点一致,在此不再赘述。

可见,根据节点与候选边的关系的不同,各种节点的分类指标的偏移程度是不一样的。

假设图卷积神经网络包括两个隐层,即R=2,其各层模型参数集为{W0,W1},其中,W0为图卷积神经网络第一层的模型参数集,W1为第二层的模型参数集,下面详细描述针对各种节点的分类指标的确定方法。

节点n为当前增加的候选边(如第一候选边ei,j)的端点(i或j)时,以节点i(即n=i)为例,利用图卷积神经网络处理经过当前候选边扰动后的关系网络时,节点n的分类指标为:

Figure BDA0002289586420000151

其中,节点u是节点i的一阶邻居节点,第一项描述节点i除j以外的一阶邻居在图卷积神经网络第二隐层上的特征聚合,第二项中

Figure BDA0002289586420000152

描述节点i在图卷积神经网络第一隐层上的特征表达,第三项中

Figure BDA0002289586420000153

描述节点j在图卷积神经网络第一隐层上的特征表达。

Figure BDA0002289586420000154

di+1、

Figure BDA0002289586420000155

分别为相应项的归一化因子。这里的归一化因子基于节点的度确定,在其他实施例中,还可以基于其他合理的属性确定,在此不再赘述。其中,节点的度通常与其一阶邻居节点个数或连接边数一致。候选边ei,j的端点i、j之间增加了一条连接边,其一阶邻居节点分别增加1,相应的度也分别增加1。如果候选边ei,j为端点i、j之间本来存在的连接边,将候选边ei,j删除进行扰动后,节点i、j的度减少1,以上公式中的di+1、dj+1分别变为di-1、dj-1。

根据以上公式可知,作为候选边节点的节点i,在利用R层图卷积神经网络处理经当前候选边扰动的关系网络的情况下,其分类指标的量值至少基于以下项确定:节点i在第R-1隐层迭代的特征表达、节点i的一阶邻居节点在第R-1隐层迭代的特征表达、节点j在第R-1隐层迭代的特征表达、图卷积神经网络在第R层的模型参数集。

节点i在第一隐层的特征表达

Figure BDA0002289586420000161

可以描述为:

Figure BDA0002289586420000162

其中,第一项描述节点i除j外的一阶邻居节点在图卷积神经网络第一隐层上的特征聚合,第二项中Xi描述节点i在关系网络中的特征表达,第三项描述节点j的特征在图卷积神经网络第一隐层上向节点i的聚合。

Figure BDA0002289586420000163

的表达只需将上式中的i与j互换即可。

节点u在第一隐层的特征表达

Figure BDA0002289586420000164

可以描述为:

Figure BDA0002289586420000165

其中,第一项描述节点u除节点i以外的一阶邻居节点(也是节点i经节点u的二阶邻居节点)在图卷积神经网络的第一隐层上的特征聚合,第二项中Xu为节点u在关系网络中的特征表达,第三项描述节点i在关系网络中的特征表达在图卷积神经网络的第一隐层上向节点u的聚合,dv、du、di+1分别为相应节点的度。

的表达式分别代入Zi′的表达式,则根据已知项Xu、Xi、Xj、di、du、W0、W1等,可以确定节点i的分类指标量值。可见,作为当前候选边的端点的节点i的分类指标量值,最终与节点i的二阶邻居节点的初始特征表达、节点i的一阶邻居节点的初始特征表达、节点j的初始特征表达,以及图卷积神经网络的R个隐层分别对应的R个模型参数集相关。在使用节点的度作为归一化因子的情况下,还与所涉及的节点的度相关。

假设节点p是节点i的一阶邻居节点,令n=p,经当前候选边扰动后,其分类指标可以为:

Figure BDA0002289586420000171

其中,第一项描述节点p除节点i以外的一阶邻居节点(即节点i经由节点p的二阶邻居节点)在图卷积神经网络的第二隐层上的特征聚合,第二项描述节点p在图卷积神经网络第一隐层上的特征表达向第二隐层上的特征聚合,第三项描述节点i在图卷积神经网络第一隐层上的特征表达在第二隐层上向节点p的聚合。

其中,节点p在第一隐层上的特征表达为:

Figure BDA0002289586420000172

其中,第一项描述节点p除节点i以外的一阶邻居节点(即节点i经由节点p的二阶邻居节点)为二阶邻居在图卷积神经网络的第一隐层上的特征聚合,第二项为节点p在关系网络中的特征表达在图卷积神经网络的第一层上向自身的特征聚合,第三项描述节点i在图卷积神经网络的第一层上的特征,在第二隐层向节点p的聚合。

另外,节点i经图卷积神经网络的第一隐层,聚合的特征表达结果可以为:

Figure BDA0002289586420000173

其中,第一项描述节点i除j外的一阶邻居节点在第一隐层上的特征聚合,第二项描述节点i在关系网络中的特征表达在第一隐层向自身的聚合,第三项描述节点j在关系网络中的特征表达经第一隐层向节点i的特征聚合。

Figure BDA0002289586420000174

的表达式代入节点p的分类指标的表达式,得到节点p的分类指标与节点p的一阶邻居节点的初始特征表达Xu、节点p的初始特征表达Xp、节点i、j的初始特征表达Xi与Xj、图卷积神经网络的模型参数集W0与W1之间的关系。由于Xu、Xp、Xi、Xj、di、du、W0、W1都是已知项,可以据此确定利用图卷积神经网络处理经过当前候选边扰动后的关系网络时,节点i的一阶邻居节点的各个分类指标,从而确定各个分类指标的偏移程度的量值。

可以理解的是,这里以两层图卷积神经网络为例进行了说明,根据以上描述的过程类推可知,当图卷积神经网络的层数R大于2时,假设第二节点是当前候选边的一个端点的m(1≥m≥R-1)阶邻居节点,通过图卷积神经网络处理经当前候选边扰动后的关系网络时,第二节点的分类指标的量值至少基于以下项确定:

第二节点的1至R-m阶邻居节点的初始节点嵌入向量、第二节点的初始节点嵌入向量、作为当前候选边的两个端点的节点的初始节点嵌入向量、图卷积神经网络的R个模型参数集。

其中,在使用节点的度作为归一化因子的情况下,第二节点的分类指标的量值还与所涉及的节点的度相关。

假设节点q为节点p的一阶邻居节点,也就是节点i经由节点p的二阶邻居节点,利用图卷积神经网络处理经过当前候选边扰动后的关系网络时,其分类指标可以为:

Figure BDA0002289586420000181

将以下表达式代入

Figure BDA0002289586420000182

Figure BDA0002289586420000183

可以得到:

Figure BDA0002289586420000191

可以理解,节点q在第二隐层的特征聚合,仅涉及一阶邻居节点p、二阶邻居节点i的特征变化,因此,节点q的分类指标的偏移层度的量值Z′q-Zq仅与节点p和节点i相关。Xi、W0、W1、di、dp、dq已知的情况下,可以确定点q的分类指标的偏移层度的量值Z′q-Zq

如此,可以确定各个相关节点在经过候选边的扰动后的分类指标Zn′,将Zn′与Zn相应项(如与y1、yk相对应的项)对比,即可得到节点n对应的C(ei,j,n)。进一步地对相关节点求和,可以确定当前候选边ei,j作为扰动边的扰动分数S(ei,j)。对每条候选边执行以上操作,可以确定各条候选边分别对应的各个扰动分数。

然后,在步骤304,选择对应最大扰动分数的候选边作为扰动边,为当前关系网络添加扰动。可以理解,损失函数减小越快,对应的扰动分数越大,通常越符合攻击者的期望,在评价卷积神经网络的鲁棒性时,更加有用。

在本步骤304中,可以用对应最大扰动分数的候选边作为扰动边,为当前关系网络添加扰动。假设最大影响分数对应的候选边为,e*=ei,j,即连接节点i和j之间的边,这里,e*可以是增加的边也可以是删除的边。在e*是增加的边的情况下,可以在当前分类网络A中增加e*,即,At=At-1∪{e*}。可选地,可以用正负号来表示增加的边或者删除的边。例如,e*表示增加的边,-e*表示删除的边。

在以上过程中,由于只根据图卷积神经网络的层数考虑局部节点影响,并使用局部最大扰动分数对应的候选边作为扰动边,利用局部贪心算法确定最优解,大大减少了计算量。

根据一个可选的实施方式,在对当前关系网络添加扰动后,还可以获取相应的抗扰动样本,对图卷积神经网络进一步进行训练,从而使得图卷积神经网络可以抵抗使用相应扰动边进行的攻击。其中,抗扰动样本可以根据扰动后的关系网络生成。由于对各个抗扰动样本来说,各个节点对应的关系发生了变化,但标签不变,可以避免扰动造成的错误分类,增强图神经网络的抗干扰能力。

在一些可能的设计中,还可以对图3示出的流程迭代执行多次,每次选取扰动分数最大的候选边作为扰动边,直到满足预定条件。这里的预定条件例如是,执行次数达到预定的最大次数代价B、最大扰动分数低于预定分数阈值,等等。这样,由于每次迭代在关系网络都添加了最大扰动分数对应的扰动,并增加相应的抗扰动样本更新图卷积神经网络,在关系网络遭到攻击时,其都只能产生最大次数代价B以外的扰动,或者是小于预定分数阈值的扰动,从而增加关系网络的稳定性,以及抗攻击能力。在可选的实现方式中,每次迭代过程中涉及的当前关系网络是利用前一次选定的扰动边添加扰动后的关系网络,涉及的图卷积神经网络是利用前一次对关系网络的扰动结果确定的抗扰动样本修正过的图卷积神经网络。

根据以上过程,在针对关系网络添加扰动时,仅考虑候选边所涉及的特征发生变化的节点,利用局部贪心算法,大大减少了计算量,提高针对关系网络添加扰动的效率。经过多次的迭代,可以以最少的代价,确定对关系网络的最大扰动,从而提高增加扰动的有效性。

根据另一方面的实施例,还提供一种针对关系网络添加扰动的装置。其中,关系网络可以用于通过多个节点描述各个节点分别对应的各个实体之间的关联关系,具有直接关联关系的实体对应的节点之间通过连接边互相连接。所述装置可以设于任何具有计算、处理能力的装置、设备、平台、设备集群等,例如图2所示的计算平台。

图5示出根据一个实施例的针对关系网络添加扰动的装置的示意性框图。如图5所示,用于针对关系网络添加扰动的装置500包括:

第一确定单元51,配置为基于当前关系网络中各个节点之间的连接关系,为关系网络确定用于进行扰动的至少一个候选边,单个候选边为,当前关系网络中存在的连接边,或者用于连接不存在直接关联关系的节点的边;

获取单元52,配置为获取用于处理关系网络的R层图卷积神经网络各个隐层分别对应的R个模型参数集;

第二确定单元53,配置为基于R个模型参数集,针对各个候选边,分别确定各个扰动分数,其中,单个扰动分数基于相应候选边对其各个相关节点的分类指标的偏移程度确定,相关节点属于,作为相应候选边的端点的节点、端点的R阶内的邻居节点构成的节点集,分类指标与图卷积神经网络第R个隐层的输出结果相关;

扰动单元54,配置为选择对应于最大扰动分数的候选边作为扰动边,为当前关系网络添加扰动。

根据一个实施方式,候选边包括第一候选边,第一候选边的相关节点包括第一节点,经图卷积神经网络利用当前关系网络为第一节点确定的分类指标中,由大到小的两个类别依次为第一类别、第二类别,第一节点的分类指标的偏移程度通过以下第一项与第二项的差描述:

第一项为,利用第一候选边扰动后的关系网络的情况下,第一节点在第一类别上的分类指标与第一节点在第二类别上的分类指标的差;

第二项为,利用当前关系网络的情况下,第一节点在第一类别上的分类指标与第一节点在第二类别上的分类指标的差。

在一个实施例中,单个候选边对应的扰动分数通过以下任一方式确定:

对单个候选边的各个相关节点的分类指标的偏移程度的量值进行叠加;

对单个候选边的各个相关节点的分类指标的偏移程度的量值求平均。

根据一个可能的设计,关系网络中各个节点分别对应有用于描述相应节点的特征的节点嵌入向量,当前候选边的相关节点包括第二节点,第二节点经图卷积神经网络的各个隐层迭代后的节点嵌入向量,至少基于以下项确定:

第二节点上一隐层迭代的节点嵌入向量、第二节点的一阶邻居节点经上一隐层迭代的节点嵌入向量、图卷积神经网络的当前隐层对应的模型参数集。

在一个实施例中,在第二节点是当前候选边的端点的情况下,通过图卷积神经网络处理经当前候选边扰动后的关系网络时,第二节点的分类指标的量值最终至少基于以下项确定:

第二节点的二阶邻居节点在当前关系网络中的节点嵌入向量、第二节点的一阶邻居节点在当前关系网络中的节点嵌入向量、当前候选边的另一个端点在当前关系网络中的节点嵌入向量、图卷积神经网络的R个模型参数集。

在一个实施例中,第二节点是当前候选边的一个端点的R阶邻居节点的情况下,第二节点的分类指标的偏移程度的量值基于以下项的乘积确定:

第二节点在当前关系网络中的节点嵌入向量,以及图卷积神经网络分别在R层上的R个模型参数集。

在一个实施例中,第二节点是当前候选边的一个端点的m阶邻居节点的情况下,通过图卷积神经网络处理经当前候选边扰动后的关系网络时,第二节点的分类指标的量值基于以下项确定:

第二节点的1至R-m阶邻居节点的初始节点嵌入向量、第二节点的初始节点嵌入向量、作为当前候选边的两个端点的节点的初始节点嵌入向量、图卷积神经网络的R个模型参数集,其中,1≥m≥R-1。

在一个可选的实现方式中,第二节点的分类指标的量值确定过程中,以相应节点的度作为归一化因子。

其中,在当前候选边是候选增加的连接边的情况下,经当前候选边扰动后的关系网络中,当前候选边的两个端点的度分别增加1;在当前候选边是候选删除的连接边的情况下,经当前候选边扰动后的关系网络中,当前候选边的两个端点的度分别减掉1。

根据一个可能的设计,装置500还可以包括:

利用扰动边更新当前关系网络,其中:在扰动边是当前关系网络中存在的连接边的情况下,用删除扰动边的方式更新当前关系网络;在扰动边是用于连接不存在直接关联关系的节点的边的情况下,用添加扰动边的方式更新当前关系网络;

迭代执行通过装置500添加扰动边的方法,直至满足预定条件。

其中,上述预定条件可以包括,执行次数达到预定的最大次数代价,或者最大扰动分数低于预定分数阈值。

在一个可选的实现方式中,装置500还可以包括:

利用经过扰动边扰动后的关系网络生成至少一个抗扰动样本;

用至少一个抗扰动样本更新图卷积神经网络。

值得说明的是,图5所示的装置500是与图3示出的方法实施例相对应的装置实施例,图3示出的方法实施例中的相应描述同样适用于装置500,在此不再赘述。

根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图3所描述的方法。

根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图3所述的方法。

本领域技术人员应该可以意识到,在上述一个或多个示例中,本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式,对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本说明书的技术构思的具体实施方式而已,并不用于限定本说明书的技术构思的保护范围,凡在本说明书实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的技术构思的保护范围之内。

22页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种采煤机定位方法及装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!