具体实施方式

下面将结合本申请中的附图，对本申请提供的实施例中的方案进行描述。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

首先对本申请实施例中所涉及到的一些技术术语进行介绍。

云计算是分布式计算的一种，指通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。通过这项技术，可以在很短的时间(例如几秒钟)内完成对数以万计的数据的处理，从而达到强大的网络服务。

云计算的发展可以为人工智能提供算力支持，神经网络模型的开发者能够将神经网络模型部署在云平台，从而使用户通过云平台只需要调用应用程序接口(applicationprogramming interface，API)就能够使用训练好的神经网络。

但是这种人工智能服务存在很多安全问题。一方面，用户在云平台上使用自己的数据进行预测时，其中用户自己的数据可能包括用户的隐私，因此数据被窃取即可能意味用户的隐私被窃取。另一方面，云平台的系统级防护本身是脆弱的，模型本身也可能遇到参数被窃取、非授权用户访问等安全问题。

很多国内外的学者考虑了对用户的隐私进行保护，并提出了多方计算等方法，但是很少有学者关注到神经网络模型本身的脆弱性这一问题。

具体地，如图1所示，非授权用户(敌手)可以绕过防御机制非法使用卷积神经网络模型，通过多次访问神经网络，采用暴力手段，例如等式求解攻击，剽窃出一个与原有卷积神经网络模型相同的敌手模型。敌手可以免费使用剽窃的卷积神经网络模型对数据进行预测，也可以使用该卷积神经网络对原有的云端卷积神经网络发起黑盒攻击、灰盒攻击，导致卷积神经网络预测出错，或者用户的隐私数据被窃取。

黑盒攻击是指无法获得原神经网络模型的结构，但是可以尽可能的找到与训练原神经网络模型同样的数据，使用这些数据训练一个新的神经网络模型。

通常情况下，卷积神经网络模型的应用较其他深度神经网络模型更为广泛，因此本实施例中主要以卷积神经网络模型作为介绍对象进行介绍，但是本申请中的神经网络模型同样可以为循环神经网络模型或递归神经网络模型，本申请在此不做限制。

在卷积神经网络算法中，激活函数的主要功能是对特征数据与权重进行卷积运算后的数据进行非线性运算，常见的激活函数包括ReLU、sigmod、tanh等。所有的激活函数按照输出数据的结果可以分为两种状态：激活态与失活态，如图2所示。图中圆圈部分区域由于激活函数输入的数据不同，但输出的结果相差不大，即在此区域内，激活函数无法区分输入的数据的差异，激活函数呈现无法工作的状态，因此称为失活态，输入数据区间称为失活态x区域，输出数据区间成为失活态y区域。

在激活函数的输入端增加激活函数的活性控制函数，相当于在神经网络运算前输入活性控制钥匙，使得数据在进行激活函数运算之前，先通过活性控制钥匙进行活性控制函数的运算，如果活性控制钥匙不正确，活性控制函数将改变数据数值，使得该活性控制函数的运算结果处于激活函数的失活态区域，从而使得后续神经网络计算无法正常进行；如果活性控制钥匙正确，活性控制函数将保持原有数据数值，后续神经网络计算可以正常进行。

活性控制函数是指在激活函数运算前，活性控制密钥与特征数据共同参与运算，用以控制卷积神经网络激活函数的活性的函数。本实施例涉及的活性控制函数可以包括放大活性控制函数、缩小活性控制函数、反向活性控制函数、判断选择活性控制函数、随机活性控制函数等。

活性控制函数的位置点是指在卷积神经网络运算过程中活性控制函数参与运算的位置。本方案涉及的活性控制函数的位置点包括卷积神经网络的权重、偏置以及激活函数运算之前。

有鉴于此，本申请提供了一种对AI应用中的神经网络模型进行控制的方法。该方法包括多控神经元，即在卷积神经网络模型中可以包括多个受控制的神经元，其中这些神经元可以在同一个卷积层，也可以在不同的卷积层，可以使用相同的控制函数，也可以使用不同的控制函数。具体地，可以在卷积神经网络不同的位置点设置活性控制函数，使得卷积神经网络的多个神经元的活性受到控制，活性控制函数将活性控制钥匙与运算数据进行活性运算，从而实现对卷积神经网络的控制。

进一步地，由于活性控制密钥是控制整个卷积神经网络的关键，而一旦活性控制函数和活性控制函数中的位置点一旦确定，活性控制密钥将固定不变，因此为了保护活性控制密钥，可以增加随机数种子，使得用户每次使用活性控制密钥的随机数种子都不相同，实现一次一变。

本实施例提供的神经网络模型的控制方法应用于控制管理平台，具体包括接收来自用户访问该神经网络模型的访问请求，当该用户获得授权时，获取与该用户的访问请求对应的控制参数的控制信息，其中控制参数包括该神经网络模型的权重参数、偏置参数和激活参数中的至少一个，然后根据控制参数的控制信息对该神经网络模型进行控制。

其中，控制管理平台可以为软件，该软件可以集中或者分布式地部署在计算机集群中。该控制管理平台也可以是硬件，该硬件用于对神经网络模型进行控制。

该方法可以由用户端、云管理员端、控制管理平台和神经网络应用服务器共同执行，如图3所示，其中用户端可以为个人计算机(personal computer，PC)，控制管理平台和神经网络应用服务器可以分别使用两台服务器。

具体工作流程包括：从后台将训练好的神经网络模型通过安全通道上传至神经网络应用服务器。待授权的用户通过安全通道与控制管理平台建立通信，控制管理平台接收到用户的访问请求并转发至云管理员。云管理员同意并对用户授权后，控制管理平台获取与用户访问请求对应的控制参数的控制信息，在神经网络的权重参数、偏置参数和激活函数等多个参数处实现控制，如图3所示。

为了便于理解，下面结合附图对本申请实施例提供的神经网络模型的控制方法进行介绍。

参见图4所示的神经网络模型的控制方法的流程图，该方法的具体步骤如下所示。

S402：控制管理平台接收来自于用户的访问请求。

其中，访问请求用于访问该神经网络模型。在一些可能的实现方式中，神经网络模型可以为卷积神经网络模型、循环神经网络模型或递归神经网络模型中的任意一个。

通常情况下，卷积神经网络模型的应用较其他深度神经网络模型更为广泛，因此本实施例中主要以卷积神经网络模型作为介绍对象进行介绍，但是本申请中的神经网络模型同样可以为循环神经网络模型或递归神经网络模型，本申请在此不做限制。

可选地，控制管理平台接收来自用户的第一访问请求和第二访问请求，其中第一访问请求对应的控制参数的控制信息和第二访问请求对应的控制参数的控制信息不同，用户可以通过多种访问请求，多次访问该控制管理平台。

S404：当用户获得授权时，控制管理平台获取与用户的访问请求对应的控制参数的控制信息。

其中，控制参数包括该神经网络模型的权重参数、偏置参数和激活函数中的至少一个。

具体地，当用户获得授权时，控制管理平台获得与用户的访问请求对应的神经网络模型中的权重参数、偏置参数或激活函数中等控制参数中的至少一个，以及分别对应的演化因子和位置信息。其中，控制参数的位置信息可以用于表征该控制参数在神经网络模型中的位置。

以激活函数为例，卷积神经网络的每个卷积层都包括有多个神经元，将卷积神经网络的多个激活函数进行改造，能够为每个神经元的激活函数增加活性控制机制和活性控制参数，当活性控制参数正确时，激活函数被激活，卷积神经网络能够正常进行工作；当活性控制参数不正确时，激活函数无法被激活，卷积神经网络无法正常工作。

由于多个神经元通常采用相同且固定的活性控制参数，因此难以保证活性控制参数和活性控制机制的安全性，依然能够被敌方轻易地攻击识别，因此可以为每一个神经元设置专属的活性控制参数，将这些参数组合构成卷积神经网络的活性控制矩阵。

卷积神经网络的活性控制矩阵的取值可以采用多种方法实现，例如随机性取值方法、密码加密保护方法以及授权动态变化方法，从而提高授权控制的安全性。

本实施例中，神经网络模型的控制方法需要控制神经网络中的权重参数、偏置参数和激活函数等多个参数，如图5所示。因此，控制管理平台中存储有控制列表，控制列表包括授权用户信息、各用户对应的随机数种子r、种子生成的演化因子k、演化因子的位置信息l等。在一些可能的实现方式中，授权用户每使用一次受控的神经网络，随机种子的数值r、演化因子k以及其位置信息l，都会自动进行动态变更，如表1所示。

表1控制管理平台授权用户信息表

控制管理平台可以将神经网络的权重参数、偏置参数和激活函数等参数点依据神经网络结构按顺序排列，第一隐层权重w1参数点记为1，第一隐层偏置b1参数点记为2，第一隐层激活函数g1点位记为3，……以此类推，神经网络内部参数点位置标记示意图可以如图6。

在一些可能的实现方式中，用户的访问请求中包括用户的身份信息，管理员根据用户的身份信息，对符合授权要求的用户进行授权。

控制管理平台根据动态控制策略，利用授权用户的身份信息生成随机数，并利用随机数生成控制参数的演化因子及位置信息。其中授权用户的身份信息可以包括用户身份标识号(identity document，ID)，不同用户的用户ID不同。

当随机数为二进制随机数时，通过滑动窗口与二进制随机数确定该神经网络模型中控制参数的个数。

具体地，控制管理平台可以对不同用户生成不同的二进制随机数r_O，随机数的产生可由硬件(例如随机数生成器)辅助实现。

对于参数点的总数为n的深度卷积神经网络，控制管理平台生成位数为的滑动窗口，从右向左对随机数r_O取值，直到所取随机数num_(用户id)小于参数点总数n，得到待控制参数点个数num_(用户id)。继续对源随机数滑动取值，所取数值记为位置信息l_i，直到i＝num_(用户id)取满，控制管理平台生成授权用户信息表参数的流程图，如图7。

云管理员对用户授权之后，控制管理平台生成位置点信息l，利用控制函数以随机数为种子在对应参数点生成演化因子K，其中K＝{k_w，k_b，k_g}。

在一些可能的实现方式中，用户每次使用受控卷积神经网络，随机数种子更新，进而生成新的演化因子组和位置信息，保证卷积神经网络实时动态受控。

S406：控制管理平台根据该控制参数的控制信息对该神经网络模型进行控制。

具体地，控制管理平台根据控制参数的控制信息生成授权算子，然后向发送访问请求的用户返回该授权算子，然后接收来自用户的输入数据，其中输入数据包括待处理数据和授权算子，控制管理平台通过受控的神经网络模型，获取输入数据的预测数据，然后向用户返回该输入数据的预测数据。

控制管理平台根据演化因子的值计算授权算子，并将授权算子分发给授权用户。

授权用户得到已授权的信息后，能够使用该神经网络进行数据处理。具体地，用户向控制管理平台发送待处理数据和授权算子，待处理数据和授权算子共同作为控制管理平台是输入数据。控制管理平台收到输入数据后，检测其中是否含有授权算子，并将授权算子和待处理数据共同输入受控卷积神经网络。卷积神经网络利用用户对应的参数位置信息，将授权算子与演化因子解耦，并对输入数据进行处理，获得预测数据作为输出。

例如，授权用户能够使用受控卷积神经网络模型进行图像分类。具体地，用户可以输入一批水果图片以及授权算子，控制管理平台检测到其中包含有授权算子，然后将授权算子与图片共同输入受控卷积神经网络模型，受控卷积神经网络模型利用用户对应的参数位置信息，将授权算子与演化因子解耦，然后将待处理水果图片输入卷积神经网络模型中进行分类，从而输出正确分类的水果图片。

进一步地，控制管理平台在获得卷积神经网络使用完成的反馈后，根据用户ID生成新的一组随机数，并根据新的随机数对神经网络模型更新参数演化因子以及位置信息，并根据演化因子的值计算授权算子。能够使用户在每次访问完成后，自动获得下次访问的授权算子，从而实现对神经网络模型的控制访问。

控制管理平台将新的授权算子和输出数据一起返回用户端，授权用户能够获得正确的分类输出。如此，控制管理平台能够通过授权算子对于用户进行识别，从而避免非授权用户使用该神经网络模型。

当控制管理平台收到非授权用户输入的待处理数据时，检测该输入中是否含有授权算子，控制管理平台进而将不含授权算子的待处理数据输入受控神经网络模型，受控神经网络模型因为没有检测到授权算子，因此将待处理数据识别为工具箱后输出，非授权用户得到错误输出，从而无法根据大量错误输出推测神经网络模型的结构，由此能够保护神经网络模型。

由此，该神经网络模型的控制方法在神经网络模型内部嵌入了一种新的授权控制机制，当非授权用户使用该神经网络模型时，由于该模型内部受到授权控制机制的控制，非授权用户无法正常使用该神经网络模型，非授权用户得到异常的错误输出；而授权用户能够携带控制参数的控制信息解除授权控制机制对神经网络模型的控制，从而得到正确的输出。该方法能够避免非法用户通过神经网络模型的输出结果，推断神经网络模型，进而攻击该神经网络模型。基于该方法，非授权用户所获得的输出结果是错误的、异常的，因此无法用来推断神经网络模型的结构，从而保证了神经网络模型的安全性，保护了用户的隐私数据。

与上述方法实施例相对应的，本申请还提供了一种神经网络模型的控制管理平台，参见图8，该控制管理平台800包括：访问请求接收模块802、控制信息获取模块804和神经网络模型控制模块806。

访问请求接收模块，用于接收来自于用户的访问请求，访问请求用于访问神经网络模型；

控制信息获取模块，用于当用户获得授权时，获取与用户的访问请求对应的控制参数的控制信息，控制参数包括神经网络模型的权重参数、偏置参数和激活函数中的至少一个；

神经网络模型控制模块，用于根据控制参数的控制信息对神经网络模型进行控制。

在一些可能的实现方式中，访问请求接收模块具体用于：

接收来自于用户的第一访问请求和第二访问请求；

第一访问请求对应的控制参数的控制信息和第二访问请求对应的控制参数的控制信息不同。

在一些可能的实现方式中，控制信息包括控制参数的演化因子和控制参数的位置信息中的至少一个，控制参数的位置信息用于表征控制参数在神经网络模型的位置。

在一些可能的实现方式中，该控制管理平台还包括随机数生成模块：

随机数生成模块用于针对用户生成随机数；

控制参数的位置信息由随机数确定。

在一些可能的实现方式中，随机数为二进制随时数；

该控制管理平台还包括控制参数个数确定模块：

控制参数个数确定模块用于通过滑动窗口与二进制随机数确定神经网络模型中控制参数的个数。

在一些可能的实现方式中，神经网络模型控制模块具体用于：

根据控制参数的控制信息生成授权算子；

向用户返回授权算子；

接收来自用户的输入数据，输入数据包括待处理数据和授权算子；

通过受控的神经网络模型，获得输入数据的预测数据；

向用户返回输入数据的预测数据。

在一些可能的实现方式中，神经网络模型包括卷积神经网络模型、循环神经网络模型或递归神经网络模型中的至少一个。

本申请提供一种设备，用于实现神经网络模型的控制方法。该设备包括处理器和存储器。处理器、存储器进行相互的通信。该处理器用于执行存储器中存储的指令，以使得设备执行神经网络模型的控制方法。

本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在设备上运行时，使得设备执行上述神经网络模型的控制方法。

本申请提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述神经网络模型的控制方法。

另外需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。