阅读说明：本技术 适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置 (Neural network parameter optimization method suitable for hardware implementation, neural network calculation method and device ) 是由 李相宪 金明谦 金周赫 于 2019-07-18 设计创作，主要内容包括：本发明涉及一种适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置。根据本发明的适合硬件实现的神经网络参数优化方法可以包括：将神经网络中的现有参数变换成符号化参数和对于每个通道具有单个值的大小参数；再通过剪枝已变换的大小参数而生成优化参数。因此,本发明提供通过在硬件实现中有效地优化卷积神经网络的大量计算及其参数而获得最小的精度损失和最快的计算速度的神经网络参数优化方法、神经网络计算方法及其装置。(The invention relates to a neural network parameter optimization method, a neural network calculation method and a device suitable for hardware implementation. The neural network parameter optimization method suitable for hardware implementation according to the invention can comprise the following steps: transforming an existing parameter in the neural network into a symbolized parameter and a size parameter having a single value for each channel; and generating optimization parameters by pruning the transformed size parameters. Accordingly, the present invention provides a neural network parameter optimization method, a neural network calculation method, and an apparatus thereof, which obtain the minimum precision loss and the fastest calculation speed by efficiently optimizing a large number of calculations of a convolutional neural network and parameters thereof in hardware implementation.)

适合于硬件实现的神经网络参数优化方法、神经网络计算方 法和装置

技术领域

本发明涉及人工神经网络计算，尤其涉及一种适合于硬件实现的神经网络参数优化方法、神经网络计算方法及装置。

背景技术

近年来，随着人工智能(AI)技术的发展，许多行业已经引入并应用AI技术。

随之而来的是，越来越多应用场景寻求在硬件中实时地实现人工神经网络(例如卷积神经网络)的计算。

然而，由于卷积神经网络存在大量参数和计算量，现有技术中与人工神经网络相关的计算方法在实际应用中并不容易实现。

为了解决这个问题，业界提出在训练过程中忽略多余参数、减少某些参数的量化比特数等参数优化方法，用于在保持准确度的同时减少计算量。

然而，现有技术中涉及的参数优化方法局限于软件实现方式，并不考虑硬件实现。当仅使用这些方法在硬件中实时进行卷积神经网络计算时，存在一定的局限性。

因此，迫切需要一种用于适合于硬件实现的人工神经网络计算的实用且适用的技术。

发明内容

要解决的问题

本发明旨在解决上述问题，且提供了一种神经网络参数优化方法以及神经网络计算方法及其装置，以通过在硬件实现中有效地优化卷积神经网络的大量计算及其参数来实现最小的精度损失和最快的计算速度。

另外，本发明提供了一种神经网络参数优化方法以及神经网络计算方法及其装置，其可以以最小的计算速度损失来校正精度。

解决问题的方案

根据本发明的一个实施例的神经网络参数优化方法包括：将神经网络中的现有参数变换成符号化参数和对于每个通道具有单个值的大小参数，以及通过剪枝已变换的大小参数生成优化参数。

符号化参数可以确定对于现有参数的每个通道的元素方向，而大小参数是通过将权重优化为对于现有参数的每个通道的单个代表值来获得的。

所述变换可以包括通过计算对于现有参数的每个通道元素的绝对值的平均值而生成大小参数。

所述变换可以包括：若构成现有参数的既定元素小于0，则将对应的符号化参数的元素值表示为0，若构成现有参数的既定元素大于或等于0，则将对应的符号化参数的元素值表示为1来生成符号化参数。

剪枝可以包括通过使用对于每个输入通道的大小参数的平均值和大小分布或对于每个输入和输出通道的大小参数的平均值和大小分布来计算参考值；以及将相比于所计算的参考值具有小的值的大小参数设置为零，从而能够省略相应通道的卷积计算。

当使用构成预定层的输入通道的大小参数的平均值和大小分布执行剪枝时，以层特定常数与输入通道的大小参数的平均值的乘积计算参考值。当预定输入通道的大小参数的值小于参考值时，可以通过将相应通道的大小参数的值更改为零来执行剪枝。当使用构成预定层的输入和输出通道的大小参数的平均值和大小分布执行剪枝时，可以以层特定常数与输入和输出通道的大小参数的平均值的乘积计算参考值，当预定输入通道的大小参数的值小于参考值时，可以通过将相应通道的大小参数的值设为零来执行剪枝。

可以根据对于每个层的卷积参数分布来确定层特定常数的值。

神经网络参数优化方法可以进一步包括将神经网络的现有参数变换成尺度参数。

神经网络参数优化方法可以进一步包括可变地分配尺度参数的比特和根据用户的选择量化尺度参数元素的值的范围和权重。

根据本发明的另一个实施例的神经网络计算方法包括：将神经网络的现有参数和输入通道数据加载到存储器中；将现有参数变换为符号化参数和对于每个通道具有单个值的大小参数，并通过对已变换的大小参数进行剪枝而生成一个优化参数；通过对优化参数和输入通道数据执行卷积计算来进行推断；校正优化参数；以及将校正后的优化参数更新为现有参数。

该神经网络计算方法还可包括：判断是否存在已被学习的参数；当不存在已被学习的参数时，通过参数初始化生成初始参数；对所述初始参数生成优化后的参数；以及当存在已被学习的参数时，加载所述现有参数。

通过对优化参数和输入通道数据执行卷积计算进行来进行推断可以包括：将优化参数加载到存储器，判断已载入的优化参数中包括的大小参数的值是否为零，当大小参数的值为零时省略卷积计算过程。

通过对优化参数和输入通道数据执行卷积计算来进行推断可以包括：当大小参数的值不为零时，通过对符号化参数和输入通道数据执行逐位运算来判定数据的方向；以与卷积参数滤波器大小相当的程度进行输入通道数据之间的加法运算，以及对大小参数和输入通道数据执行单次乘法运算。

通过对优化参数和输入通道数据执行卷积计算来进行推断可以进一步包括：当存在尺度参数时，通过使用尺度参数对大小参数不等地施加权重来减少计算结果的误差。

根据本发明的又一个实施例的神经网络计算装置，包括：用于将现有参数变换为符号化参数的符号化参数变换单元，将现有参数变换为对于每个通道具有单个值的大小参数的大小参数变换单元，以及对已变换的大小参数进行剪枝并生成优化参数的参数剪枝单元。

参数剪枝单元可通过使用对于每个输入通道的大小参数的平均值和大小分布或对于每个输入和输出通道的大小参数的平均值和大小分布来计算参考值，及将相比于所计算的参考值具有小的值的大小参数设为零，从而能够省略相应通道的卷积计算。

当使用构成预定层的输入通道的大小参数的平均值和大小分布执行剪枝时，参数剪枝单元可以以层特定常数和输入通道的大小参数的平均值的乘积计算参考值，并且当预定输入通道的大小参数的值小于参考值时，可以通过将相应通道的大小参数的值更改为零来执行剪枝。当使用构成预定层的输入与输出通道的大小参数的平均值和大小分布执行剪枝时，参数剪枝单元可以以层特定常数与输入和输出通道的大小参数的平均值的乘积计算参考值，当预定输入通道的大小参数的值小于参考值时，通过将相关通道的大小参数设为零来执行剪枝。

该神经网络计算装置可以进一步包括用于将现有参数变换为尺度参数的尺度参数变换单元。

该神经网络计算装置可以进一步包括用于对优化参数和输入通道数据执行卷积计算的推断单元。

推断单元可以判断优化参数中包括的大小参数的值是否为零，当大小参数为零时省略卷积计算过程。

当存在尺度参数时，推断单元可以通过使用尺度参数对大小参数不等地施加权重来减少计算结果的误差。

发明的效果

如上所述，本发明提供一种神经网络参数优化方法、神经网络计算方法及其装置，以使通过在硬件实现中有效地优化卷积神经网络的大量计算及其参数，从而获得最小的准确度损失和最快的计算速度。

另外，本发明可以通过优化神经网络的参数来满足在硬件实时运算中所需的低功率和高性能。当应用根据一个实施例的神经网络参数优化技术时，可以在卷积计算中根据通道的尺寸对于每个通道省略运算。此外，确定是否要对每个通道省略计算，而不是确定在硬件中是否要省略或执行对通道内的每个元素的计算，从而使得按通道元素数量的倍数来减少计算成为可能。

而且，本发明可以以最小的计算速度损失来校正精度。例如，分离尺度参数，这允许根据值的范围有效地应用不同的权重，从而有效地提高在硬件实现中的性能。

附图说明

图1是定义根据本发明的一个实施例的在神经网络卷积计算中使用的卷积参数的图。

图2示出根据本发明的一个实施例的用于在卷积神经网络(CNN)中生成优化参数的学习过程的图。

图3是示出根据本发明的一个实施例的用于生成图2的优化参数的学习过程的详细图。

图4是示出根据本发明的一个实施例的推断过程的详细图。

图5是根据本发明一个实施例的卷积参数优化处理的应用示例的图。

图6是比较一般的卷积计算和根据本发明的一个实施例的卷积计算的图。

图7是示出根据本发明的一个实施例的参数优化后的卷积计算的优点的图。

图8是示出根据本发明的另一实施例的卷积参数优化处理的应用示例的图。

图9是为了描述尺度参数优化而比较仅应用大小参数的参数分布和应用尺度参数的参数分布的图。

图10示出根据本发明的一个实施例的使用优化后的参数的卷积计算的示例。

图11示出根据本发明的一个实施例的神经网络计算装置的配置。

图12示出根据本发明的一个实施例的图11中的参数优化单元的详细配置。

具体实施方式

在下文中参考附图更全面地描述本发明，在附图中示出了本发明的示例性实施例。然而，本发明可以以许多不同的形式来实施，并且不应被解释为限于在此阐述的实施例。相反，提供这些实施例是为了使本公开透彻，并将本发明的范围充分传达给本领域技术人员。

图1是定义根据本发明的一个实施例的在神经网络卷积计算中使用的卷积参数的图。

如图所示，若参考图1，则当神经网络的卷积层的整个数目为1时，每一层存在k个输出通道O₁…O_k，每个输出通道包含j个输入通道I₁,I₂,…I_j。每个输入通道包含I个权重参数W₁,W₂,...W_i。本发明中，基于上述对卷积参数的定义用公式说明最优化技术。

图2是示出根据本发明的一个实施例的在卷积神经网络(CNN)生成优化参数的学习过程的图。

参考图2，则一个学习的过程可以包括对现有参数和输入数据的加载操作(S200)，一个参数优化操作(S210)中，一个推断操作(S220)，一个参数校正操作(S230)以及一个参数更新操作(S240)。

更具体地，当省略参数优化操作(S210)时，该过程与一般的深度学习训练过程相同，这意味着本发明可以应用于一般的深度学习训练环境。

当存在已被学习的参数时，可以通过在现有学习环境中添加参数优化操作(S210)来执行根据本发明的一个实施例的CNN优化技术。在这种情况下，当不存在已被学习的参数时，可以在省略参数优化操作(S210)的初始学习步骤之后应用参数优化操作(S210)。另一方面，当一开始通过应用参数优化操作(S210)执行学习时，与相同的计算减少量相比结果的精确度可能会降低。出于这个原因，在将已被学习的卷积参数和输入数据加载到存储器中之后(S200)，对已加载的现有卷积参数应用本发明提出的卷积参数优化技术(S210)。

然后，对输入数据和应用优化的参数执行卷积计算来完成推断(S220)，对参数进行校正(S230)后，更新现有参数(S240)。所述参数校正操作(S230)包含一个计算反向传播的过程。学习终止后，使用卷积参数优化技术存储参数。所述参数优化操作(S210)、推断操作(S220)、参数校正操作(S230)和更新操作(S240)可能会反复执行，直至达到目标操作次数。

图3是示出根据本发明的一个实施例的用于生成图2的优化参数的学习过程的详细图。

参考图3，则根据本发明的一个实施例的神经网络计算装置首先判断是否存在已被学习的参数(S300)，之后，当存在已被学习的参数时，将所述参数加载到存储器(S302)。然后，神经网络计算装置判断是否应用本发明中的卷积参数优化(S303)。没有应用卷积参数优化(S303)的学习过程等同于一般的深度学习训练过程。

卷积参数优化操作(S303)可以包括大小参数生成操作(S306)和符号化参数生成操作(S308)，并且可以进一步包括用于确定是否执行尺度参数优化的操作(S310)和确定应用尺度参数优化时生成尺度参数的操作(S312)。

根据本发明的一个实施例，当完成卷积参数优化操作(S303)时，神经网络计算装置通过推断操作(S316)用优化参数和输入数据执行推断，且通过校正操作(S318)，将现有参数更新至被优化及校正的参数(S320)。在这种情况下，判断是否达到目标操作次数(S322)。当未达到目标操作次数时，反复执行卷积参数优化操作(S303)、推理操作(S316)、校正操作(S318)和参数更新操作(S320)。

图4是示出根据本发明的一个实施例的推断过程的详细示图。

参考图4，则根据本发明的一个实施例的神经网络计算装置将优化参数加载到存储器(S400)，并确定是否存在大小参数值，例如大小参数值是否为零(S410)。当大小参数值为零时，可以通过省略后续操作来减少推断计算量。

然后，当大小参数值是不为零，将输入数据加载到存储器(S420)，并且对符号化参数和输入数据执行逐位运算(bitwise operation)(S430)。然后，对输入数据应用加法操作(S460)，以及执行大小参数和输入数据的乘法运算(S470)。当逐位运算(S430)后应用尺度参数(S440)时，还包括参考尺度参数将后续可能用到的尺度参数特异性常数应用于大小参数的过程(S470)。

图5是根据本发明一个实施例的卷积参数优化处理的应用示例的图。

参考图5，则根据一个实施例的参数优化过程大体上由一个变换操作510和剪枝操作520构成。参数变换510意指减少现有卷积参数的计算量并将参数变换为易于剪枝的形式的过程。例如，如图5所示，一个现有参数50被分解为一个表示大小的大小参数(Magnitude)52和一个表示方向的符号化参数(Signed Parameter)54。图5示出了现有参数具有三个输入通道50-1、50-2和50-3的例子。每个输入通道50-1，50-2和50-3由多个参数元素组成。符号化参数54决定现有参数50的每个通道的方向，而大小参数52是通过将权重优化为对于现有参数50的每个通道的单个代表值来得到的。

用户可以任意设置大小参数52的每个组成元素的比特数(number of bit)，比特数可以用整数、小数(Floating)等等表示。当比特数增加时，可以获得与原始卷积计算相同的结果。符号化参数54中的每个组成元素的比特数是1，其仅表示正(+)方向或负(-)方向。可以应用多种方法50以便从现有参数中分离大小参数52和符号化参数54。例如，可以通过卷积层的所有输入通道的平均值和每个参数的最高有效比特来执行变换。

到大小参数52的变换方法之一是使用所有输入通道的组成元素(权重参数)的平均值。例如，用W_i表示第i个组成元素，用I_j表示第j个输入通道，O_k表示k个输出通道，用M＝{M₁,M₂,…,M_j}表示大小参数，其中M_j的表达式如公式1所示。

[公式1]

到符号化参数54的变换方法之一是：当通道的组成元素(权值参数)大于或等于0时，分配0；当组成元素小于0时，分配1。符号化参数S＝{S₁,S₂,…,S_i}，S_i如公式2所示。

[公式2]

执行变换处理后，执行用于去除多余参数的剪枝操作520。在该剪枝操作520中，选中重要性程度较低的参数并将其设为零，使得省略计算量成为可能，从而减少总计算量。在这种情况下，根据大小对大小参数进行剪枝生成优化参数。例如，当预定大小参数的值小于预设参考值时，将对相应通道的大小参数进行剪枝。

在这种情况下，重要的是剪枝过程不应用于整个卷积层的参数，而仅应用于已变换的大小参数52。由于仅对大小参数52应用剪枝520操作，因此被省略的参数会影响卷积层的每个输入通道的全部参数，从而将剪枝520的效果最大化。

可以应用各种方法来省略多余参数。例如，使用用于每个卷积层的输入通道和输出通道的平均值及分布来执行剪枝。每层都具有一个用户任意设定的常量，该常数由每个层的卷积参数分布决定。用于省略值的参考值可以是输入通道的大小参数的平均值，或是一个权值及输入和输出通道的大小参数的平均值的乘积。层常量具有0和1之间的值，当假定每一层的卷积参数为连续均匀分布或者正态分布时，卷积层常量的取值可以在0.5和0.7之间，以省略50％的大小参数。参考该值，通过考虑实际参数分布来确定层常量。

定义表达式M_LOI＝{M₁₁₁,M₁₁₂,…,M_lkj}、L＝{C₁,C₂,…,C_l)时，其中C表示层常数，应用了每个输入通道的计算准则的大小参数剪枝方法如公式3所示。

[等式3]

应用了每个输出通道的计算准则的大小参数剪枝方法如公式4所示。

[等式4]

下文将描述应用上述公式1至4的卷积参数优化计算的示例。

假定针对具有i＝4、j＝2和k＝2的现有卷积参数计算大小参数和符号化参数，并且大小参数被剪枝处理。在这一情况下，假设O₁＝{I₁₁,I₁₂}＝{[W₁₁₁,W₁₁₂,W₁₁₃,W₁₁₄}，[W₁₂₁,W₁₂₂,W₁₂₃,W₁₂₄]]}＝{[-0.5,1.0,0.5,-1.0]，[1.0,-1.5,1.0,-1.5]}且O₂＝{I₂₁,I₂₂}＝{[W₂₁₁,W₂₁₂,W₂₁₃,W₂₁₄]，[W₂₃₁,W₂₂₂,W₂₂₃,W₂₂₄]}}＝{[1.5,-2.0,-1.5,2.0]，[-2.0,-2.5,2.0,2.5]}。

通过应用公式1计算出的大小参数为M＝{M₁₁,M₁₂,M₂₁,M₂₂}＝{0.75,1.25,1.75,2.25}。即，M₁₁＝1/4(0.5+1.0+0.5+1.0)＝0.75，M₁₂＝1/4(1.0+1.5+1.0+1.5)＝1.25，M₂₁＝1/4(1.5+2.0+1.5+2.0)＝1.75，及M₂₂＝1/4(2.0+2.5+2.0+2.5)＝2.25。

通过应用公式2计算出的符号化参数为S＝{S₁,S₂,S₃,S₄}＝{[1,0,0,1]，[0,1,0,1]，[0,1,1,0]，[1,1,0,0]}。

对大小参数的剪枝的例子如下。针对具有j＝2、K＝2和l＝1的现有参数的情况，当已知从现有参数中分离出的大小参数为M＝{M₁₁₁,M₁₁₂,M₁₂₁,M₁₂₂}＝{0.75,1.25,1.75,2.25}且层常数为L₁＝0.9时，通过对于每个输入通道应用公式3获得其剪枝后的大小参数为M'＝{M₁₁₁,M₁₁₂,M₁₂₁,M₁₂₂}＝{0,1.25,0,2.25}。例如，对例中的M₁₁₂，由于1.25<1/2(0.75+1.25)0.9，根据公式3M₁₁₂的值设为0。

当对于每个输入通道和输出通道应用公式4时，已被剪枝的大小参数为M'＝{M₁₁₁,M₁₁₂,M₁₂₁,M₁₂₂}＝{0,0,1.75,2.25}。对于M₁₁₂，由于1.25<1/4(0.75+1.25+1.75+2.25)0.9，根据公式4，M₁₁₂设为0。可以根据分布来决定是否对输入信道或输出通道进行应用。

图6是比较一般的卷积计算和根据本发明的一个实施例的卷积计算的图。

如图6所示，就一般的卷积计算60而言，存在以与卷积参数滤波器大小相当程度的乘法运算600和加法运算602。然而，在应用了根据一个实施例的参数优化的卷积计算62中，可以通过逐位运算620来确定数据的方向，可以执行以与滤波器大小相当程度的加法运算622，然后，可以通过单个乘法运算624得出结果。例如，如图6所示，一般的卷积计算60需要9次乘法运算600，而应用了根据一个实施例的参数优化的卷积计算62仅需要一个乘法运算。这表明存在以滤波器大小相当程度的乘法运算利益。

另外，当在没有卷积参数变换的情况下执行修剪时，需要以与滤波器大小相当程度的比较运算以确定是否要省略运算。在图6所示的一般卷积计算60的情况下，总共需要9个比较运算。然而，在应用了本发明的参数优化的卷积计算62的情况下，可以通过仅用于每个卷积层输入通道的单个比较来确定是否不省略运算。与现有的卷积运算60相比，运算量的减少导致运算符的减少。因此，可以有效地设计硬件。

图7示出根据本发明的一个实施例的在参数优化之后的卷积计算的优点的图。

如图7所示，将计算输入数据、大小参数和符号化参数的卷积进行计算以使生成输出数据，其中大小参数值为零时，无需进行计算，因此可以逐个通道大大减少计算量。

图8是示出根据本发明的另一实施例的卷积参数优化处理的应用示例的图。

卷积参数优化的目标是用最大优化(降低计算量)实现最高精度。一般而言，计算量的减少与精度彼此之间成反比；因此在实际应用阶段中，存在要满足的性能(速度和精度)等级，这对用户来说并不容易控制。为了克服这个问题，本发明提出了一种使用尺度参数的优化技术。所提出的技术是通过将尺度参数应用于参考图5所描述的最优化技术来执行的。

在变换过程(510)中，将现有参数50的形式变换为大小参数52，符号化参数54和尺度参数58，并且仅大小参数52(520)被剪枝。在推断时，参考尺度参数58给大小参数施加权重，以减少在现有的计算结果的误差。

尺度参数58代表大小参数52多么重要，即，所提供的是通过比较卷积层输入通道参数的重要性不等地(differentially)应用常量的方法。对于尺度参数58的一个组成元素，用户可以分配期望的比特数，从而调整优化程度。尺度参数58并不表示权重，并且存在参考尺度参数58的常量值。这些常量指定为易于在硬件中执行的值，且可以允许仅通过逐位运算执行。当通过尺度参数58施加权重来执行最优化，而不是直接使用大小参数52时，其与优化之前的原始参数的相似性得以增加，且精度有所提高。

图9是为了描述尺度参数优化比较仅应用大小参数的参数分布和附加应用尺度参数的参数分布的图。

参考图8和9，则有多种方法可以用于生成尺度参数58。在本发明中，通过卷积参数的分布来生成尺度参数58。当假设尺度参数的比特数为b时，用户定义了2^b个任意常数，这些常数被称为尺度参数特异性常数。尺度参数特异性常数可以基于卷积参数分布由用户任意规定，且其相应于尺度参数的常量。

以下是计算尺度参数58的示例。

当已知尺度参数的比特数为b时，λ＝{λ₁，λ₂，…，λ_t}，t＝{1,2，…，2^b-1}，λ_t>λ_t+1，且尺度参数SC＝{SC₁,SC₂,…,SC_i}，SC_i通过公式5计算得到。

[公式5]

在执行推断时，使用尺度参数特异性常数与大小参数的乘积作为实际的计算值。

下面，举例说明应用上述公式5的尺度参数优化计算示例。

假设针对具有i＝4，j＝2和k＝2的现有卷积参数计算尺度参数。假定尺度参数的比特数为b＝2,t＝{1,2,3}且λ＝{0.9,0.7,0.5}。进一步假定O₁＝{I₁₁,I₁₂}＝{W₁₁₁,W₁₁₂,W₁₁₃,W₁₁₄,W₁₂₁,W₁₂₂,W₁₂₃,W₁₂₄}＝{-0.5,1.0,0.5,-1.0,1.0,-1.5,1.0,-1.5}，且O₂＝{I₂₁,I₂₂}＝{W₂₁₁,W₂₁₂,W₂₁₃,W₂₁₄,W₂₃₁,W₂₂₂,W₂₂₃,W₂₂₄}＝{1.5,-2.0,-1.5,2.0,-2.0,-2.5,2.0,2.5}。

根据公式5，由于1/4(0.5+1.0+0.5+1.0)·0.7>|-0.5|>1/4(0.5+1.0+0.5+1.0)·0.5，SC₁₁₁为2。这样，尺度参数的计算过程为：SC_i＝(SC₁₁₁,SC₁₁₂,SC₁₁₃,SC₁₁₄,SC₁₂₁,SC₁₂₂,SC₁₂₃,SC₁₂₄,SC₂₁₁,SC₂₁₂,SC₂₁₃,SC₂₁₄,SC₂₂₁,SC₂₂₂,SC₂₂₃,SC₂₂₄)＝{2,0,2,0,1,0,1,0,1,0,1,0,1,0,1,0}。

图10示出根据本发明的一个实施例的使用优化参数的卷积计算的示例。

如图10所示，存在大小参数M，符号化参数S，尺度参数SC，和尺度参数特异性常数C，当输入数据In时，卷积计算如图10所示。这里，以M＝{0.75}，S＝{0，0，1，1}，SC＝{0，0，1，1}，C＝{1.0、0.5}，输入数据In＝{1.2,-2.0,0.5,3.1}为例。

在图10的示例中，尺度参数特异性常数C被设置为2的倍数，通过逐位运算而不是一般的算术运算来得出结果。在这种情况下，在硬件实现上会有优势。

图11示出根据本发明的一个实施例的神经网络计算装置的配置。

如图11所示，根据本发明的一个实施例的神经网络计算装置1可以包括输入单元10、处理器12、存储器14和输出单元16。

输入单元10可以接收包括用户指令的数据，输入数据被存储在存储器18中。处理器12可以执行神经网络计算，将计算结果存储在存储器18中，并且通过输出单元16输出计算结果。输入数据和参数可以被加载到存储器14。根据一个实施例，处理器12包括参数优化单元120、推断单元122、校正单元124和更新单元126。

参数优化单元120对现有参数进行变换，并在已变换的参数之中剪枝大小参数。现有参数可能是已经学习的参数，并被加载到内存中用于计算。

根据本发明一个实施例的参数优化单元120将现有参数变换为大小参数和符号化参数，或者将所述参数变换成大小参数、符号化参数和尺度参数。符号化参数确定现有参数的每个通道的元素的方向，并且所述大小参数是通过将所述权重优化为对所述现有参数的每个通道的单个代表值来获得的。尺度参数表示大小参数多么重要，并且可以在推断时参考尺度参数将不等的权重(differential weight)施加在大小参数。

在本发明的实施例中，仅对变换参数中的所述大小参数的执行剪枝。剪枝意味着选择重要性较低的大小参数并将其值设置为零。能够以逐个通道为基础省略针对剪枝的参数的卷积计算，从而可以获得减少计算总量的效果。剪枝过程会影响构成卷积层每个输入通道的所有参数元素，剪枝效果可能会最大化。

此外，推断单元122通过对优化参数和输入通道数据执行卷积计算而进行推断。这里，推断单元122可以确定优化参数中包括的大小参数的值是否为零，当大小参数的值为零时省略卷积计算处理。另外，当存在尺度参数时，推断单元122可以通过使用尺度参数将权重不等地施加在大小参数，从而减少计算结果的误差。在本发明的实施例中，校正单元124校正优化参数，更新单元126将现有参数更新为校正优化参数。

图12是根据本发明的一个实施例的图11的参数优化单元的详细构成的示意图。

如图11和图12所示，根据本发明的一个实施例的参数优化单元120可以包括大小参数变换单元1200、符号化参数变换单元1202、参数剪枝单元1204和尺度参数变换单元1206。

符号化参数变换单元1202将现有参数变换为符号化参数。大小参数变换单元1200将现有参数变换为对于每个通道具有单个值的大小参数。尺度参数变换单元1206将现有参数变换为尺度参数。

此外，参数剪枝单元1204对已变换的大小参数进行剪枝并生成优化参数。例如，当预定大小参数的值小于预设参考值时，剪枝相应通道的大小参数。

根据本发明的一个实施例所述参数剪枝单元1204可通过使用对于每个输入通道的大小参数的平均值和大小分布或对于每个输入和输出通道的大小参数的平均值和大小分布来计算参考值，且大小参数小于计算参考值时，通过将大小参数值设为零来省略相应通道的卷积计算。

在此外，当使用构成预定层的输入通道的大小参数的平均值和大小分布执行剪枝时，所述参数剪枝单元1204可以以层特定常数和输入通道的大小参数的平均值的乘积计算参考值，并且当预定输入通道的大小参数的值小于参考值时，可以通过将大小参数的值更改为零来对相应通道大小参数进行剪枝。

此外，当使用构成预定层的输入与输出通道的大小参数的平均值和大小分布执行剪枝时，所述参数剪枝单元1204可以以层特定常数与输入通道和输出通道的大小参数的平均值的乘积计算参考值，当预定输入通道的大小参数的值小于参考值时，通过大小参数设为零来对相应通道的大小参数进行剪枝。

虽然参考本发明的优选实施例具体示出和描述了本发明，但是本领域技术人员可以理解的是，在不脱离通过所附权利要求书定义的本发明的精神和范围的情况下，可以在形式和细节上在本发明中做出各种改变。应仅在描述性意义上被考虑优选实施例，而优选实施例不是出于限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由所附权利要求书限定，并且该范围内的所有差异将被解释为包括在本发明中。