具体实施方式

本公开的一个方式的神经网络具备：输入层，被输入输入信息；多个块，用于提取所述输入信息的特征量；以及输出层，输出提取出的特征量，所述多个块分别包括：残差块，由1个以上的第一卷积层和跨越所述1个以上的第一卷积层的连接即跳过连接的组合构成；以及连接块，所述连接块至少具有第二卷积层，且将所述1个以上的第一卷积层的输出和所述跳过连接的输出平均化。

根据该结构，能够实现在能够维持精度的同时能够进一步减少模型尺寸与运算量的神经网络。

在此，例如，也可以是，所述连接块也可以具备：第二卷积层，输入所述1个以上的第一卷积层的输出和所述跳过连接的输出；第一输出层，输入所述第二卷积层的输出；加权层，对所述第一输出层的输出赋予预先存储的权重；以及第三卷积层，输入所述加权层的输出。

根据该结构，能够减少为了维持精度所需的块的数量，因此能够减少模型尺寸和运算量。

另外，例如，也可以是，所述多个块中的每一个除了所述连接块的输出之外，还输出所述跳过连接的输出，所述连接块具备：第二卷积层，被输入所述1个以上的第一卷积层的输出和所述跳过连接的输出；第一输出层，被输入所述第二卷积层的输出；加权层，对所述第一输出层的输出赋予预先存储的权重；直连连接，将所述第一输出层和所述加权层进行直连；以及第三卷积层，被输入所述加权层的输出和所述直连连接的输出。

根据该结构，不仅能够减少为了维持精度所需的块的数量，还能够避免由于直连连接(shortcut connect)使连接块的输出梯度爆炸或者梯度发散，因此在维持精度的同时能够进一步减少模型尺寸和运算量。

在此，例如，所述第一输出层输出对所输入的所述第二卷积层的输出使用柔性最大值函数(Softmax函数)得到的值。

另外，本公开的一个方式的运算方法是神经网络中的多个块的运算方法，所述神经网络具备：输入层，被输入输入信息；所述多个块，用于提取所述输入信息的特征量；以及输出层，输出提取出的特征量，其中，所述运算方法包括：对残差块输入第一信息的步骤，所述残差块是构成所述块的残差块，且由1个以上的第一卷积层和跨越所述1个以上的第一卷积层的连接即跳过连接的组合构成；以及将由所述1个以上的第一卷积层提取的所述第一信息的特征量和由所述跳过连接输出的所述第一信息输入到连接块，并使所述第一信息的特征量和所述第一信息平均化的步骤，所述连接块是构成所述块的连接块，且至少具有第二卷积层。

以下说明的实施方式均表示本公开的一个具体例。因此，以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置以及连接方式等是一例，并非旨在限定本公开。另外，关于以下的实施方式中的构成要素中的、表示本公开的一个方式的实现方式的独立技术方案中没有记载的构成要素，作为任意的构成要素进行说明。本公开的实施方式并不限定于现行的独立技术方案，也可以通过其他独立技术方案来表现。

(实施方式)

以下，参照附图对实施方式进行说明。

[1.运算装置1]

图1是表示本实施方式的运算装置1的结构的一例的框图。

运算装置1由使用了已学习的NN(Neural Networks，神经网络)的计算机等实现，如图1所示由输入部2、处理部3以及输出部4构成。运算装置1在被输入输入信息时，将从输入信息中提取出的特征量作为运算结果输出。另外，输入信息例如是用于图像或影像等视觉课题的信息。

输入部2取得输入信息，将取得的输入信息输入到处理部3。在本实施方式中，输入部2将取得的输入信息输入到处理部3。

处理部3使用本实施方式的神经网络，从输入信息中提取特征量。在本实施方式中，处理部3使用已学习的神经网络3a，从输入信息中提取特征量。已学习的神经网络3a存储在处理部3所具有的存储部(未图示)中。另外，已学习的神经网络3a可以存储在云上，也可以经由互联网等通信网络而被处理部3使用。关于神经网络3a的结构在后面叙述。

输出部4将在处理部3中提取出的特征量作为运算结果输出。

[1-1.硬件结构]

图2是表示通过软件实现本实施方式的运算装置1的功能的计算机1000的硬件结构的一例的图。

如图2所示，计算机1000是具备输入装置1001、输出装置1002、CPU1003、内置存储器1004、RAM1005、读取装置1007、发送接收装置1008以及总线1009的计算机。输入装置1001、输出装置1002、CPU1003、内置存储器1004、RAM1005、读取装置1007和发送接收装置1008通过总线1009连接。

输入装置1001是输入按钮、触摸板、触摸面板显示器等成为用户接口的装置，受理用户的操作。另外，除了受理用户的接触操作以外，输入装置1001也可以是受理利用声音的操作、利用遥控器等的远程操作的结构。

内置存储器1004是闪存等。另外，内置存储器1004也可以预先存储用于实现运算装置1的功能的程序、以及利用了运算装置1的功能结构的应用程序(Application)中的至少一方。另外，内置存储器1004也可以存储已学习的神经网络3a。

RAM1005是随机存取存储器(Random Access Memory)，在执行程序或应用程序时利用于数据等的存储。

读取装置1007是从USB(Universal Serial Bus，通用串行总线)存储器等记录介质读取信息。读取装置1007从上述那样的记录有程序、应用程序的记录介质中读取该程序、神经网络3a、应用程序，并存储在内置存储器1004中。

发送接收装置1008是用于通过无线或有线进行通信的通信电路。发送接收装置1008例如也可以与连接于网络的服务器装置进行通信，从服务器装置下载上述那样的程序、神经网络3a、应用程序并存储在内置存储器1004中。

CPU1003是中央运算处理装置(Central Processing Unit)，将存储在内置存储器1004中的程序、应用程序复制到RAM1005中，并从RAM1005中依次读出该程序或应用程序所包含的命令并执行。

[1-2.神经网络3a]

图3是表示本实施方式的神经网络3a的结构的图。

如图3所示，本实施方式的神经网络3a具备：输入层10，被输入输入信息；中间层11，由用于提取输入信息的特征量的多个块111构成；以及输出层12，输出提取出的特征量。另外，以下，有时也将本实施方式的神经网络3a称为LVNet。以下，对具有块111的网络结构的模型进行说明。

[1-2-1.块111]

图4A是用于说明图3所示的块111的网络结构的概念图。

块111层叠而构成神经网络3a。如图4A所示，块111是由连接块112、用H^i-1表示的基本单位层(fundamental unit)和跳过连接构成。此外，块111在ResNet中被称为构建块(building block)。

基本单位层由1个以上的第一卷积层构成。在图4A所示的例子中，用H^i-1表示的基本单位层由用Conv_(i-1)表示的卷积层1111和用Conv_i表示的卷积层1112构成。卷积层1111以及卷积层1112在被安装时，如图4A所示，由进行Batch Normalization(批标准化，在图中为BN)的层、relu等激活函数(在图中为ACT)和卷积层(在图中为Weight)构成。此外，运算顺序并不限定于图4A所示的顺序。

跳过连接使用H^i-1表示的基本单位层旁通，将用H⁰表示的输入输入到连接块112。

连接块112在图4A中示出为CB^i-1(connection block)，将用H^i-1表示的基本单位层的输出和跳过连接的输出平均化。

此外，用H^i-1表示的基本单位层和跳过连接构成残差块。

图4B是概念性地表示由图4A所示的卷积层进行的运算的图。在图4B中，作为一例，示意性地示出在用H^i-1所示的基本单位层的Conv_(i-1)中进行的运算。

如图4B所示，输入到Conv_(i-1)的输入特征为张量，所述张量由下式表示：

[数式1]

输入特征的维度由下式表示：

[数式2]

w_(i-1)Xw_(i-1)Xw_(n-1)

进行卷积的内核(kernel)的内核尺寸由下式表示：

[数式3]

b_(i-1)Xb_(i-1)Xb_n

通过使用了内核的卷积运算而得到的特征映射由下式表示：

[数式4]

该特征映射成为Conv_(i)的输入特征，其维度由下式表示：

[数式5]

w_iXw_iXw_n

图4C是概念性地表示图4A所示的连接块112的结构的一例的图。

如图4C所示，连接块112由Conv_(i-1) ^(CB)、柔性最大值函数、Weights W_n ^CB和Conv_(i) ^(CB)等构成。

[1-2-2.块111网络结构的具体方式]

以下，使用图5，对图4A所示的块111的网络结构的具体方式进行说明。

图5是表示图4A所示的块111的网络结构的一个具体方式的图。

图5所示的块111具备残差块、连接块112A和加法部113。此外，块111也可以不具备加法部113。

残差块由1个以上的第一卷积层和跨越1个以上的第一卷积层的连接即跳过连接的组合构成。在图5所示的例子中，残差块由卷积层1111和卷积层1112、以及跨越卷积层1111和卷积层1112的连接即跳过连接的组合构成。此外，卷积层1111以及卷积层1112构成在图4A以及图4C中说明的基本单位层。

连接块112A是至少具有第二卷积层的连接块，且将1个以上的第一卷积层的输出和跳过连接的输出平均化。在图5所示的例子中，连接块112A由卷积层1121、输出层1122、权重1123、加权层1124、加法部1125和卷积层1121构成。另外，在图5所示的例子中，由于加法部1125不发挥功能，因此连接块112A也可以不具备加法部1125。

卷积层1121是第二卷积层的一例，被输入1个以上的第一卷积层的输出和跳过连接的输出。卷积层1121对所输入的1个以上的第一卷积层的输出和跳过连接的输出进行卷积而输出。在本实施方式中，卷积层1121例如在图5中表现为Conv_(CB)，被输入卷积层1112的输出和跳过连接的输出。卷积层1121将对所输入的卷积层1112的输出和跳过连接的输出进行卷积而得到的特征映射输出到输出层1122。此外，例如，在图4C中，卷积层1121表现为Conv_(i-1) ^(CB)，并且被堆叠并被输入用H^i-1表示的基本单位层的输出和作为跳过连接的输出的用H⁰表示的输入。

输出层1122是第一输出层的一例，输入第二卷积层的输出。更具体而言，输出层1122输出对所输入的第二卷积层的输出使用柔性最大值函数得到的值。在本实施方式中，输出层1122例如使用柔性最大值函数，根据从卷积层1112输出的特征映射，求出输出的发生概率，并输出到加权层1124。输出层1122例如在图5中表现为Softmax，例如在图4C中以使用柔性最大值函数而得到的发生概率的曲线图来表现。

权重1123预先存储权重(权重的集合)。存储在权重1123中的权重能够通过使用学习数据来学习连接块112A而得到。权重1123例如在图5中表现为Weights_(CB)，例如在图4C中表现为Weights W_n ^CB。

加权层1124对输出层1122的输出赋予预先存储的权重。在本实施方式中，加权层1124通过将预先存储在权重1123中的权重乘以输出层1122的输出来赋予权重。由此，能够进行分散于残差块的输出的加权，因此能够提高残差块的输入与输出的非线性。

卷积层1126是第三卷积层的一例，被输入加权层1124的输出。在本实施方式中，卷积层1126输出对加权层1124的输出进行卷积而得到的特征映射。卷积层1126通过对加权层1124的输出进行卷积，能够对加权层1124的输出进行下采样(down sampling)。此外，卷积层1126例如在图4C中表现为Conv_i ^(CB)。

图6是表示图4A所示的块111的网络结构的另一具体方式的图。对与图4A、图4C以及图5等相同的要素标注相同的附图标记，省略详细的说明。

图6所示的块111B相对于图5所示的块111不同之处在于，连接块112B的结构与跳过连接的连接目的地增加。以下，以不同之处为中心进行说明。

除了连接块112B的输出之外，块111B还输出跳过连接的输出。更具体而言，在块111B中，跳过连接不仅跨越卷积层1111以及卷积层1112而与连接块112的卷积层1121连接，还跨越连接块112B而与连接块112B的输出目的地的加法部113连接。由此，向跳过连接的输入除了输出到连接块112的卷积层1121之外，还输出到块111B的下一个块111B。因此，块111B也具有残差块的功能，能够提高块111的输入与输出的非线性，避免梯度损失，因此能够进一步提高精度。

连接块112B与图5所示的连接块112A相比，还具备直连连接。连接块112B与连接块112A同样地，是至少具有第二卷积层的连接块，且将1个以上的第一卷积层的输出和跳过连接的输出平均化。

直连连接将第一输出层和加权层直连。在本实施方式中，直连连接将卷积层1121的输出、输出层1122和加权层1124直连，将卷积层1121的输出与加法部1125连接。

加法部1125将经由直连连接输出的卷积层1121的输出与加权层1124的输出相加。由此，卷积层1121的输出被加权层1124强制地非线性化，若直接输出至卷积层1126，则即使在由于不稳定而产生梯度爆炸或发散的情况下，也能够避免梯度爆炸或发散。

卷积层1126是第三卷积层的一例，被输入加权层1124的输出和直连连接的输出。在本实施方式中，卷积层1126输出对加法部1125的输出进行卷积而得到的特征映射。卷积层1126能够通过对加法部1125的输出进行卷积来对加法部1125的输出进行下采样。

[1-3.神经网络3a的安装例]

接着，对神经网络3a的安装例进行说明。

如上所述，神经网络3a在层叠的块111中分别包含残差块。因此，神经网络3a能够通过利用具有残差块的ResNet的网络结构来安装。另外，神经网络3a由于在层叠的块111中分别包含连接块112A或112B，因此即使利用由更浅的层构成ResNet的网络结构安装，也能够维持与ResNet同等的精度。

图7是概念性地表示等价ResNet10的网络结构的安装例的图。如图7所示，等价ResNet10层叠有用Building Block1～Building Block4所示的4个Building Block。另外，Building Block分别由2个卷积层和跳过连接的组合构成。因此，等价ResNet10是上述非专利文献1所公开的由更浅的层构成ResNet的网络结构，具有使用10层的卷积层构成的网络结构。

图8是概念性地表示本实施方式的神经网络3a的安装例的图。另外，图8所示的神经网络3a是在上述中被称为LVNet的网络结构的一例。

更具体而言，图8所示的神经网络3a具有在图7所示的等价ResNet10的BuildingBlock1～Building Block4中分别追加了上述的连接块112B的网络结构。

另外，本实施方式的神经网络3a的安装例不限于图8所示的情况。也可以在ResNet34的Building Block的每一个中，或者在等价ResNet18的Building Block的每一个中，具有追加了上述的连接块112B的网络结构。

在此，对ResNet34及等价ResNet18的网络结构进行说明。

图9A是概念性地表示ResNet34的网络结构的安装例的图。如图9A所示，ResNet34层叠有用Building Block1～Building Block4表示的4个Building Block。另外，BuildingBlock分别由多个卷积层和多个跳过连接的组合构成。在Building Block1中构成为6层的卷积层，在Building Block2中构成为8层的卷积层，在Building Block3中构成为12层的卷积层，在Building Block4中构成为6层的卷积层。跳过连接构成为跨越2层的卷积层。因此，ResNet34具有使用34层的卷积层构成的网络结构。

另外，图9B是概念性地表示等价ResNet18的网络结构的安装例的图。如图9B所示，等价ResNet18层叠有用Building Block1～Building Block4所示的4个Building Block。另外，Building Block分别由4个卷积层和跨越2层卷积层的跳过连接的组合构成。即，等价ResNet18是使上述非专利文献1所公开的由更浅的层构成ResNet的网络结构，具有使用18层的卷积层构成的网络结构。

[2.运算装置1的动作]

以下，对如以上那样构成的运算装置1的动作的一例进行说明。

图10是表示本实施方式中的运算装置1的动作概要的流程图。图10示出了使构成神经网络3a的多个块111的1个块111进行的运算处理。

首先，运算装置1将第一信息作为输入信息输入到构成神经网络3a的块111的残差块(S10)。更具体而言，运算装置1向由1个以上的第一卷积层和跨越1个以上的第一卷积层的连接即跳过连接的组合构成的残差块输入第一信息。此外，在块111符合BuildingBlock1的情况下，第一信息是输入信息。在块111不符合Building Block1的情况下，第一信息是包含块111的Building Block的前1个Building Block的输出。

接着，运算装置1将由残差块的1个以上的第一卷积层提取出的第一信息的特征量和通过残差块的跳过连接而输出的第一信息输入到连接块，使第一信息的特征量和第一信息平均化(S11)。

[3.效果等]

根据本实施方式，通过在ResNet等中已知的残差块中追加连接块，能够通过进行分散于残差块的输出的加权等来使残差块的输出平均化，能够提高残差块的输入与输出的非线性。因此，能够减少为了维持精度所需的块的数量，因此能够实现在维持精度的同时能够进一步减少模型尺寸和运算量的神经网络。

另外，根据本实施方式，连接块还具备直连连接，由此能够提高块的输入与输出的非线性，避免梯度损失。因此，不仅能够减少为了维持精度所需的块的数量，还能够避免通过直连连接使连接块的输出梯度爆炸或发散，因此在维持精度的同时能够进一步减少模型尺寸和运算量。

另外，在维持精度的同时能够进一步减少模型尺寸和运算量，因此具有在安装于集成电路并设置于设备主体的方式、即所谓的边缘AI中的利用变得容易的效果。

例如，在接收电视机等的广播波并对接收到的广播波进行处理的情况下，需要进行图像识别等运算量大的处理。因此，在使用ResNet等以往的神经网络的情况下，以往的神经网络被安装于云上(所谓的云AI)，需要经由互联网等网络进行通信。而且，在将以往的神经网络安装于云上的情况下，产生基于该通信量或者通信的广播的延迟。另一方面，在使用LVNet等本实施方式的神经网络的情况下，本实施方式的神经网络在维持精度的同时能够进一步减少模型尺寸和运算量，因此适于集成电路中的安装，能够设置于电视机等的设备主体。因此，本实施方式的神经网络即使在例如需要经由互联网等网络进行通信的情况下，也能够削减通信量，因此能够抑制通信量或者通信所引起的延迟。

(实施例)

对运算装置1所使用的本实施方式的神经网络3a的有效性进行了验证，因此将其实验结果作为实施例进行说明。

在本实施例中，使用收集到的2个实验数据即测试A以及测试B来评价运算装置1所使用的神经网络3a的性能。

＜实验数据＞

图11是表示本实施例的数据库的概要的图。

在本实施例的数据库中，保存了针对图11所示的动画、运动、音乐、其他这样的4个类别收集到的图像。另外，在其他类别中包含天气、风景、对话这样的类别。

保存在数据库中的图像例如是从使用YouTube(注册商标)、Google(注册商标)等各种资源收集到的100万以上的高分辨率的图像生成的。另外，数据库中保存的图像被分为作为训练数据(Training)的96K图像和作为评价数据(Validation)的7K图像。

另外，测试A由类(class)内的方差少的图像群构成，测试B由类间的方差小的图像群构成。

＜实验条件＞

在本实验中，使用GPU(Graphics Processing Unit，图形处理单元)进行8小时的对象神经网络的学习。本实验中的学习通过以下的参数进行。即，将学习率(Learningrate)设定为0.025，按每10个时期(epoch)设定为一半。另外，本实验中的学习是在使用动量(momentum)的最优化算法(Optimizer)的批梯度下降法(Batch gradient descent)中设定为0.9来进行的。

＜实验结果＞

图12是表示实施例的实验结果的图。更具体而言，图12是表示使用本实施例的测试A以及测试B来评价本实施方式的神经网络3a的精度和比较例的神经网络的精度的实验结果的图。在图12中，一并示出了本实施方式以及比较例的神经网络的模型尺寸、运算量(模型的复杂度)、参数以及存储器访问。另外，比较例的神经网络是ResNet34和ResNet18。该ResNet34相当于图9A所示的ResNet34，该ResNet18相当于图9B所示的等价ResNet18。本实施方式的神经网络3a表示为LR10_CB128和LR10_CB128_SH。LR10_CB128_SH相当于LVNet即具有图8所示的网络结构的模型。LR10_CB128相当于具有将图8所示的LVNet的连接块112B变更为图5所示的连接块112A的网络结构的模型。

如图12所示，可知比较例的神经网络的ResNet34和ResNet18与本实施方式的神经网络3a的LR10_CB128和LR10_CB128_SH中的精度相同。

另外，如图12所示，可知本实施方式的神经网络3a的存储器尺寸和运算量(计算的复杂度)与比较例的神经网络的存储器尺寸和运算量(计算的复杂度)相比大幅削减。进而，也可知，LR10_CB128_SH即图8所示的具有网络结构的模型即LVNet与其他所有的神经网络相比，相对而言发挥最高的性能。例如，LR10_CB128_SH的模型尺寸和运算量(FLOPs)是ResNet18的模型尺寸的8.2％和运算量的6.3％。即，可知与ResNet18相比，LR10_CB128_SH的模型尺寸被削减了91.8％，运算量(FLOPs)被削减了92.2％。

如上所述，根据本实施方式，能够实现在维持与ResNet同等的精度的同时能够进一步减少模型尺寸和运算量的神经网络3a。

(其他实施方式的可能性)

以上，基于实施方式对本发明的一个方式的神经网络、运算装置以及运算方法进行了说明，但本公开并不限定于这些实施方式。只要不脱离本公开的主旨，将本领域技术人员想到的各种变形实施于本实施方式的方式、或者将不同的实施方式中的构成要素组合而构建的方式也包含于本公开的范围内。例如，以下的情况也包含在本公开中。

(1)具体而言，构成上述运算装置的构成要素的一部分或全部也可以是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元中存储有计算机程序。所述微处理器按照所述计算机程序进行动作，由此各装置实现其功能。在此，计算机程序是为了实现规定的功能而组合多个表示对计算机的指令的指令代码而构成的。

(2)构成上述运算装置的构成要素的一部分或全部也可以由1个系统LSI(LargeScale Integration，大规模集成电路)构成。系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体而言，是包含微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中存储有计算机程序。所述微处理器按照所述计算机程序进行动作，由此系统LSI实现其功能。

(3)构成上述运算装置的构成要素的一部分或者全部也可以由能够装卸于各装置的IC卡或者单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以设为包含上述的超多功能LSI。微处理器按照计算机程序进行动作，由此，所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有防篡改性。

产业上的可利用性

本公开能够利用于神经网络、运算方法以及程序，特别是能够利用于即使安装于资源受限的硬件平台也能够对视觉课题发挥优异的性能的神经网络、运算方法以及程序。

附图标记说明

1 运算装置

2 输入部

3 处理部

3a 神经网络

4 输出部

10 输入层

11 中间层

12、1122 输出层

111、111B 块

112、112A、112B 连接块

113、1125 加法部

1111、1112、1121、1126 卷积层

1123 权重

1124 加权层