具体实施方式

以下，参照附图，详细说明卷积神经网络判断根据提取方法及装置的实施方式。此外，在附图的说明中对同一要素标注同一符号，省略重复说明。本发明并非限定于这些例示。

图1是表示卷积神经网络的构成例的图。该图所示的构成例的卷积神经网络(CNN)10具有：输入层11、卷积层12、池化层13、卷积层14、池化层15、全结合层16及输出层17。CNN10可通过CPU(Central Processing Unit，中央处理单元)实现，也可通过可进行更高速处理的DSP(Digital Signal Processor，数字信号处理器)或GPU(Graphics ProcessingUnit，图形处理单元)实现。另外，CNN10具有存储各种数据及参数的内存。

卷积层12使滤波器32作用于输入至输入层11的输入数据列21，生成特征量图22。卷积层12使滤波器32相对于输入数据列21相对移动，在其各位置上进行输入数据列21与滤波器32的卷积运算，生成特征量图22。对于卷积层12而言，一般使用多个滤波器32，生成与该滤波器32同数量的特征量图22。

池化层13使通过卷积层12生成的特征量图22缩小，生成特征量图23。池化层13例如自特征量图22两个两个地提取数据，取得该二个数据的最大值或平均值，从而生成特征量图22的二分之一尺寸的特征量图23。

卷积层14使滤波器34作用于通过池化层13生成的特征量图23，生成特征量图24。卷积层14使滤波器34相对于特征量图23相对移动，在其各位置上进行特征量图23与滤波器34的卷积运算，从而生成特征量图24。

池化层15使通过卷积层14生成的特征量图24缩小，生成特征量图25。池化层15例如自特征量图24两个两个地提取数据，取得该二个数据的最大值或平均值，从而生成特征量图24的二分之一尺寸的特征量图25。

全结合层16使加权36作用于通过池化层15生成的特征量图25，生成特征量向量26。输出层17使加权37作用于通过全结合层16生成的特征量向量26，生成输出标签27。

将特征量图25的尺寸设为I，将特征量图的个数设为K，将第k特征量图的位置i的值设为A_i,k。将全结合层的权重36的尺寸设为I×K，全结合层的权重的个数设为M，将第m全结合层的权重中位置(i,k)的值设为Fw_i,k,m。特征量向量26的尺寸为M。将输出层的权重37的尺寸设为M，将输出层的权重的个数设为C，将第c输出层的权重中位置m的值设为G_c,m。输出标签27中标签c的值y_c以下述式(1)表示。

[数1]

基于将学习用数据输入至CNN10的输入层11时的输出层的输出标签27，和对应于该学习用数据的教师标签的对比，使CNN10学习。通过使用了多个学习用数据及教师标签的学习，而使滤波器32、滤波器34、全结合层的权重36及输出层的权重37优化。

当对已学习的CNN10的输入层11输入评价用数据时，该评价用数据由CNN10分类，其分类结果会显现于输出层的输出标签27。本实施方式的卷积神经网络判断根据的提取装置1及方法，提取所输入的评价用数据中成为基于CNN10的判断的根据的特征区域。

图2是表示卷积神经网络判断根据提取装置1的构成的图。该图中，除了卷积神经网络判断根据提取装置(以下，称为“CNN判断根据的提取装置”)1外，也表示CNN10的特征量图25、特征量向量26、输出层的输出标签27、全结合层的权重36及输出层的权重37。

CNN判断根据提取装置1可以通过具备CPU及内存等的计算机来实现，另外，具备显示输入数据及输出数据的液晶显示器等显示部。CNN判断根据提取装置1也可以通过计算机与CNN10一起实现。

CNN判断根据提取装置1具备贡献率计算部2及根据提取部3，优选为进一步具备显示部4。

贡献率计算部2求出全结合层的加权36相对于输出层17的任一输出标签的贡献率。第m全结合层的加权36相对于输出标签27中标签c的值y_c的贡献率β_c,m，作为y_c相对于Fw_i,k,m的变化量的比，以下述式(2)表示。

[数2]

根据提取部3基于输入至全结合层16的特征量图25、全结合层的加权36及上述贡献率β_c,m，提取CNN10的判断根据。表示CNN10的判断根据的数据列Q_c的第i个值Q_c,i作为将A_i,k、β_c,m及Fw_i,k,m的积针对k,m加总的值，以下述式(3)表示。数据列Q_c的尺寸为I。

[数3]

显示部4与输入至输入层11的输入数据建立对应，显示表示CNN10的判断根据的数据列Q_c。

卷积神经网络判断根据提取方法(以下，称为“CNN判断根据提取方法”)具备贡献率计算步骤及根据提取步骤，优选为进一步具备显示步骤。在贡献率计算步骤中，求出全结合层的加权36相对于输出层17的任一输出标签的贡献率β_c,m(式(2))。在根据提取步骤中，基于输入至全结合层16的特征量图25、全结合层的加权36及贡献率β_c,m，提取CNN10的判断根据(式(3))。在显示步骤中，与输入至输入层11的输入数据建立对应，显示表示CNN10的判断根据的数据列Q_c。

图3是表示卷积神经网络的其他构成例的图。该图所示的构成例的卷积神经网络(CNN)10A具有：输入层11、卷积层12、池化层13、全结合层16及输出层17。图1所示的CNN10具备2组卷积层及池化层，相对于此，图3所示的CNN10A具备1组卷积层及池化层。图2所示的CNN判断根据的提取装置1也可以应用于该图3所示构成的CNN。

接着，针对第1～第4实施例进行说明。第1及第2实施例中，使用具有图3所示构成的CNN。第3及第4实施例中，使用具有图1所示构成的CNN。

第1实施例如下所述。第1实施例中，使用模拟制作的具有简单形状的频谱，作为学习用数据及评价用数据。在学习用频谱及评价用频谱的任一个中，均将频道数设为1024，在100ch、500ch及1000ch的任一位置具有最大波峰。另外，在学习用频谱及评价用频谱的任一个中，在与100ch、500ch及1000ch的任一个均不同的三个位置的各个具有噪声波峰，进一步赋予白噪声。

最大波峰及噪声波峰均设为洛伦兹函数形状，将最大波峰值设为1而标准化，将噪声波峰值在0.1以上且小于1的范围内设为随机值。对应于学习用频谱的教师标签作为其学习用频谱的最大波峰位置(100ch、500ch及1000ch的任一个)，以一位有效向量(one-hotvector)(将正确的学习标签设为1，将其他标签设为0的排列)赋予。

第1实施例中，使用图3所示的构成的CNN。将滤波器32的尺寸设为8，将个数设为64。将全结合层的加权36的尺寸设为512×64，将个数设为128。将输出层的加权37的尺寸设为128，将个数设为3。使用学习用频谱及教师标签，使CNN学习。

对已学习的CNN输入评价用频谱，使CNN进行该评价用频谱的分类。根据本实施方式，自全结合层求出成为其分类的根据的特征区域(实施例)，且根据非专利文献3所记载的技术，自池化层求得成为其分类的根据的特征区域(比较例)。

图4～图6是表示第1实施例中所得的成为分类的根据的特征区域的图。各个图自上起依次显示输入的评价用频谱、显示通过比较例所得的成为分类的根据的特征区域的数据列、及显示通过实施例所得的成为分类的根据的特征区域的数据列Q_c(式(3))。

图4是表示将评价用频谱的最大波峰位置设为100ch的情况的例子。图5是表示将评价用频谱的最大波峰位置设为500ch的情况的例子。图6是表示将评价用频谱的最大波峰位置设为1000ch的情况的例子。

图4～图6的任一个中，在比较例中，成为分类的根据的特征区域不仅存在于最大波峰位置，也存在于噪声波峰位置。相对于此，在实施例中，成为分类的根据的特征区域仅存在于最大波峰位置。与比较例相比，在实施例中，更正确地显示成为分类的根据的特征区域。

第2实施例如下所述。第2实施例中，作为学习用数据及评价用数据，使用与第1实施例中所使用的学习用频谱及评价用频谱相同的数据。但是，评价用频谱不具有洛伦兹函数形状的噪声波峰。

在第2实施例中，使用与第1实施例中所使用的CNN的构成相同的数据。但是，将滤波器32的尺寸及个数设定为各种值，使CNN进行学习及分类，求出显示成为其分类的根据的特征区域的数据列Q_c(式(3))。

图7及图8是表示第2实施例中所得的成为分类的根据的特征区域的图。各个图是表示输入的评价用频谱，及显示通过实施例所得的成为分类的根据的特征区域的数据列Q_c(式(3))。

图7的(a)、(b)是表示将过滤波器个数固定为64，将滤波器尺寸设为8、16、128、1024的各值的情况的例子。图7的(b)是将图7的(a)的一部分放大显示。由该图可知，滤波器尺寸越接近频谱宽度，CNN越将输入的评价用频谱的最大波峰位置附近作为分的类的根据而注意。

图8的(a)、(b)是表示将滤波器尺寸固定为16，将滤波器个数设为8、64、256的各值的情况的例子。图8的(b)是将图8的(a)的一部分放大显示。由该图可知，滤波器个数越多，CNN越将接近输入的评价用频谱的最大波峰位置的位置作为分类的根据而捕捉。

该实施例显示能够进行滤波器的尺寸及个数的优化。

第3实施例如下所述。第3实施例中，作为学习用频谱及评价用频谱，使用市售的9种药剂A～I的各自的拉曼频谱。对于针对各药剂测定的拉曼频谱进行插值处理，在波数350cm^-1～1800cm^-1的范围内，制作1cm^-1刻度的频谱。

在学习用频谱及评价用频谱的任一个中，将频道数设为1451，将最大波峰设为1而标准化。另外，对于9种药剂的各个，将SN比不同的4种频谱作为学习用频谱。图9是表示第3实施例中所使用的9种药剂的各自的频谱的例子的图。

在第3实施例中，使用图1所示构成的CNN。将滤波器32的尺寸设为8，将个数设为64。将滤波器34的尺寸设为8，将个数设为64。将全结合层的加权36的尺寸设为363×64，将个数设为128。将输出层的加权37的尺寸设为128，将个数设为3。使用学习用频谱及教师标签，使CNN学习。

将与学习用频谱不同的其他频谱作为评价用频谱，输入至CNN，使CNN进行该评价用频谱的分类。自全结合层求出成为其分类的根据的特征区域。

图10～图18是表示第3实施例中所得的成为分类的根据的特征区域的图。各个图是表示输入的评价用频谱，及显示通过实施例所得的成为分类的根据的特征区域的数据列Q_c(式(3))。

图10是表示药剂A的情况的例子。图11是表示药剂B的情况的例子。图12是表示药剂C的情况的例子。图13是表示药剂D的情况的例子。图14是表示药剂E的情况的例子。图15是表示药剂F的情况的例子。图16是表示药剂G的情况的例子。图17是表示药剂H的情况的例子。图18是表示药剂I的情况的例子。

关于任一药剂，均显示于评价用频谱较强的波峰位置，存在成为分类的根据的特征区域。另一方面，在评价用频谱的较弱波峰位置，或者能看到评价用频谱的背景强度的位置，Q_c,i值较小。在观察药剂D的情况(图13)时，在能够将药剂D与其他8种药剂分离的波数360cm^-1附近，Q_c,i成为较大值。因此，根据本实施方式，可以确认可提取成为基于CNN的分类的根据的特征区域。

第4实施例如下所述。在第4实施例中，作为学习用频谱及评价用频谱，使用由以下20种氨基酸的各自的拉曼频谱制作的频谱。图19是表示第4实施例中所使用的20种氨基酸的各自的频谱的例子的图。

丙氨酸(Ala)、精氨酸(Arg)、天冬酰胺(Asn)、天门冬氨酸(Asp)、半胱氨酸(Cys)、谷氨酰胺(Gln)、谷氨酸(Glu)、甘氨酸(Gly)、组氨酸(His)、异亮氨酸(Ile)、亮氨酸(Leu)、赖氨酸(Lys)、蛋氨酸(Met)、苯丙氨酸(Phe)、脯氨酸(Pro)、丝氨酸(Ser)、苏氨酸(Thr)、色氨酸(Trp)、酪氨酸(Tyr)、缬氨酸(Val)

对于各氨基酸，对测定的拉曼频谱进行插值处理，在波数350cm^-1～1800cm^-1的范围内制作1cm^-1刻度的频谱。将20种氨基酸中的任意1种氨基酸作为主体，将其他任一种氨基酸作为客体，合成这些频谱。对各主体制作5个频谱，将最大波峰设为1而标准化。制作合计1900(＝20×19×5)个频谱。

针对学习用频谱，将主体的氨基酸的频谱与客体的氨基酸的频谱的混合比在1:0.1～1:0.5的范围内设为随机。教师标签是以主体的氨基酸的一位有效向量(one-hotvector)而赋予。对于评价用频谱，将主体的氨基酸的频谱与客体的氨基酸的频谱的混合比设为1:0.45。

在第4实施例中，使用与第3实施例中所使用的CNN的构成相同的CNN。使用学习用频谱及教师标签，使CNN学习。对CNN输入与学习用频谱不同的评价用频谱，使CNN进行该评价用频谱的分类。自全结合层求出成为其分类的根据的特征区域。

图20是表示第4实施例中所使用的丙氨酸(Ala)的纯频谱的图。图21及图22是表示第4实施例中所得的成为分类的根据的特征区域的图。

图21是表示将主体设为组氨酸(His)，将客体设为丙氨酸(Ala)的评价用频谱、表示将其输入至CNN时所得的成为分类的根据的特征区域的数据列Q_c((3式)、及组氨酸(His)的纯频谱。显示于主体的组氨酸(His)的频谱的较强波峰位置，存在成为分类的根据的特征区域。

另一方面，主体即丙氨酸(Ala)的纯频谱的较强波峰位置(波数850cm^-1附近)，Q_c,i为负值。即，如果评价用频谱中能看到的波数850cm^-1附近的波峰是对组氨酸(His)分类不必要的区域，则可理解为CNN进行学习。

图22是表示将主体设为亮氨酸(Leu)，将客体设为丙氨酸(Ala)的评价用频谱、表示将其输入至CNN时所得的成为分类的根据的特征区域的数据列Q_c((3式)、及亮氨酸(Leu)的纯频谱。亮氨酸(Leu)的纯频谱的SN比较差，但这种情况下，同样地，显示于主体即亮氨酸(Leu)的频谱的较强波峰位置，存在成为分类的根据的特征区域。

可以想到主体即亮氨酸(Leu)的纯频谱的较强波峰位置，在接近客体即丙氨酸(Ala)的纯频谱的较强波峰位置的波数850cm^-1附近，但评价用频谱中能看到的该波峰位置无助于亮氨酸(Leu)的分类。可以想到评价用频谱中能看到的其他波数475cm^-1附近及545cm^-1附近的波峰有助于亮氨酸(Leu)的分类。

对于其他主体及客体的组合，同样获得良好结果。因此，根据本实施方式，可以确认可提取成为基于CNN的分类的根据的特征区域。

本实施方式的CNN判断根据提取装置及CNN判断根据提取方法不限于输入数据为频谱的情况，也能够应用其他输入数据(例如图像数据)。根据本实施方式，即使在CNN的隐藏层较少的情况或卷积层所使用的滤波器的尺寸较小的情况，也可以提取输入数据中成为基于CNN的判断的根据的特征区域。另外，本实施方式的CNN判断根据的提取装置及CNN判断根据的提取方法，可以使CNN模型的设计及验证容易化，且可以保证可靠性，可以期待提供对于使用者而言容易理解的CNN模型。

再者，可以想到对于本实施方式的CNN判断根据提取装置及CNN判断根据提取方法而言，如果在混合频谱的分类中将同一教师标签附加于包含有同一种类的试料而使CNN学习，则可以提取其共通部位，此外，由于被认为会降低分类概率的部位可获得负值(第4实施例)，因此不仅使共通分量可视化，在真假判定等中，可以在不需要的含有物的指定中利用。

目前为止说明的实施方式及第1～第4实施例，是求出全结合层的权重36相对于输出层17的任一输出标签的贡献率，使用该贡献率提取CNN10的判断的根据的例子。如以下说明的实施方式以及第5及第6实施例，也可以求出特征量频谱26相对于输出层17的任一输出标签的贡献率，使用该贡献率提取CNN10的判断根据。

图23是表示卷积神经网络判断根据提取装置1A的构成的图。该图除卷积神经网络判断根据提取装置(CNN判断根据提取装置)1A外，也显示CNN10的特征量图25、特征量向量26、输出层的输出标签27、全结合层的权重36及输出层的权重37。

CNN判断根据提取装置1A也可通过具备CPU及内存等的计算机而实现，并且，具备显示输入数据及输出数据的液晶显示器等的显示部。CNN判断根据提取装置1A也可通过计算机与CNN10一起实现。

CNN判断根据提取装置1A，具备贡献率计算部2A及根据提取部3，优选为进一步具备显示部4。如果与图2所示的构成比较，则图23所示的CNN判断根据提取装置1A在取代贡献率计算部2，而具备贡献率计算部2A的方面不同。

贡献率计算部2A求出特征量向量26相对于输出层17的任一输出标签的贡献率。特征量向量26基于输入至全结合层的特征量图(A_i,k)及全结合层的权重(Fw_i,k,m)而生成。特征量向量26的第m要素F_m相对于输出标签27中标签c的值y_c的贡献率β_c,m，是作为y_c的变化量相对于F_m的变化量的比，以下述式(4)表示。

[数4]

根据提取部3基于输入至全结合层16的特征量图25、全结合层的加权36及上述贡献率β_c,m，提取CNN10的判断根据。显示CNN10的判断根据的数据列Q_c的第i个值Q_c,i作为将A_i,k、β_c,m及Fw_i,k,m的积针对k,m加总的值，以上述式(3)表示。

卷积神经网络判断根据提取方法(CNN的判断根据的提取方法)具备贡献率计算步骤及根据提取步骤，优选为进一步具备显示步骤。在贡献率计算步骤中，求出特征量向量26相对于输出层17的任一输出标签的贡献率β_c,m(式(4))。在根据提取装置中，基于输入至全结合层16的特征量图25、全结合层的加权36及贡献率β_c,m，提取CNN10的判断根据(式(3))。在显示步骤中，与输入至输入层11的输入数据建立对应，显示表示CNN10的判断根据的数据列Q_c。

接着，针对第5实施例及第6实施例进行说明。第5实施例与第3实施例相比，仅贡献率计算的方面不同，其他方面设为相同条件。另外，第6实施例与第4实施例相比，仅贡献率计算的方面不同，其他方面设为相同条件。但是，在将丙氨酸(Ala)设为主体的情况下，将精氨酸(Arg)设为客体，在将丙氨酸(Ala)以外的氨基酸设为主体的情况下，将丙氨酸设为客体。

在第3实施例及第4实施例中，求出全结合层的加权36相对于输出层17的任一输出标签的贡献率(上述式(2))，相对于此，在第5实施例及第6实施例中，求出特征量向量26相对于输出层17的任一输出标签的贡献率(上述式(4))。

图24是表示第3实施例中所得的成为分类的根据的特征区域的图。图25是表示第5实施例中所得的成为分类的根据的特征区域的图。第3实施例(图24)与第5实施例(图25)仅贡献率计算的方面不同，但提取相同的特征区域作为基于CNN的分类的根据。

图26是表示第4实施例中所得的成为分类的根据的特征区域的图。图27是表示第6实施例中所得的成为分类的根据的特征区域的图。第4实施例(图26)与第6实施例(图27)仅贡献率计算的方面不同，但提取相同的特征区域作为基于CNN的分类的根据。

另外，在第1实施例及第2实施例的各个中，在使用特征量向量26的贡献率(上述式(4))代替全结合层的加权36的贡献率(上述式(2))的情况下，也提取相同的特征区域作为基于CNN的分类的根据。

如上述那样，与使用全结合层的加权36相对于输出层17的任一输出标签的贡献率(上述式(2))的情况同样地，在使用特征量向量26相对于输出层17的任一输出标签的贡献率(上述式(4))的情况，在CNN的隐藏层较少的情况或卷积层所使用的滤波器的尺寸较小的情况下，也可以提取输入数据中成为基于CNN的判断的根据的特征区域。

本发明的卷积神经网络判断根据提取方法及装置并非限定于上述实施方式及构成例，而可以进行各种变化。

上述实施方式的卷积神经网络判断根据提取方法是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断根据的方法，其具备如下步骤：求出全结合层的加权相对于输出层的任一输出标签的贡献率的贡献率计算步骤；及基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据的根据提取步骤。

上述构成的卷积神经网络判断根据提取方法中，在贡献率计算步骤中，也可以构成为求出通过全结合层生成的特征量向量的贡献率，代替全结合层的加权的贡献率。特征量向量基于输入至全结合层的特征量图及全结合层的加权而生成。

上述构成的卷积神经网络判断根据提取方法中，也可以构成为进一步具备与输入至输入层的输入数据建立对应，显示根据的显示步骤。

上述实施方式的卷积神经网络判断根据提取装置是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断根据的装置，其具备：贡献率计算部，其求出全结合层的加权相对于输出层的任一输出标签的贡献率；及根据提取部，其基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据。

上述构成的卷积神经网络判断根据提取装置中，贡献率计算部也可以构成为求出通过全结合层生成的特征量向量的贡献率，代替全结合层的加权的贡献率。

上述构成的卷积神经网络判断根据提取装置也可以构成为进一步具备与输入至输入层的输入数据建立对应，显示根据的显示部。

产业上的可利用性

本发明可以使用作为CNN的隐藏层较少的情况下或卷积层所使用的滤波器的尺寸较小的情况下，也能够提取输入的数据中成为基于CNN的判断的根据的特征区域的方法及装置。

符号说明

1、1A……卷积神经网络的判断根据提取装置(CNN判断根据提取装置)；2、2A……贡献率计算部；3……根据提取部；4……显示部；10、10A……卷积神经网络(CNN)；11……输入层；12……卷积层；13……池化层；14……卷积层；15……池化层；16……全结合层；17……输出层；21……输入数据列；22～25……特征量图；26……特征量向量；27……输出层的输出标签；32、34……滤波器；36……全结合层的加权；37……输出层的加权。