具体实施方式

下面将参考附图来描述示例实施例。在示例实施例中，为相同或等同的元素指配相同的附图标记，并省略赘述。

<第一示例实施例>

图1是示出第一示例实施例中的学习设备示例的框图。在图1中，学习设备10包括光学转换单元11、感测单元13和控制单元(控制设备)15。

光学转换单元11接收(输入)来自学习对象(例如，学习图像)的光，并根据参数的配置值使用所接收(输入)的光来输出光。例如，光学转换单元11包括相互独立地设定参数的配置值的光学器件12-1至12-N(N是2或更多的自然数)。下面，当光学器件12-1至12-N不彼此作区分时，可以将光学器件12-1至12-N统称为光学器件12。光学器件12-1至12-N可以是彼此相同类型的光学器件，或者可以包括多种类型的光学器件。例如，光学转换单元11执行以下中的至少一个作为对接收(输入)光的处理：衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理、以及偏振提取处理。

感测单元13感测从光学转换单元11所输出的光。感测单元13例如是图像传感器。即，感测单元13将感测到的光学转换成电信号并将所获得的电信号输出到控制单元15。应当指出，在图1中，光学转换单元11和感测单元13通过虚线相互连接，并且虚线表示光路。

控制单元15包括估计单元15A和更新单元15B。

估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。配置问题例如是图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成或三维图像生成。即，估计单元15A是根据配置问题执行图像分析处理的功能单元。例如，当配置问题是识别红色对象时，如果学习图像包括红色对象的图像，则估计单元15A形成并输出“1”作为估计结果，而如果学习图像不包括红色对象的图像，则估计单元15A形成并输出“0”作为估计结果。此外，例如，当配置问题是生成光场时，估计单元15A形成并输出光场作为估计结果。

更新单元15B基于估计单元15A的估计结果来计算光学转换单元11的参数的更新值，并用计算出的更新值来更新光学转换单元11的参数的配置值。

如上所述，根据第一示例实施例，在学习设备10中，光学转换单元11接收(输入)来自学习对象的光，并根据参数的配置值使用所接收(输入)的光来输出光。感测单元13感测从光学转换单元11所输出的光。估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。更新单元15B基于估计单元15A的估计结果来计算光学转换单元11的参数的更新值，并用计算出的更新值来更新光学转换单元11的参数的配置值。光学转换单元11包括相互独立地设定参数的配置值的光学器件12-1至12-N(N是2或更多的自然数)。

通过学习设备10的配置，可以学习包括与光学器件12-1至12-N(N为2或更多的自然数)相同的多个光学器件、感测单元和估计单元的估计设备(未示出)中的多个光学器件中设定的参数的配置值。由于估计设备(未图示)能够将包含更多信息的光用于通过多个光学器件的估计处理，与光学器件的数目为一个的情况相比，估计设备(未示出)能够更准确地估计配置问题的答案。即，根据学习设备10，可以学习在能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值。应当指出，在估计设备(未示出)中，硬件神经网络能够由多个光学器件来实现。因此，能够减少估计设备(未示出)的估计单元的计算量，故该估计设备(未示出)也能应用于处理能力较差的边缘终端。

<第二示例实施例>

第二示例实施例涉及更具体的示例实施例。

<学习设备的配置例>

图2是示出第二示例实施例中的学习设备示例的框图。在图2中，学习设备20包括光学转换单元11、感测单元13、显示单元21和控制单元(控制设备)22。控制单元22包括估计单元22A、更新单元22B和学习控制单元22C。

显示单元21在学习控制单元22C的控制下显示学习图像。这就促使对应于学习图像的光被输入到光学转换单元11。应当指出，在图2中，显示单元21和光学转换单元11通过虚线相互连接，并且该虚线表示光路。

光学转换单元11包括如第一示例实施例中所述的光学器件12-1至12-N(N是2或更多的自然数)。这里，作为示例，光学器件12-1至12-N包括液晶器件，并且将在假设光学器件12-1是液晶器件的情况下予以描述。

光学器件12-1例如包括第一偏振片、偏振方向从第一偏振片的偏振方向旋转90°的第二偏振片、滤色器以及夹置于第一偏振片与第二偏光片之间的液晶单元。通过控制施加于液晶单元的电信号(即，参数的配置值)，例如能够控制液晶单元的透光率。该控制能够在液晶单元的逐像素基础上执行控制。即，液晶器件能够输出光，其中在逐像素基础上强调根据参数的配置值的光学特性。

替代地，光学器件12-1具有液晶单元。通过控制施加于液晶单元的电信号(即，参数的配置值)，可以控制液晶单元中液晶的螺旋结构，可以控制选择性反射的光的波长。该控制能够在液晶单元的逐像素基础上执行控制。即，液晶器件能够输出光，其中在逐像素基础上强调根据参数的配置值的光学特性。

在光学器件12中，例如，作为液晶器件的附加或作为液晶器件的替代，可以使用液体透镜、可变形镜、微通道板型光电倍增管等。液体透镜是一种能够通过电信号调节焦距的器件。可变形镜是一种能够通过电信号控制反射方向的器件。微通道板型光电倍增管是一种在器件内部将入射光学转换成电子并在内部放大电子以输出比入射光更强光的器件。

学习控制单元22C控制对光学转换单元11中参数的配置值的学习。例如，学习控制单元22C切换在显示单元21上显示的学习图像。在对光学转换单元11中参数的配置值的学习处理中，学习控制单元22C可以使用通过光学模拟所获得的参数值作为参数的初始值。这就允许对通过要执行的光学模拟所获得的参数的配置值执行微调。在此情况下，例如，学习控制单元22C可以使用通过对光学器件12-1至12-N中的每一个建模所获得的光学模型来进行模拟，通过误差反向传播法计算梯度，并优化光学模型的参数。该参数值用作上述初始值。应当指出，当估计单元22A包括神经网络时，学习控制单元22C可以控制神经网络的学习。

正如第一示例实施例的估计单元15A，估计单元22A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。估计单元22A例如包括神经网络。

更新单元22B使用与估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算梯度。然后，更新单元22B基于计算出的梯度来计算参数的更新值，并用计算出的更新值来更新光学转换单元11的参数的配置值。更新单元22B可以更新估计单元22A中所包括的神经网络的参数(权重或偏差)。对于估计单元22A中所包括的神经网络的参数(权重或偏差)的更新处理中的梯度计算，能够使用在神经网络的学习中所使用的误差反向传播法。

因为光学转换单元11中的光输入/输出现象发生在控制单元22(即，计算机)之外，无法使用在神经网络的学习中所使用的误差反向传播法。因此，更新单元22B使用随机数来形成扰动向量，并使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数和所形成的扰动向量来计算梯度。然后，更新单元22B基于计算出的梯度来计算参数的更新值，并用计算出的更新值来更新光学转换单元11的参数的配置值。

在该梯度计算中，参数向量用“p”表示，且其随机数扰动向量用“e”表示。当光学转换单元11的整个神经网络为f(x,p)时，更新单元22B针对输入图像批次x计算f(x,p)和f(x,p+e)。在一般的梯度计算中，因为梯度是通过对参数向量p的每个元素的标量值pi独立执行计算而获得，因此需要与参数的元素数相同的运算次数。另一方面，在随机数扰动的计算中，因为扰动e是通过向量来计算，因此运算次数仅为2次。相反，更新单元22B用随机数来生成扰动向量e。例如，更新单元22B使用伯努利分布来计算随机数。结果，扰动向量e的每个元素均取值为-1或1。更新单元22B能够通过将“e”乘以超参数a来控制梯度计算的差分宽度。对于随机数，可以在每次迭代中使用相同的随机数，也可以在每次迭代中使用不同的随机数。随机数扰动不仅能够应用于向量，而且能够应用于矩阵和三层或更多层的张量。对于梯度的更新，例如可以使用随机梯度下降法、Adam等。对于随机数的计算，除了伯努利分布之外，还可以使用以0为平均值的均匀分布或高斯分布。

<学习设备的操作例>

现将描述具有上述配置的学习设备20的处理操作的示例。图3是示出第二示例实施例中的学习设备的处理操作示例的流程图。

学习控制单元22C针对光学转换单元11设定参数的初始值(步骤S101)。如上所述，通过光学模拟所获得的参数值可以用作参数的初始值。

学习控制单元22C促使显示单元21显示学习图像(步骤S102)。这就使得对应于学习图像的光被输入到光学转换单元11。

光学转换单元11接收(输入)来自学习图像的光，并根据参数的配置值使用所接收(输入)的光来输出光(步骤S103)。

感测单元13感测从光学转换单元11所输出的光(步骤S104)。

估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果(步骤S105)。

更新单元22B使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算梯度(步骤S106)。

学习控制单元22C判定是否满足结束条件(步骤S107)。例如，如果更新单元22B本次计算的梯度的符号与上次计算的梯度的符号不同，则可视为达到目标函数的最小值(或局部最小值)，故学习控制单元22C判定满足结束条件。当满足结束条件时(步骤S107是)，处理流程结束。

当不满足结束条件时(步骤S107否)，学习控制单元22C促使更新单元22B基于计算出的梯度来计算参数的更新值，并用计算出的更新值来更新光学转换单元11的参数的配置值(步骤S108)。

学习控制单元22C切换学习图像并促使显示单元21显示切换后的图像(步骤S109)。

应当指出，在上文描述中，在对每单个图像进行学习的前提下予以描述，但不限于此，并可以执行批量学习或小批量学习。

<第三示例实施例>

在上述第二示例性实施例中，已经在使所有光学器件12-1至12-N在一定时成为参数更新对象器件的前提下予以描述。另一方面，第三示例实施例涉及在光学器件12-1至12-N当中顺序地切换更新对象器件的示例实施例。

图4是示出第三示例实施例中的学习设备示例的框图。在图4中，学习设备30包括控制单元(控制设备)31。控制单元31包括更新单元31A和学习控制单元31B。

学习控制单元31B在光学器件12-1至12-N当中顺序地切换更新对象器件，根据更新对象器件的切换来切换在显示单元21上显示的学习图像，并促使更新单元31A针对每个更新对象器件更新参数的配置值。

这里，假设所有光学器件12-1到12-N皆为液晶器件。然后，学习控制单元31B从光学器件12-1至12-N当中选择更新对象器件。学习控制单元31B将更新对象器件以外的光学器件12-1至12-N的参数的配置值设定为最大透光率。然后，学习控制单元31B促使更新单元31A通过误差反向传播法使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算更新对象器件的梯度。这里，更新目标器件以外的光学器件12的参数的配置值被设定为最大透光率，因此能够认为从光学转换单元11输出的光不受更新对象器件以外的光学器件12影响。因而，由于能够量化更新对象器件的输入和输出，能够使用误差反向传播法来计算梯度。学习控制单元31B优化一个更新对象器件的参数，然后切换更新对象器件，并推进对切换后的更新对象器件的参数的学习。即，这里以优化堆叠自动编码器的方式学习光学器件12-1至12-N的参数。

应当指出，学习控制单元31B可以推进对一个更新对象器件的批量学习，当批量学习完成时，随机选择尚未学习的光学器件12作为下一个更新对象器件，并推进对所选择的更新对象器件的学习。

<第四示例实施例>

第四示例实施例涉及一种估计设备，其中设定由第一示例实施例至第三示例实施例中描述的学习设备学习的参数值。

图5是示出第四示例实施例中的估计设备示例的框图。在图5中，估计设备50包括光学转换单元51、感测单元53、控制单元(控制设备)55和获取单元57。

光学转换单元51根据参数的配置值使用所接收(输入)的光来输出光。光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N(N是2或更多的自然数)。光学器件52-1至52-N分别对应于第一示例实施例至第三示例实施例的光学器件12-1至12-N，并且由学习设备10、20或30学习的参数值被设定。即，光学转换单元51具有如第一示例实施例至第三示例实施例的光学转换单元11中的配置。

感测单元53感测从光学转换单元51所输出的光。即，感测单元53具有如第一示例实施例至第三示例实施例的感测单元13中的配置。

控制单元55包括估计单元55A和设定单元55B。

估计单元55A基于由感测单元53感测到的光来形成对配置问题的答案的估计结果。即，估计单元55A具有与第一示例实施例至第三示例实施例的估计单元15A和22A相同的配置。

设定单元55B针对光学转换单元51的光学器件12-1至12-N设定由获取单元57获取的参数值。

获取单元57获取由学习设备10、20或30学习的参数值。获取单元57可以是通过有线通信或无线通信从学习设备10、20或30获取参数值的通信单元。替代地，获取单元57可以是连接估计设备50与学习设备10、20或30的线缆所连接到的接口单元。通过获取单元57获取由学习设备10、20或30学习的参数值，例如能够下载待针对光学器件52-1至52-N设定的参数值。本实施例中的光学器件处于计算机之外，因此在器件出厂时就设定了参数值，并且能够禁止在边缘终端直接访问该参数。这样就不可能入侵边缘终端的参数。

如上所述，根据第四示例实施例，在估计设备50中，光学转换单元51根据参数的配置值使用所接收(输入)的光来输出光。感测单元53感测从光学转换单元51所输出的光。估计单元55A基于由感测单元53感测到的光来形成对配置问题的答案的估计结果。光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N(N是2或更多的自然数)。

在估计设备50的配置中，光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N，因此与存在一个光学器件的情况相比，包含更多信息的光可用于多个光学器件的估计处理。结果，估计设备50能够更准确地估计配置问题的答案。因为能够通过光学器件52-1至52-N来实现硬件神经网络，能够减少估计单元55A的计算量。这样即可将估计设备50应用于处理能力较差的边缘终端。

<其他示例实施例>

<1>第一示例实施例至第四示例实施例的光学转换单元11和51可以在感测单元13和53的曝光时间内将参数的配置值从第一配置值切换到第二配置值。例如，在感测单元13的曝光时间内，光学转换单元11在针对全部光学器件12-1至12-N设定由更新单元15B、22B或31A更新的参数值的状态与将光学器件12-1至12-N中的一些光学器件的参数值切换到最大透光率的状态之间进行切换。这允许感测单元13表达两种状态下的图像相加的图像。即，能够通过该操作来表达神经网络中的相加层。替代地，代替相加，上述两种状态下的图像可以并排布置在感测单元13中。这允许表达神经网络中的连接层。根据这样的方法，即可在U-Net等中使用跳跃连接。这同样适用于光学转换单元51和感测单元53。

<2>图6是示出控制设备的硬件配置示例的示图。在图6中，控制设备100包括处理器101和存储器102。处理器101可以例如是微处理器、MPU(微处理单元)或CPU(中央处理单元)。处理器101可以包括多个处理器。存储器102由易失性存储器和非易失性存储器的组合组成。存储器102可以包括远离处理器101设置的存储。在此情况下，处理器101可以经由I/O接口(未示出)访问存储器102。

第一示例实施例至第四示例实施例的控制设备(控制单元)15、22、31和55能够各自具有图6所示的硬件配置。第一示例实施例至第四示例实施例的控制设备15、22、31和55的估计单元15A、22A和55A、更新单元15B、22B和31A、学习控制单元22C和31B以及设定单元55B可以通过处理器101读取并执行存储器102中存储的程序来实现。该程序能够使用各种类型的非暂时性计算机可读介质来存储并提供给控制设备15、22、31和55。非暂时性计算机可读介质的示例包括磁记录介质(例如，软盘、磁带和硬盘驱动器)和磁光记录介质(例如，磁光盘)。另外，非暂时性计算机可读介质的示例包括CD-ROM(只读存储器)、CD-R和CD-R/W。另外，非暂时性计算机可读介质的示例包括半导体存储器。半导体存储器例如包括掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM和RAM(随机存取存储器)。程序可以通过各种类型的暂时性计算机可读介质提供给控制设备15、22、31和55。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质能够经由诸如电线和光纤的有线通信路径或无线通信路径将程序提供给控制设备15、22、31和55。

尽管上文已经参照示例实施例描述了本申请的发明，但本申请的发明不限于上述。在本发明的范围内，能够对本发明的配置和细节作出本领域技术人员能够理解的各种变更。

部分或全部上述示例实施例可描述为以下附注，但不限于以下附注。

(附注1)

一种学习设备，包括：

光学转换装置，用于接收来自学习对象的光，并且使用所接收的光以根据参数的配置值来输出光；

感测装置，用于感测从所述光学转换装置所输出的光；

估计装置，用于基于感测到的光来形成对配置问题的答案的估计结果；以及

更新装置，用于基于所述估计设备的估计结果来计算所述参数的更新值，并用计算出的更新值来更新所述参数的配置值，

其中，所述光学转换装置包括其中所述参数的配置值是被相互独立地设定的多个光学器件。

(附注2)

根据附注1所述的学习设备，进一步包括学习控制装置，用于在所述多个光学器件当中顺序地切换更新对象器件，根据所述更新对象器件的切换来切换所述学习对象，并促使所述更新装置针对每个更新对象器件更新所述参数的配置值。

(附注3)

根据附注2所述的学习设备，其中，所述学习控制装置控制每个更新对象器件的批量学习，并从所述多个光学器件中随机选择所述更新对象器件。

(附注4)

根据附注2或3所述的学习设备，其中，所述更新装置使用与在所述估计装置的估计结果与正确答案之间的误差相关的目标函数来通过误差反向传播法计算梯度，基于计算出的梯度来计算所述参数的更新值，并用计算出的更新值来更新所述参数的配置值。

(附注5)

根据附注1所述的学习设备，其中，所述更新装置使用随机数来形成扰动，使用与在所述估计装置的估计结果与正确答案之间的误差相关的目标函数和所形成的扰动来计算梯度，基于计算出的梯度来计算所述参数的更新值，并用计算出的更新值来更新所述参数的配置值。

(附注6)

根据附注1至5中任一项所述的学习设备，其中，

所述多个光学器件包括液晶器件，且

所述更新装置在所述液晶器件的逐像素基础上更新所述参数的配置值。

(附注7)

根据附注6所述的学习设备，其中，所述液晶器件输出光，在所述光中在逐像素基础上强调根据所述参数的配置值的光学特性。

(附注8)

根据附注1至7中任一项所述的学习设备，其中，所述光学转换装置在所述感测装置的曝光时间内将所述参数的配置值从第一配置值切换到第二配置值。

(附注9)

根据附注1至8中任一项所述的学习设备，其中，

所述估计装置包括神经网络，且

所述更新装置进一步更新所述神经网络的参数。

(附注10)

根据附注1至9中任一项所述的学习设备，其中，使用通过光学模拟所获得的参数值作为在学习处理中所述参数的配置值的初始值。

(附注11)

根据附注1至10中任一项所述的学习设备，其中，所述光学转换装置执行以下中的至少一种作为对接收光的处理：衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理、以及偏振提取处理。

(附注12)

根据附注1至11中任一项所述的学习设备，其中，所述配置问题为图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成或三维图像生成。

(附注13)

一种估计设备，包括：

光学转换装置，用于使用所接收的光以根据参数的配置值来输出光；

感测装置，用于感测从所述光学转换装置所输出的光；以及

估计装置，用于基于感测到的光来形成对配置问题的答案的估计结果，

其中，所述光学转换装置包括所述参数的配置值是被相互独立地设定的多个光学器件。

(附注14)

一种学习方法，包括：

基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的光，并根据在所述光学转换装置中所设定的参数的配置值，形成对配置问题的答案的估计结果；

基于所述估计结果来计算所述参数的更新值；以及

使用计算出的更新值来更新所述参数的配置值。

(附注15)

一种非暂时性计算机可读介质，其存储控制程序，所述控制程序被配置为促使学习设备执行以下过程：

基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的光，并根据在所述光学转换装置中所设定的参数的配置值，形成对配置问题的答案的估计结果；

基于所述估计结果来计算所述参数的更新值；以及

使用计算出的更新值来更新所述参数的配置值。

附图标记列表

10 学习设备

11 光学转换单元

12 光学器件

13 感测单元

15 控制单元(控制设备)

15A 估计单元

15B 更新单元

20 学习设备

21 显示单元

22 控制单元(控制设备)

22A 估计单元

22B 更新单元

22C 学习控制单元

30 学习设备

31 控制单元(控制设备)

31A 更新单元

31B 学习控制单元

50 估计设备

51 光学转换单元

53 感测单元

55 控制单元(控制设备)

55A 估计单元

55B 设定单元

57 获取单元。