具体实施方式

实施方式1

图1是示出具有本发明的实施方式1的图像处理装置的图像显示装置的图。实施方式1的图像显示装置除了具有图像处理装置1以外，还具有图像显示部2和周边温度测定部3。

图像显示部2由具有排列有红色、绿色和蓝色的LED的显示面板的显示器构成。例如，通过红色、绿色和蓝色的LED的组合构成1个发光元件，将多个这种发光元件作为像素规则地配置成矩阵状，构成显示面板。例如，各发光元件是在1个封装内设置有红色的LED芯片、绿色的LED芯片和蓝色的LED芯片的被称作3in1LED发光元件的发光元件。

由LED构成的发光元件产生的光的亮度和色度的双方或一方根据温度而变化。

图2的(a)示出由于温度而引起的亮度Vp的变化的例子。

图2的(b)示出由于温度而引起的色度的变化的例子。色度例如用CIE-XYZ表色系的X刺激值和Y刺激值表示。图2的(b)示出X刺激值Xp和Y刺激值Yp的变化。

周边温度测定部3测定显示面板周边的温度，输出测定值Tma。

周边温度测定部3例如具有由热敏电阻或热电偶构成的1个或2个以上的温度传感器。1个或2个以上的温度传感器设置成能够测定图像显示部2的壳体外部和壳体内部中的一方或双方的温度。在设置于壳体外部的情况下，例如也可以嵌入前表面边框。

周边温度测定部3输出测定出的周边温度Tma。

在利用2个以上的温度传感器测定温度的情况下，也可以输出它们的平均值作为周边温度Tma。

图像处理装置1能够利用处理电路构成其一部分或全部。

例如，可以分别利用单独的处理电路实现图像处理装置的各部分的功能，也可以统一利用1个处理电路实现多个部分的功能。

处理电路可以由硬件构成，也可以由软件即被编程的计算机构成。

也可以利用硬件实现图像处理装置的各部分的功能中的一部分，利用软件实现另一部分。

图3与图像显示部2和周边温度测定部3一起示出实现图像处理装置1的全部功能的计算机9。

在图示的例子中，计算机9具有处理器91和存储器92。

在存储器92存储有用于实现图像处理装置1的各部的功能的程序。

处理器91例如使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、微处理器、微控制器或DSP(Digital SignalProcessor：数字信号处理器)等。

存储器92例如使用RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)或EEPROM(Electrically Erasable Programmable Read OnlyMemory：电可擦除可编程只读存储器)等半导体存储器、磁盘、光盘或光磁盘等。

处理器91通过执行存储器92中存储的程序，实现图像处理装置的功能。

如上所述，图像处理装置的功能包含图像显示部2中的显示控制。

图3的计算机包含一个处理器，但是，也可以包含2个以上的处理器。

图1示出构成图像处理装置1的功能块。

图像处理装置1具有图像输入部11、输入图像存储部12、元件温度估计部13、补偿表存储部14、温度变化补偿部15和图像输出部16。

在本实施方式中，设图像输入部11为接收并输出数字图像数据的数字接口进行说明。但是，图像输入部11也可以由从模拟图像信号转换成数字图像数据的A/D转换器构成。

图像输入部11将数字图像数据作为输入图像数据输出到输入图像存储部12和温度变化补偿部15。

输入图像存储部12存储多个帧的输入图像数据。

例如如图4所示，输入图像存储部12具有多个存储区域MA，能够保持多个帧的图像数据。即，能够保持新输入的帧的图像数据(当前帧的输入图像数据)F(t)和在此之前的1个或2个以上的帧的图像数据(过去帧的输入图像数据)F(t-1)～F(t-M)。

表示上述图像数据的标号中的t表示当前时刻，F(t-m)表示相对于当前帧的输入图像数据前m帧(m为1～M中的任意一方)的输入图像数据。M为1以上的整数。

当前帧的输入图像数据F(t)和过去帧的输入图像数据F(t-1)～F(t-M)构成图像数据的时间序列SE。

各图像数据按照每个像素具有红色、绿色、蓝色的像素值。与各像素有关的图像数据的时间序列是像素值的时间序列。

元件温度估计部13根据由周边温度测定部3测定出的周边温度Tma和从输入图像存储部12输出的由多个帧的图像数据构成的图像数据的时间序列SE估计各发光元件的温度，输出估计值Tme。

例如如图5所示，元件温度估计部13具有权重存储部31、平均计算部32、转换表存储部33和温度计算部34。

向平均计算部32输入构成上述时间序列SE的最近的M+1帧的输入图像数据F(t)、F(t-1)、…、F(t-M)。

权重存储部31按照每个颜色存储权重α_0c～α_Mc。这里，c是R、G或B。即，权重存储部31存储有与红色有关的权重α_0R～α_MR、与绿色有关的权重α_0G～α_MG和与蓝色有关的权重α_0B～α_MB，即(M+1)×3个权重。

将这些权重α_0R～α_MR、α_0G～α_MG和α_0B～α_MB的集合称作权重的组WS，用标号WS表示。

平均计算部32根据最近的M+1帧的输入图像数据F(t)～F(t-M)和权重的组WS计算加权平均FA。按照每个像素进行加权平均的计算。

与各像素(关注像素)有关的加权平均FA(x、y)的计算用下述式(1)表示。

FA(x、y)

＝α_0R×F(t、x、y、R)+α_1R×F(t-1、x、y、R)+…+α_MR×F(t-M、x、y、R)+α_0G×F(t、x、y、G)+α_1G×F(t-1、x、y、G)+…+α_MG×F(t-M、x、y、G)+α_0B×F(t、x、y、B)+α_1B×F(t-1、x、y、B)+…+α_MB×F(t-M、x、y、B) 式(1)

在式(1)中，x表示关注像素的水平方向位置，y表示关注像素的垂直方向位置。

如式(1)所示，在用于求出加权平均的积和运算中，权重α_0c～α_Mc(c为R、G或B)与图像数据F(t)～F(t-M)相乘。

与各颜色c(R、G或B)有关的权重相互之间存在如下关系：

α_0c≥α_1c≥…≥α_Mc。

即，针对构成时间序列SE的多个帧的图像数据中的越新的帧的图像数据(越接近当前时刻的帧的图像数据)的权重，具有越大的值。

如后所述，通过机器学习决定并存储权重。

图6示出由转换表存储部33中存储的转换表CA定义的输入与输出的关系的一例。

在图6中，横轴表示作为转换表CA的输入的加权平均FA，纵轴表示作为转换表CA的输出的上升温度Tmu。这里所说的上升温度Tmu意味着温度上升的幅度。

转换表存储部33存储有图6例示的转换表CA，根据被输入的加权平均FA，输出对应的上升温度Tmu。

如后所述，通过机器学习还生成并存储转换表CA。

假设转换表CA针对加权平均FA可取的值分别具有上升温度Tmu的值，但是不限于此。即，也可以针对加权平均FA离散地具有上升温度Tmu的值，关于不具有上升温度Tmu的值的加权平均FA，通过插值求出对应的上升温度Tmu的值。例如，能够使用与具有上升温度的值的加权平均FA的值(表点)对应的上升温度的值进行该插值。

温度计算部34根据每个像素的加权平均FA(x、y)和转换表CA求出各像素的上升温度Tmu(x、y)，进而，根据周边温度Tma和上升温度Tmu(x、y)计算该像素位置处的温度(估计值)Tme(x、y)。各像素位置处的温度是该像素位置的发光元件的温度。如下述式(2)所示，通过对周边温度Tma加上上升温度Tmu(x、y)，求出各发光元件的温度Tme(x、y)。

Tme(x、y)＝Tma+Tmu(x、y) 式(2)

元件温度估计部13也可以代替式(2)而通过下述式(3)计算温度Tme(x、y)。式(3)示出在求出各发光元件(关注像素的发光元件)的温度Tme(x、y)时还考虑位于该发光元件周围的发光元件(该关注像素周围的像素的发光元件)的上升温度的影响的运算。

Tme(x、y)

＝Tma+γ₁×Tmu(x-1、y-1)+γ₂×Tmu(x-1、y)+γ₃×Tmu(x-1、y+1)+γ₄×Tmu(x、y-1)+γ₅×Tmu(x、y)+γ₆×Tmu(x、y+1)+γ₇×Tmu(x+1、y-1)+γ₈×Tmu(x+1、y)+γ₉×Tmu(x+1、y+1) 式(3)

在式(3)中，γ₁～γ₉是系数。

在式(3)的运算中，作为周围的像素，考虑由以关注像素为中心的3×3个像素构成的区域内的像素。

周围的像素的上升温度是根据每个像素的加权平均FA(x、y)求出的，因此，可以说考虑周围的像素的上升温度的影响而求出的发光元件的温度的估计值是考虑与周围的像素有关的加权平均FA(x、y)而求出的发光元件的温度的估计值。

在上述例子中，考虑由以关注像素为中心的3×3个像素构成的区域内的像素，因此，作为周围的像素，考虑8个像素。但是，考虑的像素的数量不限于8个，也可以是9个以上，也可以是7个以下，例如也可以是1个。

如上所述，输入图像存储部12保持最近的M+1帧的图像数据，元件温度估计部13根据从输入图像存储部12输出的最近的M+1帧的图像数据估计发光元件的温度。

这里，M为1以上即可。总之，输入图像存储部12保持多个帧的图像数据即可，元件温度估计部13根据由最近多个帧的图像数据构成的时间序列SE估计发光元件的温度即可。

补偿表存储部14存储有用于对由于温度而引起的亮度和色度的变化进行补偿的补偿表。

温度变化补偿部15根据由元件温度估计部13估计出的温度，参照补偿表存储部4中存储的补偿表，对从图像输入部11供给的图像数据进行校正。

按照每个像素进行该补偿。

该补偿是用于抵消由于发光元件的温度的变化而引起的亮度和色度的变化的补偿。

图7的(a)和(b)示出由补偿表存储部14中存储的补偿表定义的输入与输出的关系的一例。这里所说的输入与输出的关系用输出与输入之比即系数表示。将该系数称作补偿系数。

例如，在由于温度而引起的亮度的变化如图2的(a)所示的情况下，作为与亮度有关的补偿表，存储具有图7的(a)例示的输入-输出关系即相对于温度的上升的变化与图2的(a)方向相反的补偿表。

例如，通过与亮度Vp的归一化值的倒数相等的补偿系数Vq构成补偿表。

这里所说的归一化值是相对于基准温度下的亮度之比。例如，在图2的(a)和图7的(a)中，在设Tmr为基准温度的情况下，图7的(a)的补偿系数Vq在基准温度Tmr下成为1。

同样，在由于温度而引起的表示色度的X刺激值和Y刺激值的变化如图2的(b)所示的情况下，作为补偿表，存储具有图7的(b)例示的输入-输出关系即相对于温度的上升的变化与图2的(b)方向相反的补偿表。

例如，通过与X刺激值Xp的归一化值的倒数相等的补偿系数Xq构成X刺激值的补偿表。同样，通过与Y刺激值Yp的归一化值的倒数相等的补偿系数Yq构成Y刺激值的补偿表。

这里所说的归一化值是相对于基准温度下的X刺激值和Y刺激值之比。例如，在图2的(b)和图7的(b)中，在设Tmr为基准温度的情况下，图7的(b)的补偿系数Xq、Yq在基准温度Tmr下成为1。

在发光元件相互之间，由于温度而引起的亮度和色度的变化方式可能不同。该情况下，作为示出图2的(a)和(b)的亮度和色度的曲线，使用表示平均变化的值。例如，使用对与多个发光元件有关的变化进行平均而得到的值，作为示出图7的(a)和(b)的补偿系数的补偿表，生成用于对这种平均变化进行补偿的补偿表。

补偿表针对发光元件的温度Tme可取的值分别具有补偿系数的值，但是不限于此。即，也可以针对发光元件的温度Tme离散地具有补偿系数的值，关于不具有补偿系数的值的发光元件的温度Tme，通过插值求出对应的补偿系数的值。例如，能够使用与具有补偿系数的值的温度Tme的值(表点)对应的补偿系数的值进行该插值。

温度变化补偿部15根据补偿表存储部14中存储的补偿表和各发光元件的温度Tme，生成并输出与输入图像Di对应的补偿后的图像数据Db。

关于色度的补偿，根据针对X刺激值和Y刺激值的补偿系数进行图像数据的校正，以对红色、绿色和蓝色的LED的发光量进行调整。

图像输出部16将从温度变化补偿部15输出的图像数据Db转换成与图像显示部2的显示方式一致的格式的信号，输出转换后的图像信号Do。

如果图像显示部2的发光元件以PWM(Pulse Width Modulation：脉宽调制)驱动进行发光，则将图像数据的灰度值转换成PWM信号。

图像显示部2根据图像信号Do显示图像。关于要显示的图像，按照每个像素对由于温度而引起的亮度和色度的变化进行补偿。因此，显示没有亮度不均和颜色不均的图像。

上述的基于M+1帧的图像数据的时间序列SE的发光元件的温度的估计值Tme的计算、基于计算出的估计值的补偿系数Vq、Xq、Yq的决定、使用已决定的补偿系数的图像数据的补偿可以按照每M+1帧来进行，也可以按照比M+1帧长的周期一次性进行，也可以按照比M+1帧短的周期一次性进行。例如可以按照每1帧来进行。

在任何情况下，只要使用各时点当前输入的帧的图像数据和在此之前的M帧的图像数据求出发光元件的温度的估计值即可。

参照图8和图9说明上述图像处理装置1由图3的计算机构成时的处理器91进行的处理的顺序。

在图8中，在步骤ST1中，进行输入图像的存储。该处理与图1的输入图像存储部12进行的处理相同。

在步骤ST2中，进行周边温度的测定。该处理与图1的周边温度测定部3进行的处理相同。步骤ST2的处理能够与步骤ST1的处理并行进行。

在步骤ST3中，进行各发光元件的温度的估计。该处理与图1的元件温度估计部13进行的处理相同。

在步骤ST4中，进行温度变化补偿。该处理与图1的温度变化补偿部15进行的处理相同。

在步骤ST5中，进行图像输出。该处理与图1的图像输出部16进行的处理相同。

图9示出图8的步骤ST3的详细情况。

在图9的步骤ST31中，计算加权平均。该处理与图5的平均计算部32进行的处理相同。

在步骤ST32中，计算发光元件的温度。该处理与图5的温度计算部34进行的处理相同。

如上所述，权重存储部31中存储的权重的组WS和转换表存储部33中存储的转换表CA是通过机器学习而决定或生成的。

机器学习用的学习装置与图1的图像显示装置连接来使用。

图10示出与图1的图像显示装置连接的学习装置101。图10还示出与该学习装置101一起使用的元件温度测定部102和温度控制装置103。

元件温度测定部102具有多个温度传感器。多个温度传感器分别与构成图像显示部2的多个发光元件对应地设置，各温度传感器测定并输出对应的发光元件的温度Tmf。

各温度传感器可以是接触式的温度传感器，也可以是非接触式的温度传感器。

接触式的温度传感器例如可以由热敏电阻或热电偶构成。

非接触式的温度传感器可以接收红外线来检测表面温度。

元件温度测定部102也可以还具有一个热图像传感器，测定图像显示部2的显示画面的温度分布，将热图像内的位置与图像显示部2的显示画面上的位置对应起来，由此求出各发光元件的温度。

温度控制装置103将图像显示部2的周边温度维持在由学习装置101指定的设定值Tms。温度控制装置103例如由空调机构成，将配置有图像显示部2的空间的温度维持在设定值Tms。

学习装置101也可以由计算机构成。在图像处理装置1由计算机构成的情况下，相同的计算机也可以构成学习装置101。构成学习装置101的计算机例如可以是图3所示的计算机。该情况下，也可以由处理器91执行存储器92中存储的程序，由此实现学习装置101的功能。

学习装置101使图像处理装置1进行动作，以使由元件温度估计部13计算出的发光元件的温度(估计值)Tme接近由元件温度测定部102测定出的发光元件的温度(测定值)Tmf的方式进行学习。

在学习中，使用多个由周边温度的设定值Tms和图像数据的时间序列SF构成的学习输入数据的组LDS。

学习装置101将学习输入数据的组LDS中包含的图像数据的时间序列SF输入到图像输入部11，取得由元件温度估计部13计算出的发光元件的温度的估计值Tme和由元件温度测定部102测定出的发光元件的温度的测定值Tmf，以使估计值Tme接近测定值Tmf的方式进行学习。

构成学习输入数据的组LDS的图像数据的时间序列SF由与在图像显示装置进行图像显示时在元件温度估计部13的温度估计中使用的构成时间序列SE的图像数据的帧数(M+1)相同帧数的图像数据构成。

在多个学习输入数据的组LDS相互之间，周边温度的设定值Tms或图像数据的时间序列SF中的至少一方不同。

基于学习的权重的组WS的决定和转换表CA的生成例如能够通过以下的第1方法或第2方法来进行。

在第1方法中，以使发光元件的温度的估计值Tme相对于测定值Tmf之差最小的方式确定权重的组WS和转换表CA。

具体而言，依次选择预先准备的多个学习输入数据的组LDS，求出周边温度维持在选择出的学习输入数据的组的周边温度的设定值Tms且被输入了选择出的学习输入数据的组LDS的图像数据的时间序列SF时的发光元件的温度的测定值Tmf与估计值Tme之差作为误差ER，求出与上述多个学习输入数据的组LDS有关的上述误差ER的总和ES作为成本函数，以使该成本函数最小的方式进行学习，由此确定权重的组WS和转换表CA。

在第2方法中，先进行转换表CA的生成，然后决定权重的组WS。

在生成转换表CA时，针对多个灰度值，分别测定输入了像素值固定于该灰度值的图像数据的时间序列SF时的发光元件的温度Tmf和周边温度Tma，根据测定结果计算上升温度Tmu，根据与多个灰度值有关的灰度值与上升温度的关系生成转换表CA。此时，温度变化补偿部15不进行温度变化补偿，将从图像输入部11输出的图像数据直接供给到图像输出部16。即，学习装置101进行控制，使得温度变化补偿部15这样进行动作。

像素值固定于某个灰度值的图像数据可以是仅特定的发光元件的像素值固定于该灰度值的图像数据，也可以是多个发光元件，例如构成图像显示部2的全部发光元件的像素值固定于该灰度值的图像数据。在使用多个发光元件的像素值固定于该灰度值的图像数据的情况下，作为上述发光元件的温度，可以使用任意1个发光元件的温度，也可以使用多个发光元件的温度的平均。

在利用第2方法生成转换表CA的情况下，学习装置101需要从周边温度测定部3接收测定值Tmf的通知。如上所述，这是由于在上升温度的计算中使用周边温度的测定值。在图10中利用虚线示出从周边温度测定部3向学习装置101通知测定值。

另外，为了生成转换表CA，优选输入像素值被固定的图像数据的时间序列SF，在取得发光元件的温度的测定值Tmf时，将周边温度维持恒定，但是，这点不是必须的。总之，只要能够根据周边温度的测定值Tma和发光元件的温度的测定值Tmf求出上升温度Tmu即可。

在第2方法中的权重的组WS的决定中，以使使用如上所述生成的转换表CA计算的发光元件的温度的估计值Tme相对于测定值Tmf之差最小的方式确定权重的组WS。

具体而言，依次选择预先准备的多个学习输入数据的组LDS，求出周边温度维持在选择出的学习输入数据的组LDS的周边温度的设定值Tms且被输入了选择出的学习输入数据的组LDS的图像数据的时间序列SF时的发光元件的温度的测定值Tmf与估计值Tme之差作为误差ER，求出与上述多个学习输入数据的组LDS有关的上述误差ER的总和ES作为成本函数，以使该成本函数最小的方式进行学习，由此决定权重的组WS。

在上述第1方法和第2方法的任何方法中，作为误差ER的总和ES，都能够使用误差ER的绝对值之和或误差ER的平方和。

此外，学习装置101向温度控制装置103通知设定值Tms，温度控制装置103以将周边温度维持在设定值Tms的方式进行动作，由此进行用于将周边温度维持在上述设定值Tms的控制。

在学习结束后，元件温度测定部102的温度传感器被取下，图像显示装置在该温度传感器被取下的状态下使用，以进行图像显示。

即，在为了进行图像显示而使用时，图像显示装置不需要检测发光元件的温度的温度传感器。这是由于，即使没有检测发光元件的温度的温度传感器，也能够利用元件温度估计部13估计发光元件的温度。

学习装置101可以在学习结束后取下，也可以依然装配着。

特别地，在通过处理器91执行程序来实现学习装置101的功能的情况下，该程序可以依然存储于存储器92。

参照图11、图12和图13说明上述学习装置101由图3的计算机构成时的处理器91进行的处理的顺序。

图11示出使用上述第1方法时的处理的顺序。

在步骤ST201中，学习装置101从预先准备的多个权重的组WS和转换表CA的组合中选择一个组合。学习装置10在权重存储部31中临时设定选择出的组合的权重的组WS，在转换表存储部33中临时设定选择出的组合的转换表CA。

在步骤ST202中，学习装置101从预先准备的多个周边温度的设定值Tms和图像数据的时间序列SF的组合中选择一个组合。

在步骤ST203中，学习装置101以使周边温度维持在步骤ST202中选择出的组合的周边温度的设定值Tms的方式进行温度控制。具体而言，学习装置101使温度控制装置103进行温度控制。

在步骤ST204中，学习装置101输入在步骤ST202中选择出的组合的图像数据的时间序列SF。具体而言，学习装置101将图像数据的时间序列SF输入到图像输入部11。输入的图像数据的时间序列SF经由输入图像存储部12供给到元件温度估计部13，并且供给到温度变化补偿部15。

在步骤ST205中，学习装置101取得发光元件的温度的测定值Tmf。这里取得的测定值Tmf是元件温度测定部102的测定值，是周边温度被控制成选择出的组合的周边温度的设定值Tms，被输入选择出的组合的图像数据的时间序列SF且图像显示部2根据时间序列SF中包含的图像数据显示图像时的发光元件的温度的测定值。

在步骤ST206中，学习装置101取得发光元件温度的估计值Tme。这里取得的估计值Tme是在周边温度被控制成选择出的组合的周边温度的设定值Tms且被输入选择出的组合的图像数据的时间序列SF时，元件温度估计部13使用选择出的权重的组WS和转换表CA计算出的估计值。选择出的权重的组WS是权重存储部31中临时设定的权重的组WS，选择出的转换表CA是转换表存储部33中临时设定的转换表CA。

在步骤ST207中，学习装置101求出在步骤ST205中取得的测定值Tmf与在步骤ST206中取得的估计值Tme之差作为误差ER。

在步骤ST208中，学习装置101针对上述多个周边温度的设定值Tms与图像数据的时间序列SF的全部组合，判定步骤ST202～ST207的处理是否结束。

如果与全部的多个组合有关的上述处理未结束，则返回步骤ST202。

其结果是，在步骤ST202中，选择下一个周边温度的设定值Tms和图像数据的时间序列SF的组合，在步骤ST203～ST207中，针对选择出的组合反复进行与上述相同的处理，求出误差ER。

如果在步骤ST208中与全部的多个组合有关的步骤ST203～ST207的处理结束，则进入步骤ST209。

在步骤ST209中，学习装置101求出上述误差ER的总和(与多个组合有关的总和)ES作为成本函数。

作为误差ER的总和ES，能够使用误差ER的绝对值之和或误差ER的平方和。

接着，在步骤ST210中，学习装置101判定是否选择了权重的组WS和转换表CA的全部的多个组合。

如果未选择全部的组合，则返回步骤ST201。

该情况下，在步骤ST201中，选择权重的组WS和转换表CA的组合中的还未选择的组合。

如果在步骤ST210中选择了全部的组合，则进入步骤ST211。

在步骤ST211中，学习装置101采用在上述步骤ST209中求出的成本函数最小的权重的组WS与转换表CA的组合作为最佳组合。

学习装置101将采用的组合的权重的组WS写入权重存储部31，将采用的组合的转换表CA写入转换表存储部33。

至此，权重的组与转换表的组合的优化处理结束。

图12和图13示出使用上述第2方法时的处理的顺序。

在图12所示的步骤ST301～ST307中决定转换表CA，在图13所示的步骤ST311～ST320中决定权重的组WS。

首先，在图12的步骤ST301中，学习装置101从预先准备的多个灰度值中选择一个灰度值。

在步骤ST302中，学习装置101将像素值被固定的图像数据的时间序列输入到图像输入部11。与此同时，学习装置101对温度变化补偿部15进行控制，不进行温度变化补偿的动作，成为将来自图像输入部11的输入直接供给到图像输出部16的状态。输入图像存储部12和元件温度估计部13分别可以是继续进行动作的状态，也可以是停止动作的状态。

在步骤ST303中，学习装置101取得周边温度的测定值Tma。这里取得的测定值Tma是周边温度测定部3的测定值。

在步骤ST304中，学习装置101取得发光元件的温度的测定值Tmf。这里取得的测定值Tmf是元件温度测定部102的测定值，是被输入选择出的灰度值的图像数据的时间序列且图像显示部2根据像素值固定于选择出的灰度值的图像数据显示图像时的发光元件的温度的测定值。

如上所述，像素值固定于某个灰度值的图像数据可以是仅特定的发光元件的像素值固定于该灰度值的图像数据，也可以是多个发光元件，例如构成图像显示部2的全部发光元件的像素值固定于该灰度值的图像数据。在被输入多个发光元件的像素值固定于该灰度值的图像数据的情况下，作为上述发光元件的温度的测定值，可以取得任意1个发光元件的温度，也可以取得多个发光元件的温度的平均。

在步骤ST305中，学习装置101根据在步骤ST303和ST304中取得的测定值Tma和Tmf计算上升温度Tmu。从发光元件的温度的测定值Tmf减去周边温度的测定值Tma，由此求出上升温度Tmu。

在步骤ST306中，学习装置101判定是否选择了预先准备的全部多个灰度值。

如果未选择全部的多个灰度值，则返回步骤ST301。

该情况下，在步骤ST301中，选择多个灰度值中的还未选择的灰度值。

如果在步骤ST306中选择了全部的多个灰度值，则进入步骤ST307。

在步骤ST307中，学习装置101根据多个灰度值和针对该多个灰度值计算出的上升温度Tmu，决定表示加权平均FA与上升温度Tmu的关系的转换表CA。

在连续输入灰度值被固定的图像的情况下，加权平均FA与该固定的灰度值相等。因此，灰度值与上升温度Tmu的关系相当于加权平均FA与上升温度Tmu的关系，能够根据灰度值与上升温度的关系决定上述转换表CA。

学习装置101将决定的转换表CA写入转换表存储部33。

在图13的步骤ST311中，学习装置101从预先准备的多个权重的组WS中选择一个权重的组。学习装置101在权重存储部31中临时设定选择出的组合的权重的组WS。

步骤ST202～ST209的处理与图11的步骤ST202～ST209的处理相同。

即，在步骤ST202中，从预先准备的多个周边温度的设定值Tms和图像数据的时间序列SF的组合中选择一个组合。

在步骤ST203中，以周边温度维持在步骤ST202中选择出的组合的周边温度的设定值Tms的方式进行温度控制。

在步骤ST204中，输入在步骤ST202中选择出的组合的图像数据的时间序列SF。

在步骤ST205中，取得发光元件的温度的测定值Tmf。

在步骤ST206中，取得发光元件的温度的估计值Tme。

在步骤ST207中，求出上述测定值Tmf与估计值Tme之差作为误差ER。

在步骤ST208中，针对上述多个周边温度的设定值Tms与图像数据的时间序列SF的全部组合，判定步骤ST202～ST207的处理是否结束。

如果与全部的多个组合有关的上述处理结束，则进入步骤ST209。

在步骤ST209中，求出上述误差ER的总和(与多个组合有关的总和)ES作为成本函数。

在步骤ST320中，判定是否选择了全部的权重的组WS。

如果未选择全部的权重的组WS，则进入步骤ST321。

在步骤ST321中，采用在上述步骤ST209中求出的成本函数最小的权重的组WS作为最佳组。

至此，权重的组的优化处理结束。

如上所述，关于本实施方式1的图像处理装置，具有该图像处理装置的图像显示装置也可以不在各发光元件具有温度传感器，能够估计各发光元件的温度，能够防止由于温度变化而产生亮度和色度的不均。

实施方式2

图14是示出具有本发明的实施方式2的图像处理装置1b的图像显示装置的图。

图14所示的图像处理装置1b与图1的图像处理装置1大致相同，但是，附加有偏差校正系数存储部17和偏差校正部18。

与图像处理装置1同样，图像处理装置1b例如也可以由图3所示的计算机构成。

在发光元件相互之间存在产生的光的亮度或色度的偏差。

偏差校正系数存储部17存储每个发光元件的偏差校正系数即用于对每个发光元件的亮度和颜色的偏差进行校正的系数。例如，关于各发光元件，具有9个校正系数β₁～β₉。

偏差校正部18根据从温度变化补偿部15输出的图像数据Db和偏差校正系数存储部17中存储的校正系数β₁～β₉进行下述式(4a)、(4b)和(4c)所示的运算，生成并输出对发光元件的偏差进行校正后的图像数据Dc。

Rc(x、y)

＝β₁(x、y)×Rb(x、y)+β₂(x、y)×Gb(x、y)+β₃(x、y)×Bb(x、y) 式(4a)

Gc(x、y)

＝β₄(x、y)×Rb(x、y)+β₅(x、y)×Gb(x、y)+β₆(x、y)×Bb(x、y) 式(4b)

Bc(x、y)

＝β₇(x、y)×Rb(x、y)+β₈(x、y)×Gb(x、y)+β₉(x、y)×Bb(x、y) 式(4c)

在式(4a)～(4c)中，

Rb(x、y)、Gb(x、y)和Bb(x、y)表示输入到偏差校正部18的图像数据Db的关注像素的红色、绿色和蓝色的像素值。

Rc(x、y)、Gc(x、y)和Bc(x、y)表示从偏差校正部18输出的校正后的图像数据Dc的红色、绿色和蓝色的像素值。

β₁(x、y)～β₉(x、y)表示与关注像素有关的校正系数。

图像输出部16将从偏差校正部18输出的图像数据Dc转换成与图像显示部2的显示方式一致的格式的信号，输出转换后的图像信号Do。

如果图像显示部2的发光元件以PWM(Pulse Width Modulation：脉冲宽度调制)驱动进行发光，则将图像数据的灰度值转换成PWM信号。

图像显示部2根据图像信号Do显示图像。关于要显示的图像，按照每个像素对由于温度而引起的亮度和色度的变化进行补偿，并且对发光元件的偏差进行校正。因此，显示没有亮度不均和颜色不均的图像。

参照图15说明上述图像处理装置1b由图3的计算机构成时的处理器91进行的处理的顺序。

图15与图8大致相同，但是，附加有步骤ST7。

在步骤ST7中进行偏差校正。该处理与图14的偏差校正部18进行的处理相同。

实施方式2的图像处理装置1b的元件温度估计部13中使用的权重的组WS和转换表CA是通过与实施方式1中说明的机器学习相同的机器学习而决定的。

如上所述，本实施方式2的图像处理装置与实施方式1同样，具有该图像处理装置的图像显示装置也可以不在各发光元件具有温度传感器，能够估计各发光元件的温度，能够防止由于温度的变化而产生亮度和色度的不均。此外，能够对每个发光元件的偏差进行校正。

实施方式3

图16是示出具有本发明的实施方式3的图像处理装置1c的图像显示装置的图。

图16所示的图像处理装置1c与图14的图像处理装置1b大致相同，但是，代替元件温度估计部13而设置有元件温度估计部13c。

与图像处理装置1b同样，图像处理装置1c也可以利用处理电路构成其一部分或全部。处理电路可以由硬件构成，也可以由软件即被编程的计算机构成。

也可以是图像处理装置1c的各部分的功能中的一部分由硬件实现，另一部分由软件实现。

在图像处理装置1c由计算机构成的情况下，计算机例如可以是图3所示的计算机。

元件温度估计部13c根据由周边温度测定部3测定出的周边温度Tma和从输入图像存储部12输出的由多个帧的图像数据构成的图像数据的时间序列估计各发光元件的温度，输出估计值Tme。

元件温度估计部13c由神经网络构成。图17示出这种神经网络的一例。

图示的神经网络将由周边温度测定部3测定出的周边温度Tma和从输入图像存储部12输出的图像数据的时间序列(由构成时间序列的图像数据表示的像素值)设为输入，将图像显示部2的各发光元件的温度的估计值设为输出。

图示的神经网络具有输入层La、中间层(隐藏层)Lb和输出层Lc。在图示的例子中，中间层的数量为2个，但是，中间层的数量也可以是1个，还可以是3个以上。

对输入层La的神经元P分别分配周边温度Tma或由构成时间序列的图像数据表示的像素值中的任意一方，向各神经元输入被分配的周边温度Tma或像素值。输入层La的神经元将输入直接输出。

输出层Lc的神经元P分别与图像显示部2的发光元件对应地设置。输出层Lc的神经元P分别由多个比特例如10比特构成，输出表示对应的发光元件的温度估计值的数据。

在图17中，用标号Tme(1、1)～Tme(x_max、y_max)表示像素位置(1、1)～(x_max、y_max)的发光元件的温度估计值。

(1、1)表示显示画面的左上角的像素位置，(x_max、y_max)表示显示画面的右下角的像素位置。

中间层Lb和输出层Lc的神经元P分别对多个输入进行由下述模型式表示的运算。

y＝s(w₁×x₁+w₂×x₂+····+w_N×x_N+b) 式(5)

在式(5)中，N是针对神经元P的输入的数量，在神经元相互之间不一定相同。

x₁～x_N是神经元P的输入数据，

w₁～w_N是针对输入x₁～x_N的权重，

b是偏置。

权重和偏置是通过学习而确定的。

下面，将权重和偏置统称作参数。

函数s的(a)是活化函数。

活化函数例如可以是如果a为0以下则输出0，除此以外则输出1的阶梯函数。

活化函数s的(a)也可以是如果a为0以下则输出0，除此以外则输出输入值a的ReLU函数，也可以是将输入值a直接设为输出值的恒等函数，还可以是S型函数。

如上所述，输入层La的神经元将输入直接输出，因此，可以说输入层La的神经元使用的活化函数是恒等函数。

例如，也可以在中间层Lb中使用阶梯函数或S型函数，在输出层中使用ReLU函数。此外，也可以在相同层内的神经元相互之间使用不同的活化函数。

神经元P的数量、层的数量(层级数量)不限于图17所示的例子。

参照图18说明上述图像处理装置1c由图3的计算机构成时的处理器91进行的处理的顺序。

图18与图15大致相同，但是，代替步骤ST3而包含步骤ST3c。

在步骤ST3c中，估计各发光元件的温度。该处理与图16的元件温度估计部13c中的处理相同。

构成元件温度估计部13c的神经网络是通过机器学习而生成的。

机器学习用的学习装置与图16的图像显示装置连接来使用。

图19示出与图1的图像显示装置连接的学习装置101c。图19还示出与学习装置101c一起使用的元件温度测定部102和温度控制装置103。

元件温度测定部102和温度控制装置103与实施方式1中说明的相同。

学习装置101c也可以由计算机构成。在图像处理装置1c由计算机构成的情况下，相同的计算机也可以构成学习装置101c。构成学习装置101c的计算机例如可以是图3所示的计算机。该情况下，也可以由处理器91执行存储器92中存储的程序，由此实现学习装置101c的功能。

学习装置101c使图像处理装置1c进行动作，以使由元件温度估计部13c计算出的发光元件的温度(估计值)Tme接近由元件温度测定部102测定出的发光元件的温度(测定值)Tmf的方式进行学习。

在学习中，使用多个由周边温度的设定值Tms和图像数据的时间序列SF构成的学习输入数据的组LDS。

学习装置101c依次选择预先准备的多个学习输入数据的组LDS，使温度控制装置103进行控制以使周边温度维持在选择出的学习输入数据的组LDS中包含的周边温度的设定值Tms，将选择出的学习输入数据的组LDS中包含的图像数据的时间序列SF输入到图像输入部11，取得由元件温度估计部13c计算出的发光元件的温度的估计值Tme和由元件温度测定部102测定出的发光元件的温度的测定值Tmf，以使估计值Tme接近测定值Tmf的方式进行学习。

构成学习输入数据的组LDS的图像数据的时间序列SF由与在图像显示装置进行图像显示时在元件温度估计部13c的温度估计中使用的图像数据的帧数(M+1)相同帧数的图像数据构成。

在多个学习输入数据的组LDS相互之间，周边温度的设定值Tms或图像数据的时间序列SF中的至少一方不同。

在学习装置101c生成神经网络时，首先准备作为基础的神经网络。即，利用作为基础的神经网络临时构建元件温度估计部13c。该神经网络与图17所示的神经网络相同，但是，中间层和输出层的神经元分别与其前级的层的全部神经元耦合。

在神经网络的生成中，需要针对多个神经元分别确定参数(权重和偏置)的值。将与多个神经元有关的参数的集合称作参数的组，用标号PS表示。

在神经网络的生成中，使用上述作为基础的神经网络，以使发光元件的温度的估计值Tme相对于测定值Tmf之差最小的方式进行参数的组PS的优化。例如能够通过误差反向传播法进行优化。

具体而言，准备多个预先确定的由周边温度的设定值Tms和图像数据的时间序列SF构成的学习输入数据的组LDS，设定参数的组PS的初始值，依次选择上述学习输入数据的组LDS，求出周边温度维持在选择出的学习输入数据的组LDS的周边温度的设定值Tms且被输入了选择出的学习输入数据的组LDS的图像数据的时间序列SF时的发光元件的温度的测定值Tmf与估计值Tme之差作为误差ER，求出与多个学习输入数据的组LDS有关的上述误差ER的总和ES作为成本函数，如果上述成本函数大于阈值，则以使上述成本函数更小的方式对参数的组PS进行变更。反复进行以上的处理，直到成本函数成为阈值以下为止。能够通过梯度下降法变更参数的组PS。

作为误差ER的总和ES，能够使用误差ER的绝对值之和或误差ER的平方和。

在参数的组PS优化后，切断权重为零的突触耦合(神经元之间的耦合)。

在学习结束后，元件温度测定部102的温度传感器被取下，在该温度传感器被取下的状态下使用图像显示装置。

即，在为了进行图像显示而使用时，图像显示装置不需要检测发光元件的温度的温度传感器。这是由于，即使没有检测发光元件的温度的温度传感器，也能够利用元件温度估计部13c估计发光元件的温度。

学习装置101c可以在学习结束后取下，也可以依然装配着。

特别地，在通过处理器91执行程序来实现学习装置101c的功能的情况下，该程序可以依然存储于存储器92。

参照图20和图21说明上述学习装置101c由图3的计算机构成时的处理器91进行的处理的顺序。

在图20的步骤ST400中，学习装置101c准备作为基础的神经网络。即，利用作为基础的神经网络临时构建元件温度估计部13c。

该神经网络与图17所示的神经网络相同，但是，中间层和输出层的神经元分别与其前级的层的全部神经元耦合。

在步骤ST401中，学习装置101c设定在步骤ST400中准备的神经网络的中间层和输出层的神经元各自的运算中使用的参数(权重和偏置)的组PS的初始值。

初始值可以是随机选择出的值，也可以是预计适当的值。

步骤ST202～ST209的处理与图11的步骤ST202～ST209的处理相同。

即，在步骤ST202中，学习装置101c从预先准备的多个周边温度的设定值Tms和图像数据的时间序列SF的组合中选择一个组合。

在步骤ST203中，学习装置101c以周边温度维持在步骤ST202中选择出的组合的周边温度的设定值Tms的方式进行温度控制。

在步骤ST204中，学习装置101c输入在步骤ST202中选择出的组合的图像数据的时间序列SF。

在步骤ST205中，学习装置101c取得发光元件的温度的测定值Tmf。

在步骤ST206中，学习装置101c取得发光元件温度的估计值Tme。这里取得的估计值Tme是在周边温度被控制成选择出的组合的周边温度的设定值Tms且被输入选择出的组合的图像数据的时间序列SF时，元件温度估计部13c使用设定的参数的组PS计算出的估计值。

在步骤ST207中，学习装置101c求出在步骤ST205中取得的测定值Tmf与在步骤ST206中取得的估计值Tme之差作为误差ER。

在图21的步骤ST208中，学习装置101c针对上述多个周边温度的设定值Tms和图像数据的时间序列SF的全部组合，判定步骤ST202～ST207的处理是否结束。

如果与全部的多个组合有关的上述处理未结束，则返回步骤ST202。

如果与全部的多个组合有关的上述处理结束，则进入步骤ST209。

在步骤ST209中，学习装置101c求出上述误差ER的总和(与多个组合有关的总和)ES作为成本函数。

作为误差ER的总和ES，能够使用误差ER的绝对值之和或误差ER的平方和。

接着，在步骤ST410中，学习装置101c判定成本函数是否为预先确定的值以下。

如果在步骤ST410中成本函数大于阈值，则进入步骤ST411。

在步骤ST411中，学习装置101c对参数的组PS进行变更。

以使成本函数更小的方式进行变更。

在变更时能够使用梯度下降法。

在变更后返回步骤ST202。

如果在步骤ST410中成本函数为阈值以下，则进入步骤ST412。

在步骤ST412中，学习装置101c采用设定的参数的组PS即紧前的步骤ST206中的估计值的计算中使用的参数的组PS，作为最佳的参数的组。

在步骤ST413中，切断被采用的参数的组PS中包含的权重为零的突触耦合。

至此，神经网络的生成处理结束。

即，元件温度估计部13c由通过以上的处理而生成的神经网络构成。

通过进行上述步骤ST413中的耦合的切断，神经网络的结构更加简单，图像显示时的温度估计的运算更加简单。

如上所述，本实施方式3的图像处理装置与实施方式1、2同样，具有该图像处理装置的图像显示装置也可以不在各发光元件具有温度传感器，能够估计各发光元件的温度，能够防止由于温度的变化而产生亮度和色度的不均。此外，与实施方式2同样，能够对每个发光元件的偏差进行校正。

对本发明的实施方式进行了说明，但是，本发明不限于这些实施方式，能够进行各种变形。

例如，在上述例子中，发光元件由红色、绿色和蓝色这3个LED构成，但是，构成发光元件的LED的数量不限于3个。总之，只要利用多个LED构成发光元件即可。

此外，设图像处理装置进行亮度和色度双方的补偿进行了说明，但是，只要图像处理装置进行亮度和色度中的至少一方的补偿即可。

此外，在实施方式1中参照图11和图13说明的顺序和在实施方式3中参照图20说明的顺序中，在步骤ST202中选择周边温度的设定值Tms与图像数据的时间序列SF的组合，针对选择出的组合进行步骤ST203～ST207的处理。即，关于图像数据的时间序列，设在一个时间序列的输入结束后开始下一个时间序列的输入。

但是，针对图像数据的时间序列的处理不限于上述方法。例如，多个图像数据的时间序列也可以局部重合。例如，也可以反复进行如下处理：供给比上述M+1帧多的帧数的图像数据，使用从某个帧开始的M+1帧的图像数据作为一个时间序列，使用从上述某个帧的下一帧开始的M+1帧的图像数据作为另一个时间序列。该情况下，针对多个不同的时间序列并行进行上述步骤ST202～步骤ST207的处理。

在实施方式1～3中，在权重和转换表的优化或神经网络的生成用的学习时，对图像显示部2的周边温度进行控制。图像显示部2的尺寸较大，有时很难将其整体收纳于能够进行空调的空间内。该情况下，如果图像显示部是连结多个分割单元而构成的，则也可以按照每个分割单元进行学习。

以上说明了本发明的图像处理装置，但是，由上述图像处理装置实施的图像处理方法也构成本发明的一部分。此外，使计算机执行上述图像处理装置或图像处理方法中的处理的程序和记录有该程序的计算机能读取的记录介质例如非暂时性记录介质也构成本发明的一部分。

标号说明

1：图像处理装置；2：图像显示部；3：周边温度测定部；9：计算机；11：图像输入部；12：输入图像存储部；13、13c：元件温度估计部；14：补偿表存储部；15：温度变化补偿部；16：图像输出部；31：权重存储部；32：平均计算部；33：转换表存储部；34：温度计算部；17：偏差校正系数存储部；18：偏差校正部；91：处理器；92：存储器；101、10c：学习装置；102：元件温度测定部；103：温度控制装置。