具体实施方式

以下，参照附图对本发明的第一实施方式的观察装置1及观察方法进行说明。

如图1所示，本实施方式的观察装置1具备：图像取得部(拍摄部)2，其对由显微镜装置100会聚的光进行拍摄而取得观察图像；控制部3，其对所取得的观察图像进行处理；以及显示部4，其显示由控制部3处理的图像。控制部3由处理器和存储器构成。

显微镜装置100通过用户的操作使搭载有被摄体的载物台移动，基于规定的拍摄条件形成观察视野内的被摄体的像。另外，并不限定于具有载物台的显微镜装置，也可以应用能够使视野移动来观察被摄体的任意结构的显微镜装置。

图像取得部2是安装在显微镜装置100上的照相机，具备：摄像部5，其对通过显微镜装置100成像的观察视野内的标本的像进行拍摄，取得实时图像或静态图像作为观察图像；以及存储器6，其存储取得的观察图像。

控制部3具有参照图像生成部7、差分图像生成部8、显示图像生成部9、存储部10和显示控制部(显示调节部)11。

参照图像生成部7具有网络，该网络预先学习无异常的被摄体的图案(正解图案)，提取可再现正解图案的参数。在网络构筑中利用自动编码器。由自动编码器求出的参数被存储在存储部10中。

在对通过自动编码器学习了正解图案的网络输入了包含损伤等异常的观察图像的情况下，使用事先学习的正解图案的参数进行图像复原，因此，生成与观察图像相比消除了图像中的异常的参照图像。在输入了不包含异常的观察图像的情况下，观察图像被直接作为参照图像输出。

差分图像生成部8通过被输入观察图像和参照图像，生成观察图像和参照图像的差分图像。差分图像是通过扫描滑动窗口来计算出观察图像以及参照图像的均方误差并进行图像化而得到的。

显示图像生成部9计算由差分图像生成部8求出的均方误差的总和，在总和大于规定的阈值的情况下，选择参照图像作为显示图像，在总和在规定的阈值以下的情况下，选择差分图像作为显示图像。

显示控制部11被输入由摄像部5取得的观察图像和由显示图像生成部9生成的显示图像，以规定时间间隔切换规定次数而输出到显示部4。作为显示部4中的显示的切换的规定次数，优选设定为多次而不是1次。

以下说明使用了这样构成的本实施方式的观察装置1的观察方法。

在本实施方式的观察方法中，如图2所示，通过图像取得部2拍摄由显微镜装置100成像的被摄体而取得观察图像(步骤S1)，基于所取得的观察图像，通过参照图像生成部7生成与观察图像相比消除了图像中的异常的参照图像(步骤S2)。

基于观察图像的参照图像的生成是通过对预先学习没有异常的被摄体的正解图案并提取出能够再现正解图案的参数的网络输入观察图像来进行的。

然后，通过差分图像生成部8生成所生成的参照图像和观察图像的差分图像(步骤S3)，在显示图像生成部9中根据差分图像计算差分的大小(步骤S4)，判定差分的大小是否大于规定的阈值(步骤S5)。

当判定的结果为差分的大小大于规定的阈值的情况下，选择参照图像作为显示图像(步骤S6)，当差分的大小在规定的阈值以下的情况下，选择差分图像作为显示图像(步骤S7)，通过显示控制部11按照规定的时间间隔切换显示观察图像和显示图像(步骤S8)。然后，判定是否执行了规定次数的观察图像和显示图像的切换(步骤S9)，在切换未达到规定次数的情况下，反复进行从步骤S1开始的步骤，在执行了规定次数的切换的情况下，结束处理。

根据本实施方式的观察装置1及观察方法，与通过比较观察图像和预先生成的参照图像来检测观察图像中的异常的方法不同，根据所取得的观察图像来生成与观察图像相比消除了图像中的异常的参照图像，因此，能够使被摄体的大小、配置、使用的光学系统和光源等拍摄条件全部一致。即，根据本实施方式的观察装置1及观察方法，具有如下优点：不需要对取得观察图像及参照图像时的拍摄条件进行调整，能够简单且高精度地向观察者通知被摄体中的异常的发生部位。

在观察图像和参照图像的差分大的情况下，选择参照图像作为显示图像，切换显示观察图像和参照图像。在差分大的情况下，通过切换显示仅异常的有无不同的观察图像和参照图像，能够利用残像使用户容易地识别异常。

另一方面，在观察图像和参照图像的差分小的情况下，选择差分图像作为显示图像，切换显示观察图像和差分图像。在差分小的情况下，看漏异常的可能性高，所以，通过显示直接表示差分的差分图像，能够防止用户看漏异常。

此外，通过多次执行观察图像和显示图像的切换，能够更准确地识别异常。

此外，在本实施方式中，设为控制部3具备差分图像生成部8以及显示图像生成部9，但是可以代替于此，而如图3所示那样，控制部3具备参照图像生成部7、存储部10以及显示控制部11，通过参照图像生成部7根据观察图像生成参照图像，通过显示控制部11多次切换观察图像和参照图像并输出到显示部4。

另外，如图4所示，也可以不具备显示图像生成部9。在该情况下，显示控制部11定期地切换观察图像、参照图像以及差分图像并将它们输出到显示部4即可。

另外，构建了预先通过使用了正解图案的学习来提取出能够再现正解图案的参数的网络，但对于不是反复结构的被摄体，也可以根据需要实施使用了区域提取的图案匹配等以往的图像处理的预处理。一般地，通过消除在学习数据中包含的偏差，能够期待泛化性能以及学习速度的提高，所以，作为预处理，进行归一化、标准化、不相关化或者白化等处理，但是不限于这些。

另外，虽然利用了在观察前预先学习的学习完毕的网络，但也可以取而代之，由用户在观察开始紧前指定观察被摄体来执行学习。

另外，基于差分的大小来选择显示图像，但也可以代替它而使用用户界面来使用户进行选择。

另外，图像的切换显示的开始和停止可以由用户任意选择，也可以变更显示图像。

接着，以下参照附图说明本发明的第二实施方式的观察装置21。

在本实施方式的说明中，对与上述的第一实施方式的观察装置1的结构相同之处标注相同的标号而省略其说明

本实施方式的观察装置21如图5所示，具备视野移动监视部(视野移动状态检测部)22，其基于设置在显微镜装置100上的编码器等传感器所检测到的载物台位置信息，监视视野的停止以及停止时间。

视野移动监视部22如图6所示，在取得观察图像后(步骤S1)，通过视野移动监视部22判定视野是否停止(步骤S10)，在检测出视野停止的情况下，对停止时间进行计数(步骤S12)，并且使控制部3开始生成参照图像、差分图像和显示图像，并开始切换显示观察图像和显示图像。在未检测出视野停止的状态下，对控制部3发出指令，以使显示部4显示观察图像本身(步骤S11)，执行从步骤S1开始的步骤。

另外，当从视野移动监视部22接收到停止时间的信息时，显示控制部11根据停止时间的大小决定显示方法(步骤S13)。具体而言，如图7所示，判定停止时间T是否在第一阈值T_S以下(步骤S131)，在停止时间T在第一阈值T_S以下的情况下，显示控制部11以切换速度N_S来切换观察图像和显示图像(步骤S132)。另外，在停止时间大于第一阈值T_S的情况下，判定停止时间T是否在第二阈值T_M以下(步骤S133)，在在第二阈值T_M以下的情况下，显示控制部11以切换速度N_M来切换观察图像和显示图像(步骤S134)。此外，在停止时间大于第二阈值T_M的情况下，以高于切换速度N_M的切换速度N_L来切换观察图像和显示图像(步骤S135)。

视野的停止时间与对不协调感的判断的容易度有关，该不协调感来自观察视野中的被摄体的损伤等异常以及与假定的正解图案的差异，在停止时间短的情况下，处于比较容易发现异常的状态、或者处于容易判断是否异常的状态。

另一方面，在视野的停止时间长的情况下，处于微小的损伤或缺陷的情况或判断犹豫的状态。

根据本实施方式的观察装置21，由于停止时间越长，越容易残留残像感，所以能够快速切换显示，提高诱目性。

此外，上述的切换方法是一个例子，例如在停止时间长、判断犹豫的状态下，在最初高速地进行显示切换后，暂时降低切换速度等，可以根据用户的使用方便性进行设定。

另外，在本实施方式中，与第一实施方式同样地，根据观察图像与参照图像的差分的大小来决定作为显示图像选择的图像，但也可以代替它而如图8所示，根据视野的停止时间T来决定(步骤S14)。在图8所示的例子中，在停止时间T为阈值T_M以下的情况下，选择参照图像作为显示图像，在大于阈值T_M的情况下，选择差分图像作为显示图像。在大于阈值T_M的情况下，可以选择参照图像和差分图像作为显示图像。

在停止时间长、判断犹豫的状态下，能够确认在观察图像内出现的微小异常作为差分以何种程度出现。另外，通过重新直视与正解图案的差异，容易进行最终的判断。选择显示图像的阈值可以是任意的。

另外，在视野移动监视部22中监视视野的停止以及停止时间，但除此之外，也可以如图9及图10所示，监视视野返回的有无(步骤S15)。在视野以预先设定的规定的移动模式移动的情况下，认定为“无视野返回”(步骤S16)，在视野返回到一度观察的观察视野的情况下，认定为“发生视野返回”(步骤S17)。

然后，在发生了视野返回的情况下(步骤S18)，与未发生视野返回的情况下的显示方法不同，以最高速进行显示的切换即可(步骤S19)。由于视野返回的发生是难以判断而犹豫的状态，所以通过与停止时间最长时的设定同样，能够容易发现异常。

此外，也可以如图11所示，在视野移动监视部22中，监视视野的移动速度(步骤S20)。判定移动速度V是否在规定的阈值Vs以下(步骤S20)，在移动速度V在规定的阈值Vs以下的情况下，使控制部3开始生成参照图像、差分图像及显示图像，并开始切换显示观察图像和显示图像。在移动速度V大于阈值Vs的情况下，对控制部3发出指令，以使显示部4显示观察图像本身(步骤S11)。

另外，当从视野移动监视部22接收到移动速度V的信息时，显示控制部11根据移动速度V的大小决定显示方法(步骤S21)。具体地说，如图12所示，判定移动速度V是否为0<V(步骤S211)，在移动速度V为0<V(详细而言，0<V≤Vs)的情况下，显示控制部11以切换速度N_S来切换观察图像和显示图像(步骤S212)。在移动速度V＝0即视野停止的情况下，显示控制部11以切换速度N_M来切换观察图像和显示图像(步骤S213)。

作为载物台的移动速度开始下降的主要原因，可以举出在视野内发现与通常不同的像的情况。在这种情况下，通过切换显示观察图像和显示图像以防止看漏，可以提高诱目性。

另外，也可以代替显示控制部11根据停止时间来变更切换速度，而如图13所示，当从视野移动监视部22接收到停止时间的信息时，显示图像生成部(图像校正部)9根据停止时间的大小来校正作为显示图像的差分图像。具体而言，如图14所示，判定停止时间T是否在阈值T_M以下(步骤S14)，在停止时间T在阈值T_M以下的情况下，不进行显示图像的校正，在停止时间T大于阈值T_M的情况下，显示图像生成部9进行显示图像的校正(步骤S22)。

显示图像的校正例如针对饱和度或对比度来进行。通过将饱和度或对比度校正得较高，可以提高诱目性。此外，显示图像生成部(差分计算部)9也可以计算观察图像和参照图像的差分的大小，根据差分的大小变更饱和度或对比度的校正等级。如果差分越小饱和度或对比度越高，则即使对于微小的损伤等异常，也能够提高诱目性。此外，在被摄体为单色的情况下，也可以进行赋予伪彩色的校正。此外，可以校正参照图像，而不生成差分图像。

标号说明

1、21观察装置

2图像取得部(拍摄部)

4显示部

7参照图像生成部

8差分图像生成部9显示图像生成部(图像校正部、差分计算部)11显示控制部(显示调节部)

22视野移动监视部(视野移动状态检测部)