具体实施方式

[第一实施方式]

图1是表示本实施方式所涉及的显微镜系统1的结构的图。图2是表示控制装置10的结构的图。显微镜系统1为俯看目镜104来观察试样的显微镜系统，至少具备物镜102、成像透镜103、目镜104、投影图像生成部13、以及投影装置131。在之后，以病理医生在病理诊断中使用显微镜系统1的情况为例进行说明，但显微镜系统1的用途不限于此。

显微镜系统1使用投影装置131将投影图像投影至通过物镜102和成像透镜103形成有试样的光学图像的像面。该投影图像包括作为试样的图像并且拍到比与光学图像对应的实际视场大的区域的图像。由此，显微镜系统1的利用者能够大致掌握试样的更大范围并且通过光学图像更详细地观察该试样的一部分。因此，显微镜系统1能够辅助利用者通过光学图像观察试样进行的作业。

下面参照图1和图2来详细地说明显微镜系统1的结构的具体例。如图1所示，显微镜系统1具备显微镜100、控制装置10、以及输入装置20。此外，显微镜系统1除此以外还可以具备显示装置等。

显微镜100例如为正立显微镜，具备显微镜主体110、镜筒120、中间镜筒130、以及摄像装置140。此外，显微镜100可以为倒立显微镜。

显微镜主体110具备载置试样的载置台101、向目镜104引导来自试样的光的物镜(物镜102、物镜102a)、落射照明光学系统、以及包括视场光圈FS的透过照明光学系统。载置台101可以为手动载置台，也可以为电动载置台。期望在换镜旋座装设有倍率不同的多个物镜。例如，物镜102为4倍物镜，物镜102a为20倍物镜。此外，显微镜主体110具备落射照明光学系统和透过照明光学系统中的至少一方即可。虽然表示了透过照明光学系统具备视场光圈FS的例子，但可以是落射照明光学系统具备视场光圈。另外，落射照明光学系统可以在物镜102与后述的光偏转元件132之间具备未图示的中继光学系统，视场光圈可以设置于中继光学系统形成的中间像位置。

显微镜主体110还具备用于切换显微技术(日语：顕鏡法)的转盘111。在转盘111例如配置有在荧光观察法中使用的荧光立方、在明视场观察法中使用的半透半反镜等。此外，显微镜主体110可以用相对于光路自如插拔的方式具备在特定的显微技术中使用的光学元件。具体地说，显微镜主体110例如可以具备在微分干涉观察法中使用的DIC棱镜、偏光片、分析仪等。

镜筒120为装设有目镜104和摄像装置140的三眼镜筒。在镜筒120内设置成像透镜103。成像透镜103配置于物镜102与目镜104之间的光路上。成像透镜103基于来自试样的光在目镜104与成像透镜103之间的像面形成试样的光学图像。另外，成像透镜103基于来自试样的光在摄像元件141与成像透镜103之间的像面也形成试样的光学图像。成像透镜103基于来自投影装置131的光在这些像面还形成后述的投影图像。由此，在像面中，投影图像重叠于光学图像上，因此显微镜系统1的利用者能够通过俯看目镜104看到投影图像重叠于光学图像的重叠图像。

此外，成像透镜103具备以不变更像面的位置的方式使焦距可变的功能、以不变更焦距的方式使像面的位置可变的功能、或者分别使像面的位置和焦距独立地可变的功能。实现这些功能的透镜包括使构成成像透镜103的透镜的至少一部分在光轴方向上移动的透镜。另外，还包括通过电控制构成成像透镜103的光学系统中的至少一部分透镜来使透镜的曲率半径和折射率中的至少一方可变的有源透镜。有源透镜例如可以为液体透镜。

中间镜筒130设置于显微镜主体110与镜筒120之间。中间镜筒130具备投影装置131、光偏转元件132、以及投影透镜133。

投影装置131为根据来自控制装置10的命令将投影图像投影至形成有光学图像的像面的装置。投影装置131例如为利用液晶显示器的投影仪、利用数字镜设备的投影仪、以及利用LCOS的投影仪等。

光偏转元件132使从投影装置131射出来的光朝向像面偏转。光偏转元件132例如为半透半反镜等分束器。光偏转元件132可以使用使透过率和反射率可变的可变分束器。另外，光偏转元件132可以使用分色镜等。光偏转元件132配置于物镜102与成像透镜103之间的光路上。

投影透镜133为向成像透镜103引导来自投影装置131的光的透镜。通过投影透镜133的焦距来调整向像面投影的投影图像的倍率。此外，投影透镜133也可以与成像透镜103同样地采用具备使像面的位置与焦距中的至少一方可变的功能的透镜、例如有源透镜等。

摄像装置140例如为数字摄像机，具备摄像元件141和转接透镜142。摄像装置140基于来自试样的光来获取试样的数字图像数据。

摄像元件141为检测来自试样的光的光检测器的一个例子。摄像元件141为二维图像传感器，例如为CCD图像传感器、CMOS图像传感器等。摄像元件141检测来自试样的光，并且转换为电信号。转接透镜142向摄像元件141投影形成于像面的光学图像。

在投影装置131在像面投影有投影图像时，来自投影装置131的光也入射于摄像装置140。因此，摄像装置140获取的数字图像除了试样的光学图像以外还能够包括投影图像。但是，通过调整投影装置131的投影期间和摄像装置140的曝光期间，摄像装置140能够获取不包括投影图像的试样的数字图像数据。

输入装置20向控制装置10输出与利用者的输入操作相应的操作信号。输入装置20例如为键盘，但可以包括鼠标、操纵杆、触摸面板等。另外，输入装置20可以为接受声音输入的装置，例如麦克风等。在该情况下，控制装置10可以具备识别从输入装置20输入来的声音指示的功能。

控制装置10控制显微镜系统1整体。控制装置10与显微镜100以及输入装置20连接。如图1所示，控制装置10具备摄像控制部11、图像分析部12、投影图像生成部13、投影控制部14、以及记录部15作为主要与投影装置131的控制有关的构成要素。

摄像控制部11通过控制摄像装置140来获取试样的数字图像数据。摄像控制部11获取到的数字图像数据被输出至图像分析部12、投影图像生成部13、以及记录部15。

图像分析部12分析摄像控制部11获取到的数字图像数据，并且将分析结果输出至投影图像生成部13。不特别限定图像分析部12进行的分析处理的内容。

图像分析部12例如可以基于通过摄像元件141获取到的数字图像数据和后述的映射图像数据来确定投影至像面的映射图像内的与光学图像对应的位置，并且将该位置信息输出至投影图像生成部13。

更具体地说，图像分析部12通过比较映射图像与数字图像来确定上述的位置。图像分析部12可以每当获取到数字图像数据，进行通过图像比较来确定位置的处理。当通过图像比较一旦确定出位置时，映射图像中包括的坐标信息与显微镜系统1所管理的坐标信息的关系确定。因此，在之后，图像分析部12可以不用进行映射图像与数字图像的比较，基于映射图像的坐标信息和试样的移动量来更新该位置。

试样的移动量例如可以基于在不同的时刻获取到的多个数字图像数据来计算。具体地说，例如能够通过对在不同的时刻获取到的数字图像数据间进行图像分析来计算数字图像数据中拍到的被摄体的移动距离。另外，还能够通过相对于映射图像分别比较在不同的时刻获取到的数字图像来求出各个图像相对于映射图像的坐标，从而根据这些坐标计算移动量。在该情况下，即使在不同的时刻获取到的数字图像数据表示的数字图像不具有空间重叠也能够计算移动量。另外，如果载置台101为电动载置台，则可以基于电动载置台的控制信息来计算移动量。电动载置台的控制信息例如可以为与控制装置10向载置台101输出的移动指示有关的信息，也可以为与从载置台101向控制装置10输出的移动结果有关的信息。此外，与移动结果有关的信息例如为来自设置于载置台101的编码器的输出信息等。

另外，图像分析部12例如将数字图像数据表现的数字图像中拍到的一个以上的构造物分类为一个以上的类，并且输出包括确定被分类为该一个以上的类中的至少一个类中的构造物的位置的信息的分析结果。更具体地说，图像分析部12可以根据染色强度来将数字图像中拍到的细胞分类，并且生成包括细胞被分类的类信息和确定该细胞的轮廓或该细胞的核的轮廓的位置信息的分析结果。此外，在该情况下，期望被分类到至少一个类中的构造物是成为病理医生进行的病理诊断中的判定的根据的对象物。

另外，图像分析部12例如可以基于数字图像数据来追踪试样内的关注区域。在该情况下，期望图像分析部12输出的分析结果包括关注区域的位置信息和表示追踪的正确与否的追踪结果信息。此外，应该追踪的关注区域可以通过分析数字图像数据来决定，也可以通过利用者使用输入装置20进行指定来决定。

投影图像生成部13生成投影图像数据。将通过投影图像生成部13生成的投影图像数据输出至投影控制部14和记录部15。投影图像数据表示的投影图像包括映射图像。在此，映射图像为第一辅助图像的一个例子。映射图像为试样的图像，并且是拍到比与形成于像面的光学图像对应的实际视场大的区域的图像。因此，映射图像例如可以为使用倍率比物镜102低的物镜获取到的试样的图像。另外，可以为如Whole Slide Image这样的通过平铺多个图像生成的图像。在该情况下，多个图像为拍到比实际视场大的试样的区域的彼此不同的部分的图像。此外，之后以通过平铺多个图像生成的映射图像为例进行说明。

通过投影图像生成部13生成的投影图像数据中包括的映射图像数据可以为通过与显微镜系统1不同的系统生成的图像数据。投影图像生成部13可以使用通过其它系统获取到的映射图像数据来生成投影图像数据。另外，投影图像生成部13可以基于通过摄像装置140获取到的试样的多个数字图像数据来生成映射图像数据。此外，映射图像数据是第一辅助图像数据的一个例子，并且是表示映射图像的图像数据。

投影图像可以除了映射图像以外还包括其它图像。例如，投影图像可以包括表示映射图像内的与光学图像对应的位置的位置图像。位置图像是第二辅助图像的一个例子。投影图像生成部13可以基于从图像分析部12输出来的、映射图像内的与光学图像对应的位置信息来生成位置图像数据，由此可以生成表示包括映射图像和位置图像的投影图像的投影图像数据。此外，位置图像数据为表示位置图像的图像数据。

另外，投影图像可以包括表示图像分析部12的分析结果的分析图像。该分析图像是第三辅助图像的一个例子。投影图像生成部13可以基于从图像分析部12输出来的类信息和位置信息来生成分析图像数据，由此可以生成表示投影图像的投影图像数据，所述投影图像包括映射图像和表示分析结果的分析图像。此外，分析图像数据为表示分析图像的图像数据。

另外，投影图像可以包括表示图像分析部12的追踪结果的分析图像。该分析图像是第四辅助图像的一个例子，例如为表示关注区域的追踪的正确与否的图像。投影图像生成部13可以基于从图像分析部12输出来的关注区域的追踪结果信息来生成分析图像数据，由此可以生成表示投影图像的投影图像数据，所述投影图像包括映射图像和表示追踪结果的分析图像。

投影控制部14通过控制投影装置131来控制向像面进行的投影图像的投影。投影控制部14例如可以根据显微镜系统1的设定来控制投影装置131。具体地说，投影控制部14可以根据显微镜系统1的设定来决定是否将投影图像投影至像面，也可以是显微镜系统1控制投影装置131，以使在规定的设定时，投影装置131将投影图像投影至像面。也就是说，显微镜系统1能够通过设定来变更是否将投影图像投影至像面。

另外，投影控制部14例如可以控制投影装置131，以使投影装置131的发光期间与摄像元件141的曝光期间不重叠。由此，能够防止在数字图像中拍进投影图像。

记录部15记录数字图像数据。记录部15可以在检测到利用者进行的记录指示的输入时记录数字图像数据。另外，记录部15可以当显微镜系统1检测到规定的事件时响应该事件来一同记录与事件相应的信息和数字图像数据。例如，当基于图像分析部12的分析结果检测到癌细胞时，记录部15可以记录该癌细胞的位置信息和数字图像数据。另外，记录部15除此以外还可以记录映射图像数据、分析结果、坐标信息等。

此外，控制装置10可以为通用装置，也可以为专用装置。控制装置10不特别地限定为该结构，例如可以具有如图2所示的物理结构。具体地说，控制装置10可以具备处理器10a、存储器10b、辅助存储装置10c、输入输出接口10d、介质驱动装置10e、通信控制装置10f，并且以上这些可以通过总线10g彼此连接。

处理器10a例如为包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器10a可以通过执行存储器10b、辅助存储装置10c、存储介质10h中保存的程序并且进行程序化的处理来实现上述的与投影装置131的控制有关的构成要素(摄像控制部11、图像分析部12、投影图像生成部13等)。另外，处理器10a可以使用ASIC、FPGA等专用处理器构成。

存储器10b为处理器10a的工作存储器。存储器10b例如为RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置10c为EPROM(ErasableProgrammable ROM：可擦编程只读存储器)、硬盘驱动器(Hard Disc Drive)等非易失性的存储器。输入输出接口10d与外部装置(显微镜100、输入装置20)交换信息。

介质驱动装置10e能够将存储器10b和辅助存储装置10c中保存的数据输出至存储介质10h，另外，能够从存储介质10h读出程序和数据等。存储介质10h为可携带的任意的记录介质。存储介质10h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)快闪存储器、CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能光盘)等。

通信控制装置10f向网络进行信息的输入输出。作为通信控制装置10f，例如能够采用NIC(Network Interface Card：网络适配器)、无线LAN(Local Area Network：局域网)卡等。总线10g将处理器10a、存储器10b、辅助存储装置10c等连接为彼此能够进行数据的发送接收。

如以上那样构成的显微镜系统1进行图3所示的图像投影处理。图3是显微镜系统1进行的图像投影处理的流程图。图4是从显微镜系统1的目镜104能够看到的图像的一个例子。图5是显微镜系统1进行的投影图像数据生成处理的流程图的一个例子。图6是用于说明映射图像M1的图。在以下参照图3至图6来说明显微镜系统1的图像投影方法。

首先，显微镜系统1将试样的光学图像投影至像面(步骤S10)。在此，成像透镜103将物镜102取入的来自试样的光聚光至像面来形成试样的光学图像。由此，如图4所示，在像面上的区域R1投影光学图像O1。此外，区域R1表示来自物镜102的光束入射的像面上的区域。另外，区域R2表示通过俯看目镜104能够看到的像面上的区域。

接着，显微镜系统1获取试样的数字图像数据(步骤S20)。在此，摄像装置140通过基于来自试样的光拍摄试样来生成数字图像数据。此外，摄像元件141具有矩形形状，因此与数字图像对应的试样上的区域同与光学图像对应的试样上的区域、也就是实际视场不完全一致。区域R4表示与通过摄像装置140能够拍摄的试样上的区域对应的像面上的区域。此外，在图4中，区域R4收敛在区域R1内，但区域R4可以超出区域R1。其中，期望区域R1的中心位置与区域R4的中心位置一致。

另外，为了使区域R1的外周的边界更清晰，可以在与试样上的观察面共轭的位置配置视场光圈。例如，期望将视场光圈配置于显微镜主体110的落射照明光路110a上、或透过照明光路110b上的与观察面共轭的位置。此外，在进行荧光观察的情况下，即使通过照明光路限制了光束也会全方位地产生来自试样的荧光。因此，期望在被置于来自投影装置131的光路同来自物镜102的光路合流的位置的光偏转元件132与物镜102之间设置用于生成中间像的中继光学系统，并且在中间像位置配置视场光圈。

之后，显微镜系统1生成投影图像数据(步骤S30)。在此，显微镜系统1进行图5所示的投影图像数据生成处理。

当开始投影图像数据生成处理时，首先，显微镜系统1的投影图像生成部13获取映射图像数据(步骤S31)。在此，投影图像生成部13例如通过从辅助存储装置10c等读出预先生成的映射图像数据来获取映射图像数据。此外，映射图像数据表示的映射图像M1如图6所示为将多个要素图像E平铺而成的图像。

接着，显微镜系统1基于数字图像数据和映射图像数据来确定位置(步骤S32)。在此，图像分析部12通过比较数字图像和映射图像来确定映射图像上的与光学图像对应的位置，并且将位置信息输出至投影图像生成部13。

当位置被确定时，显微镜系统1生成表示包括映射图像和位置图像的投影图像的投影图像数据(步骤S33)。在此，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。而且，将位置图像数据和映射图像数据合成来生成表示包括映射图像和位置图像的投影图像的投影图像数据。此外，位置图像P1例如图6所示为表示映射图像上的与光学图像对应的位置的矩形标记。

当投影图像数据生成处理结束时，显微镜系统1将投影图像投影至像面(步骤S40)。在此，通过投影控制部14基于通过步骤S33生成的投影图像数据来控制投影装置131，投影装置131将投影图像投影至像面。更详细地说，投影装置131如图4所示在映射图像M1内的与光学图像O1对应的位置投影位置图像P1。由此，在像面形成光学图像O1与投影图像(映射图像M1、位置图像P1)重叠的图像。此外，图4所示的区域R3表示投影装置131在像面投影的区域。

在显微镜系统1中，在形成光学图像O1的像面投影映射图像M1。由此，利用者不用使眼睛离开目镜104就能够大致掌握试样的更大的范围并且通过光学图像更详细地观察该试样的一部分。并且，通过在映射图像M1上投影位置图像P1，利用者能够容易地掌握当前正在观察的区域位于试样内的哪个位置、以及该区域相对于整体区域为多大。因而，显微镜系统1能够辅助利用者通过光学图像观察试样进行的作业。例如，利用者容易判断应该使载置台向哪个方向移动多少等，其结果是能够减轻显微镜100的载置台操作的负担。

并且，在显微镜系统1中，与基于数字图像进行病理诊断的WSI系统不同，不需要高价的设备。因而，根据显微镜系统1，能够回避设备成本大幅度上升并且实现利用者的负担的减轻。

此外，在以上的例子中表示了使用预先获取到的映射图像数据来生成投影图像数据的例子，但可以在生成投影图像数据时生成映射图像数据。例如图7所示，投影图像生成部13可以每当摄像区域F在作为试样的显微镜用标本P上移动就获取数字图像数据，每当获取到数字图像数据时生成映射图像数据，由此更新映射图像。在图7中，表示伴随摄像区域F的移动，映射图像依次被更新为映射图像M1a、映射图像M1b、映射图像M1c，并且这些映射图像上的与摄像区域F对应的位置重叠有位置图像P1的情形。

此外，当在摄影区域F移动的过程中生成映射图像的情况下，例如可以使用日本特开2018-54690所记载的技术。也就是说，可以通过逐次对获取到的数字图像数据进行图像分析，计算两张图像间的运动向量，在累积了运动向量后的当前位置贴合数字图像数据来生成映射图像并且更新。在该情况下，能够不用使用电动载置台或识别载置台位置的编码器，通过手动载置台生成映射图像，因此能够构建价格低的系统。

另外，在映射图像数据的生成中使用的多个数字图像数据可以包括在物镜102的焦点位置在物镜102的光轴方向上不同的多个状态下获取到的两张以上的数字图像数据。例如，如图8所示，在与光轴正交的方向上的各位置，使物镜102或载置台101在光轴方向上移动来获取多个数字图像数据，由此构建全焦点图像，并且通过平铺全焦点图像来构建映射图像。此外，图8所示的映射图像(映射图像M1d、M1e、M1f)中的映射图像M1e和映射图像M1f表示全焦点图像。

并且，在载置台101为电动载置台的情况下，如图9所示，在开始观察前，显微镜系统1可以控制载置台101来自动地扫描利用者指定出的扫描范围S。而且，投影图像生成部13可以在载置台101的移动完成后基于在移动过程中获取到的多个数字图像数据来生成映射图像M1g。

作为扫描范围S的指定方法，例如可以采用利用者一边观察目镜104一边通过鼠标的点击等在扫描范围S的外周附近指定三处的方法。在该情况下，显微镜系统1将包括指定出的三处的范围自动设定为扫描范围即可。

此外，记录部15可以在生成映射图像数据时，记录映射图像数据、以及在映射图像数据的生成中使用的多个数字图像数据各自表示的数字图像的坐标信息。由此，由于映射图像数据具有坐标信息，因此容易特定应该投影位置图像的位置。

并且，记录部15可以除了映射图像数据以外还记录数字图像数据。在该情况下，期望将坐标信息与数字图像数据关联地记录。并且，在图像分析部12分析数字图像数据的情况下，可以将坐标信息与该分析结果关联地记录。例如，如果分析结果为癌细胞的有无，则能够得到映射图像内的癌细胞的分布信息。

显微镜系统1可以进行图10所示的投影图像数据生成处理来代替图5所示的投影图像数据生成处理。图10是显微镜系统1进行的投影图像数据生成处理的流程图的其它例子。图11是从显微镜系统1的目镜104能够看到的图像的其它例子。

当开始图10所示的投影图像数据生成处理时，显微镜系统1获取映射图像数据(步骤S51)，并且基于数字图像数据和映射图像数据来确定位置(步骤S52)。步骤S51和步骤S52的处理与图5所示的步骤S31和步骤S32相同。

之后，显微镜系统1分析数字图像数据(步骤S53)。在此，图像分析部12分析数字图像数据，并且例如生成辅助病理诊断的信息。具体地说，通过分析来确定细胞的核，根据其染色强度来进行分类。

当分析结束时，显微镜系统1生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据(步骤S54)。在此，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。并且，投影图像生成部13基于从图像分析部12输出来的分析结果来生成分析图像数据。而且，投影图像生成部13将位置图像数据、映射图像数据以及分析图像数据合成来生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据。

图11的图像V2表示包括映射图像M2和位置图像P1的投影图像与光学图像O2重叠的情形。与此相对地，通过进行图10所示的投影图像数据生成处理，投影图像还包括分析图像A1。因此，如图11的图像V3所示，分析图像A1重叠于光学图像O2。在图像V3中，通过染色强度对细胞的核进行颜色分类，因此能够容易地判别各细胞的染色状态。

因而，显微镜系统1通过进行图10所示的投影图像数据生成处理能够更好地辅助利用者通过光学图像观察试样进行的作业。例如，利用者除了得到关于通过映射图像进行的载置台操作的辅助以外，还能够得到病理诊断的辅助。

此外，显微镜系统1的图像分析部12可以使用规定的算法进行分析处理，也可以使用已训练的神经网络进行分析处理。已训练的神经网络的参数可以通过在与显微镜系统1不同的装置中训练神经网络来生成，并且控制装置10可以下载生成的参数来应用于图像分析部12中。

图12是表示神经网络NN的结构的图。神经网络NN具有输入层、多个中间层、以及输出层。通过将输入数据D1输入至输入层，能够将从输出层输出的输出数据D2与正解数据D3进行比较。而且，通过误差逆传播法进行学习，由此更新神经网络NN的参数。此外，输入数据D1与正解数据D3的组为监督学习的训练数据。

显微镜系统1可以进行图13所示的投影图像数据生成处理来代替图5所示的投影图像数据生成处理。图13是显微镜系统1进行的投影图像数据生成处理的流程图的另一其它例子。图14是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

当开始图13所示的投影图像数据生成处理时，显微镜系统1获取映射图像数据(步骤S61)，并且基于数字图像数据和映射图像数据来确定位置(步骤S62)。步骤S61和步骤S62的处理与图5所示的步骤S31和步骤S32相同。

之后，显微镜系统1分析数字图像数据(步骤S63)。在此，图像分析部12分析数字图像数据，并且例如追踪关注区域。具体地说，图像分析部12例如追踪试样内的确定的细胞，将该细胞的位置信息和包括追跡的正确与否的追跡结果作为分析结果输出至投影图像生成部13。

当分析结束时，显微镜系统1基于分析结果来移动载置台101(步骤S64)。在此，根据来自控制装置10的命令，载置台101基于通过步骤S63得到的追踪结果移动，以使关注区域位于物镜102的光轴上。

当载置台101的移动结束时，显微镜系统1生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据(步骤S65)。在此，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。并且，投影图像生成部13基于从图像分析部12输出来的分析结果中的关于追踪的正确与否的信息来生成分析图像数据。而且，投影图像生成部13将位置图像数据、映射图像数据以及分析图像数据合成，生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据。

图14的图像V4表示在像面中重叠有投影图像和光学图像O3的情形。投影图像包括映射图像M3、位置图像P1以及分析图像A2。分析图像A2为表示关注区域的追踪的正确与否的、类似于信号灯的图像。分析图像A2为在追踪成功的期间中蓝灯点亮的图像，在追踪失败的期间中红灯点亮的图像。另外，图14所示的关注区域T表示包括作为追踪对象的细胞的区域。表示该关注区域T的矩形的图像也可以包括在投影图像中。另外，表示细胞的移动的轨迹的虚线也可以包括在投影图像中。

显微镜系统1可以进行图15所示的投影图像数据生成处理来代替图5所示的投影图像数据生成处理。图15为显微镜系统1进行的投影图像数据生成处理的流程图的另一其它例子。图16是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

当开始图15所示的投影图像数据生成处理时，显微镜系统1获取映射图像数据(步骤S71)，并且基于数字图像数据和映射图像数据来确定位置(步骤S72)。步骤S71和步骤S72的处理与图5所示的步骤S31和步骤S32相同。

之后，显微镜系统1根据实际视场的尺寸来决定映射图像的尺寸(步骤S73)。在此，投影图像生成部13例如可以不取决于实际视场的尺寸来以投影至像面的位置图像P1所示的范围成为固定的大小的方式决定映射图像的尺寸。

当决定映射图像的尺寸时，显微镜系统1生成表示包括映射图像和位置图像的投影图像的投影图像数据(步骤S74)。在此，投影图像生成部13生成通过步骤S73决定出的尺寸的映射图像数据。并且，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。而且，投影图像生成部13合成映射图像数据和位置图像数据来生成表示包括映射图像和位置图像的投影图像的投影图像数据。

图16的图像V1为在使用4倍的物镜102进行的观察过程中形成于像面的图像，图16的图像V5和图像V6为在使用20倍的物镜102a进行的观察过程中形成于像面的图像。如图16的图像V1和图像V5所示，通过根据实际视场的大小(倍率)来变更映射图像(映射图像M1、映射图像M4)的大小，可以不取决于倍率地维持位置图像P1的大小。另外，如图16的图像V1和图像V6所示，即使实际视场的大小(倍率)改变，映射图像M1的大小也不变更，并且还可以根据实际视场的大小来变更位置图像(位置图像P1、位置图像P2)的大小。在该情况下，物镜的倍率从4倍变为20倍，观察倍率扩大了5倍，因此位置图像P2以将位置图像P1的一个边的长度缩小至1/5的形式显示于映射图像M1上。

在以上，表示了以映射图像与光学图像重叠的区域少的方式投影映射图像的例子，但例如图17所示，映射图像可以投影至光学图像上。此外，图17的图像V7中表示了投影光学图像的区域R4(来自物镜的光束入射的像面上的区域)的大小与从目镜104能够看到的像面上的区域R5的大小几乎相同的例子。

[第二实施方式]

图18是表示本实施方式所涉及的显微镜200的结构的图。此外，本实施方式所涉及的显微镜系统除了具备显微镜200代替显微镜100这一点以外与显微镜系统1相同。

显微镜200关于具备有源方式的自动调焦装置300这一点与显微镜100不同。其它点与显微镜100相同。

自动调焦装置300具备激光器301、准直透镜302、遮蔽板303、偏振光分束器304、1/4波片305、分色镜306、成像透镜307、以及二分割检测器308。从激光器301射出来的激光在由准直透镜302准直后通过遮蔽板303切断其一半的光束。剩余的一半的光束被偏振光分束器304反射，经由1/4波片305、分色镜306入射于物镜102，通过物镜102照射于试样。由试样反射后的光经由物镜102、分色镜306、1/4波片305再次入射于偏振光分束器304。第二次入射于偏振光分束器304的激光在被偏振光分束器304反射后两次通过1/4波片305。因而，具有与第一次入射于偏振光分束器304时的偏光方向正交的偏光方向。因此，激光透过偏振光分束器304。之后，激光通过成像透镜307照射于二分割检测器308。通过二分割检测器308检测出的光量分布根据相对于聚焦状态的偏离量而变化。因此，根据通过二分割检测器308检测出的光量分布来调整载置台101与物镜102之间的距离，由此能够实现聚焦状态。

本实施方式所涉及的显微镜系统在载置台101在与物镜102的光轴正交的方向上移动时，通过自动调焦装置300进行自动调焦处理。由此，相比于显微镜系统1，能够进一步减轻利用者的作业负担。

[第三实施方式]

图19是表示本实施方式所涉及的显微镜系统2的结构的图。显微镜系统2关于具备显微镜400代替显微镜100这一点与显微镜系统1不同。显微镜400具备中间镜筒150代替中间镜筒130。在中间镜筒150中除了投影装置131、光偏转元件132、以及投影透镜133以外还设置有摄像装置140和光偏转元件143。

光偏转元件143使来自试样的光朝向摄像元件141偏转。光偏转元件143例如为半透半反镜等分束器。期望光偏转元件143配置于光偏转元件132与物镜102之间的光路上。由此，能够回避来自投影装置131的光入射于摄像元件141。

根据本实施方式所涉及的显微镜系统2，也能够得到与显微镜系统1同样的效果。

[第四实施方式]

图20是表示本实施方式所涉及的显微镜系统3的结构的图。显微镜系统3关于具备显微镜500代替显微镜100这一点与显微镜系统1不同。显微镜500在显微镜主体110与镜筒120之间具备投影单元160。

投影单元160为具备物镜102、成像透镜103以及目镜104的显微镜用的投影单元。投影单元160中的光学元件的结构与中间镜筒150中的结构相同。即，投影单元160具备基于来自试样的光来获取试样的数字图像数据的摄像装置140和将投影图像向形成光学图像的像面投影的投影装置131。

投影单元160还具备摄像控制部161、图像分析部162、投影图像生成部163、以及投影控制部164。摄像控制部161、图像分析部162、投影图像生成部163、投影控制部164分别与摄像控制部11、图像分析部12、投影图像生成部13、投影控制部14相同。因此，省略详细的说明。

在本实施方式中，只通过将投影单元160安装于已有的显微镜中就能够得到与显微镜系统1相同的效果。因而，根据投影单元160和显微镜系统3，能够容易扩张已有的显微镜系统。

上述的实施方式表示用于使发明的理解变得容易的具体例，本发明的实施方式并不限定于此。显微镜系统、投影单元、以及图像投影方法能够在不脱离权利要求书的范围中进行各种变形、变更。

另外，在上述的实施方式中表示了显微镜包括摄像装置的例子，但上述的技术例如可以对扫描型显微镜提供上述的技术。在该情况下，显微镜可以具备光电倍增管(PMT)等光检测器来代替摄像装置。

另外，试样可以只使用显微镜系统1来观察，也可以除了使用显微镜系统1以外还使用实际视场的大小与显微镜系统1不同的其它系统来观察。其它系统例如图21所示可以为显微镜系统4，也可以为与显微镜系统不同的观察系统。在该情况下，映射图像数据的生成可以使用其它系统即显微镜系统4。另外，试样的映射图像数据的生成可以使用与观察用的显微镜系统不同的其它显微镜系统。例如可以使用利用WSI技术来获取WS(Whole Slide，全载玻片)图像的WSI系统。也就是说，可以使用WS图像的图像数据作为映射图像数据。在该情况下，期望显微镜系统具备自动地对预先获取到的WS图像和被载于显微镜以用于观察的试样进行对照的单元。进行对照的单元例如可以包括读取贴附于试样的条形码、RFID等的读取设备。读取设备例如可以为显微镜100的摄像装置140，也可以为如图22所示的那样的专用的装置30。此外，在图22中描绘了装置30读取被贴附于显微镜用标本P的条形码C的情形。装置30和控制装置10的组合可以构成进行对照的单元。

附图标记说明

1、2、3、4：显微镜系统；10：控制装置；10a：处理器；10b：存储器；10c：辅助存储装置；10d：输入输出接口；10e：介质驱动装置；10f：通信控制装置；10g：总线；10h：存储介质；11、161：摄像控制部；12、162：图像分析部；13、163：投影图像生成部；14、164：投影控制部；15：记录部；20：输入装置；30：装置；100、200、400、500：显微镜；101：载置台；102、102a：物镜；103、307：成像透镜；104：目镜；110：显微镜主体；111：转盘；120：镜筒；130、150：中间镜筒；131：投影装置；132、143：光偏转元件；133：投影透镜；140：摄像装置；141：摄像元件；142：转接透镜；160：投影单元；300：自动调焦装置；301：激光器；302：准直透镜；303：遮蔽板；304：偏振光分束器；305：1/4波片；306：分色镜；308：二分割检测器；A1、A2：分析图像；E：要素图像；F：摄像区域；FS：视场光圈；M1～M5、M1a～M1g：映射图像；O1～O4：光学图像；P：显微镜用标本；P1、P2：位置图像；R1～R4：区域；S：扫描范围；T：关注区域；V1～V7：图像。