具体实施方式

[第一实施方式]

图1是示出本实施方式所涉及的显微镜系统1的结构的图。图2是示出计算机20的结构的图。显微镜系统1是病理医生在病理诊断中使用的显微镜系统，至少具备物镜102、成像透镜103、目镜104以及投影装置133。

显微镜系统1使用投影装置133向通过物镜102和成像透镜103形成有试样的光学图像的像面投射两个种类的投影图像。更具体地说，两个种类的投影图像是基于计算机的分析结果的第一投影图像以及基于包括病理医生在内的显微镜系统1的利用者的输入操作的投影图像。由此，病理医生会看到这些投影图像叠加到光学图像而成的图像。因此，显微镜系统1能够将辅助病理诊断的各种信息提供给正在窥视目镜104来观察试样的病理医生。

下面，参照图1和图2来详细说明显微镜系统1的结构的具体例。如图1所示，显微镜系统1具备显微镜100、显微镜控制器10、计算机20、显示装置30、输入装置40以及识别装置50。

显微镜100例如是正立显微镜，具备显微镜主体110、镜筒120以及中间镜筒130。此外，显微镜100也可以是倒置显微镜。

显微镜主体110具备：载置台101，其载置试样；物镜(物镜102、物镜102a)，其将来自试样的光引导到目镜104；落射照明光学系统；以及透射照明光学系统。载置台101既可以是手动载置台，也可以是电动载置台。期望的是，在换镜旋座上安装有倍率不同的多个物镜。例如，物镜102是4倍的物镜，物镜102a是20倍的物镜。此外，显微镜主体110只要具备落射照明光学系统和透射照明光学系统中的至少一方即可。

显微镜主体110还具备用于切换显微技术的转塔111。在转塔111例如配置有在荧光观察法中使用的荧光立方体、在明视场观察法中使用的半透半反镜等。除此以外，显微镜主体110也可以具备相对于光路而言插拔自如的在特定的显微技术中使用的光学元件。具体地说，显微镜主体110例如也可以具备在微分干涉观察法中使用的DIC棱镜、偏振器、检偏器等。

镜筒120是安装有目镜104的单眼镜筒或双眼镜筒。在镜筒120内设置成像透镜103。成像透镜103配置在物镜102与目镜104之间的光路上。成像透镜103在目镜104与成像透镜103之间的像面基于来自试样的光形成试样的光学图像。另外，成像透镜103还在像面基于来自投影装置133的光形成后述的投影图像。由此，在像面，投影图像被叠加到光学图像上。

中间镜筒130设置于显微镜主体110与镜筒120之间。中间镜筒130具备摄像元件131、光偏转元件132、投影装置133以及光偏转元件134。

摄像元件131是检测来自试样的光的光检测器的一例。摄像元件131是二维图像传感器，例如是CCD图像传感器、CMOS图像传感器等。摄像元件131检测来自试样的光，基于其检测结果来生成试样的数字图像数据。

光偏转元件132是将来自试样的光朝向摄像元件131偏转的第一光偏转元件的一例。光偏转元件132例如是半透半反镜等分束器。作为光偏转元件132，也可以使用能够改变透射率和反射率的可变分束器。光偏转元件132配置在目镜104与物镜102之间的光路上。由此，能够利用摄像元件131得到从与目视观察方向相同的方向观察到的试样的数字图像。

投影装置133是按照来自计算机20的命令将后述的第一投影图像和第二投影图像以能够相互区分的方式投射到像面的投影装置。投影装置133例如是使用液晶设备的投影仪、使用数字反射镜设备的投影仪、使用LCOS的投影仪等。

光偏转元件134是将从投影装置133射出的光朝向像面偏转的第二光偏转元件的一例。光偏转元件134例如是半透半反镜等分束器。作为光偏转元件134，也可以使用能够改变透射率和反射率的可变分束器。作为光偏转元件134，也可以使用二向色镜等。光偏转元件134配置在像面与光偏转元件132之间的光路上。由此，能够避免来自投影装置133的光入射到摄像元件131。

显微镜控制器10对显微镜100、特别是显微镜主体110进行控制。显微镜控制器10与计算机20及显微镜100连接，根据来自计算机20的命令来控制显微镜100。

显示装置30例如是液晶显示器、有机EL(OLED)显示器、CRT(Cathode Ray Tube：阴极射线管)显示器等。输入装置40向计算机20输出与利用者的输入操作相应的操作信号。输入装置40例如是键盘，但是也可以包括鼠标、操纵杆、触摸面板等。

识别装置50是获取附加于试样的识别信息的装置。识别信息至少包含用于识别试样的信息。识别信息也可以包含关于试样的分析方法的信息等。识别装置50例如是条形码读取器、RFID读取器、QR码(注册商标)读取器等。

计算机20对显微镜系统1整体进行控制。计算机20与显微镜100、显微镜控制器10、显示装置30、输入装置40以及识别装置50连接。如图1所示，计算机20主要具备摄像机控制部21、图像分析部22、移动量计算部22a、投影图像生成部23、信息获取部24、投影控制部25、图像记录部26、图像合成部27、显示控制部28，来作为与投影装置133的控制关联的结构要素。

摄像机控制部21通过对摄像元件131进行控制来获取试样的数字图像数据。摄像机控制部21获取到的数字图像数据被输出到图像分析部22、移动量计算部22a、图像记录部26以及图像合成部27。

图像分析部22对摄像机控制部21获取到的数字图像数据进行分析，将分析结果输出到投影图像生成部23。图像分析部22所进行的分析处理的内容没有特别限定。图像分析部22例如可以将数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别，输出包含用于确定被分类到该一个以上的类别中的至少一个类别的构造物的位置的信息的分析结果。更具体地说，图像分析部22可以对数字图像中呈现的细胞进行分类，输出包含用于确定特定细胞的轮廓的信息以及用于确定该特定细胞的核的轮廓的信息的分析结果。

移动量计算部22a对摄像机控制部21获取到的数字图像数据进行分析，计算载置台101的移动量。具体地说，通过将在不同的时刻获取到的数字图像数据进行比较来计算载置台101的移动量。移动量计算部22a计算出的移动量被输出到投影图像生成部23。

投影图像生成部23生成第一投影图像数据和第二投影图像数据。第一投影图像数据所表现的第一投影图像是基于计算机20对试样的数字图像数据的分析结果的图像。第二投影图像数据所表现的第二投影图像是基于利用者的输入操作的图像。在投影图像生成部23中生成的第一投影图像和第二投影图像被输出到投影控制部25、图像记录部26以及图像合成部27。

期望的是，投影图像生成部23以使第一投影图像的显示形式与第二投影图像的显示形式不同的方式生成第一投影图像数据和第二投影图像数据。此外，显示形式例如包括图像的颜色或构成图像的线的格式。线的格式包括线的颜色、种类、粗细等。

投影图像生成部23基于从图像分析部22输出的分析结果来生成第一投影图像数据。例如，如果是分析结果包含用于确定被分类到至少一个类别的构造物的位置的信息的情况，则投影图像生成部23所生成的第一投影图像数据表现包含用于确定该被分类到至少一个类别的构造物的位置的图形的第一投影图像。另外，如果是分析结果包含用于确定特定细胞的轮廓的信息以及用于确定该特定细胞的核的轮廓的信息的情况，则第一投影图像数据表现包含与特定细胞的轮廓重叠的闭合曲线以及与该特定细胞的核的轮廓重叠的闭合曲线的第一投影图像。此外，用于确定特定细胞的轮廓的闭合曲线与用于确定核的轮廓的闭合曲线也可以具有不同的颜色。

投影图像生成部23至少基于通过后述的信息获取部24获取到的操作信息来生成第二投影图像数据。例如，如果操作信息是通过利用者的操作而得到用于指定应该关注的区域的信息，则投影图像生成部23所生成的第二投影图像数据表现包含表示利用者所指定的应该关注的区域(以后记载为ROI。)的图形的第二投影图像。表示ROI的图形例如是与ROI的轮廓重叠的闭合曲线。另外，如果操作信息是通过利用者输入注释的操作而得到的信息，则投影图像生成部23所生成的第二投影图像数据表现包含利用者所输入的注释的第二投影图像。

投影图像生成部23也可以基于输入操作以及通过移动量计算部22a获取到的载置台101的移动量来生成第二投影图像数据。这在通过信息获取部24获取了操作信息后载置台101发生了移动的情况下特别有效。由此，无需由利用者重新指定ROI，投影图像生成部23能够根据载置台101的移动量来变更第二投影图像中包含的表示ROI的图形在像面上的位置。

投影图像生成部23也可以基于输入操作以及形成于像面的光学图像的倍率来生成第二投影图像数据。这在通过信息获取部24获取了操作信息后光学图像的倍率发生了变更的情况下特别有效。由此，无需由利用者重新指定ROI，投影图像生成部23能够根据光学图像的倍率来变更第二投影图像中包含的图形在像面上的大小。

信息获取部24从计算机20外部的装置获取信息。具体地说，信息获取部24基于来自输入装置40的操作信号来获取利用者的操作信息。另外，信息获取部24从识别装置50获取识别信息。此外，利用者的操作信息是利用者为了在像面显示信息而对输入装置40进行操作从而生成的信息。

投影控制部25通过对投影装置133进行控制来控制第一投影图像和第二投影图像向像面的投射。投影控制部25也可以控制投影装置133来使第一投影图像的投影期间与第二投影图像的投影期间不同。具体地说，投影控制部25例如也可以以如下方式调整投影期间：定期地投射第一投影图像，始终投射第二投影图像。另外，投影控制部25也可以根据显微镜系统1的设定来控制投影装置133。具体地说，投影控制部25可以根据显微镜系统1的设定来决定是否向像面投射第一投影图像和第二投影图像中的各投影图像，也可以在显微镜系统1为规定的设定时以使投影装置133向像面投射第一投影图像和第二投影图像的方式控制投影装置133。也就是说，显微镜系统1能够根据设定来变更是否向像面投射第一投影图像和第二投影图像中的各投影图像。

图像记录部26记录数字图像数据、第一投影图像数据以及第二投影图像数据。具体地说，图像记录部26将第一投影图像数据和第二投影图像数据中的各投影图像数据与数字图像数据相关联地记录到不同于数字图像数据的区域。由此，能够将彼此关联的数字图像数据、第一投影图像数据以及第二投影图像数据根据需要来个别地读出。并且，图像记录部26也可以经由识别装置50和信息获取部24获取附加于试样的识别信息，将获取到的识别信息与数字图像数据相关联地进行记录。另外，图像记录部26也可以在检测到利用者的记录指示的输入时记录数字图像数据、第一投影图像数据以及第二投影图像数据。

图像合成部27基于数字图像数据、第一投影图像数据以及第二投影图像数据来生成将数字图像与第一投影图像及第二投影图像进行合成所得到的合成图像的图像数据，将该合成图像的图像数据输出到显示控制部28。

显示控制部28基于从图像合成部27输出的合成图像数据来将合成图像显示于显示装置30。此外，显示控制部28也可以基于数字图像数据来单独地将数字图像显示于显示装置30。

此外，计算机20既可以是通用装置也可以是专用装置。计算机20的结构没有特别限定，例如可以具有如图2所示的物理结构。具体地说，计算机20可以具备处理器20a、存储器20b、辅助存储装置20c、输入输出接口20d、介质驱动装置20e、通信控制装置20f，并可以将它们通过总线20g进行连接。

处理器20a例如是包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器20a也可以执行存储器20b、辅助存储装置20c、存储介质20h中保存的程序来进行被编程的处理，由此实现与上述的投影装置133的控制关联的结构要素(摄像机控制部21、图像分析部22、投影图像生成部23等)。另外，也可以使用ASIC、FPGA等专用处理器来构成处理器20a。

存储器20b是处理器20a的工作存储器。存储器20b例如是RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置20c是EPROM(ErasableProgrammable ROM：可擦除可编程ROM)、硬盘驱动器(Hard Disc Drive)等非易失性的存储器。输入输出接口20d与外部装置(显微镜100、显微镜控制器10、显示装置30、输入装置40、识别装置50)交换信息。

介质驱动装置20e能够将存储器20b和辅助存储装置20c中保存的数据输出到存储介质20h，另外，能够从存储介质20h读出程序和数据等。存储介质20h是能够搬运的任意的记录介质。存储介质20h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)快闪存储器、CD(Compact Disc：压缩盘)、DVD(Digital Versatile Disc：数字多功能盘)等。

通信控制装置20f进行信息相对于网络的输入输出。作为通信控制装置20f，例如能够采用NIC(Network Interface Card：网络接口卡)、无线LAN(Local Area Network：局域网)卡等。总线20g将处理器20a、存储器20b、辅助存储装置20c等以能够相互授受数据的方式进行连接。

如以上那样构成的显微镜系统1进行图3所示的图像投影处理。图3是显微镜系统1所进行的图像投影处理的流程图。下面，参照图3来说明显微镜系统1的图像投影方法。

首先，显微镜系统1将试样的光学图像投射到像面(步骤S1)。在此，成像透镜103将物镜102所获取到的来自试样的光会聚到像面，形成试样的光学像。

并且，显微镜系统1获取试样的数字图像数据(步骤S2)。在此，光偏转元件132将物镜102所获取到的来自试样的光的一部分朝向摄像元件131偏转。摄像元件131基于被光偏转元件132偏转后的光来拍摄试样，由此生成数字图像数据。

之后，显微镜系统1基于数字图像数据的分析结果来生成第一投影图像数据(步骤S3)。在此，经由摄像机控制部21获取到数字图像数据的图像分析部22进行分析处理，投影图像生成部23基于该分析结果来生成第一投影图像数据。

当生成了第一投影图像数据时，显微镜系统1将第一投影图像投射到像面(步骤S4)。在此，投影控制部25基于第一投影图像数据来控制投影装置133，由此投影装置133将第一投影图像投射到像面。由此，第一投影图像被叠加到试样的光学图像上。

并且，显微镜系统1基于利用者的输入操作来生成第二投影图像数据(步骤S5)。在此，投影图像生成部23基于经由输入装置40和信息获取部24获取到的操作信息来生成第二投影图像数据。

最后，显微镜系统1将第二投影图像以能够与第一投影图像区分的方式投射到像面(步骤S6)。在此，投影控制部25基于第二投影图像数据来控制投影装置133，由此投影装置133将第二投影图像以能够与第一投影图像区分的方式投射到像面。更具体地说，例如，在第一投影图像的显示形式与第二投影图像的显示形式不同的情况下，投影装置133以能够通过显示形式的不同来进行区分的方式投射第一投影图像和第二投影图像。另一方面，例如，在第一投影图像的显示形式与第二投影图像的显示形式相同的情况下，通过使第一投影图像的投影期间与第二投影图像的投影期间不同，来以能够区分的方式投射第一投影图像和第二投影图像。

在显微镜系统1中，通过计算机得到的图像分析结果以及利用者通过输入操作而附加的信息被显示在光学图像上。由此，病理医生在基于试样的光学图像的病理诊断中不使眼睛离开目镜就能够得到用于辅助诊断的各种信息。因此，根据显微镜系统1，能够减轻病理医生的作业负担。特别是，通过显示计算机的图像分析结果，病理医生能够得到在病理诊断中成为判断的基础的各种信息。另外，通过显示基于利用者的输入操作的图像，病理医生例如能够实时地得到经验丰富的其它病理医生的建议。这样，根据显微镜系统1，能够对基于光学图像的病理诊断进行辅助。

并且，在显微镜系统1中，通过在光学图像上显示附加信息，来辅助病理诊断。因此，与基于数字图像来进行病理诊断的WSI系统不同，不需要高价的设备。因而，根据显微镜系统1，能够在避免大幅的设备成本的上升的同时实现病理医生的负担减轻。另外，为了在WSI系统中进行病理诊断，需要事先制作WSI(Whole Slide Image)，但是在显微镜系统1中，不需要事先准备，能够立即开始诊断作业。

图4是例示了载玻片SG上的细胞的分布的图。图5至图7是示出了使用显微镜系统1进行的观察的例子的图。下面，参照图4至图7来具体说明使用执行图3所示的图像投影处理的显微镜系统1来进行的观察的情形。

首先，参照图5来说明在图4所示的载玻片SG上将显微镜系统1的视场固定为视场F1来进行观察的情况。

当开始使用显微镜系统1进行观察并窥视目镜104时，病理医生能够观察呈现了细胞C1的图像V1。图像V1是形成于像面的与视场F1对应的光学图像。此时，在显示装置30中可以正在基于通过摄像元件131生成的数字图像数据显示与图像V1对应的图像M1。

此外，以后，将病理医生使用目镜104观察的图像记载为目视图像，将显示装置30所显示的图像记载为监视器图像。

之后，当通过计算机20对数字图像数据进行分析从而确定了细胞C1的轮廓和细胞C1的核的轮廓时，作为第一投影图像的投影图像P1被投射到像面。此外，投影图像P1中包含的标记CC示出细胞的轮廓，标记NC示出细胞的核的轮廓。由此，病理医生观察投影图像P1被叠加到图像V1而成的图像V2。此时，在显示装置30中正在显示将图像M1与投影图像P1进行合成而得到的图像M2。

最后，当显微镜系统1的利用者使用输入装置40指定了ROI时，作为第二投影图像的投影图像P2被投射到像面。此外，利用者是例如正在观察监视器图像的经验丰富的辅助者，投影图像P2中包含的标记UR示出ROI。由此，病理医生能够观察投影图像P2被叠加到图像V2而成的图像V3。此时，在显示装置30中正在显示将图像M2与投影图像P2进行合成而得到的图像M3。

在图5所示的例子中，通过第一投影图像强调了细胞C1的轮廓和核的轮廓。因此，病理医生能够在不漏看细胞C1的存在而是可靠地进行了识别的基础上作出诊断。另外，通过第二投影图像示出了经验丰富的辅助者所指定的关注区域。因此，病理医生能够尤其慎重地观察应该关注的区域后作出诊断。

接着，参照图6来说明在图4所示的载玻片SG上将显微镜系统1的视场从视场F1移动到视场F2来进行观察的情况。

当从病理医生正在观察图5所示的图像V3的状态起将显微镜系统1的视场从视场F1移动到视场F2时，病理医生能够观察呈现出细胞C1和细胞C2的图像V4。图像V4是形成于像面的与视场F2对应的光学图像。此时，在显示装置30中可以正在基于通过摄像元件131生成的数字图像数据显示与图像V4对应的图像M4。

之后，当通过计算机20对数字图像数据进行分析从而确定了细胞C1和细胞C2各自的轮廓以及细胞C1的核和细胞C2的核各自的轮廓时，作为第一投影图像的投影图像P3被投射到像面。并且，当基于数字图像中的细胞C1的位置的变化计算出了载置台101的移动量时，使投影图像P2的标记UR移动与移动量相应的距离后得到的投影图像P4被投射到像面。由此，病理医生观察投影图像P3和投影图像P4被叠加到图像V4而成的图像V5。此时，在显示装置30中显示了将图像M4与投影图像P3及投影图像P4进行合成而得到的图像M5。

在图6所示的例子中，第二投影图像中包含的标记UR与载置台101的移动量相应地移动。因此，标记UR追随由利用者指定的ROI，因此在载置台101移动后利用者无需再次重新指定ROI。因而，无论载置台101是否移动，病理医生都能够正确地识别应该关注的区域。

并且，参照图7来说明在图4所示的载玻片SG上将显微镜系统1的视场从视场F1移动到视场F2来进行观察的情况。此外，图7在以下方面与图6不同：病理医生在病理诊断的中途输入观察意见。

当显微镜系统1的利用者在像面形成有呈现了细胞C1的图像V2的状态下使用输入装置40指定了ROI且输入了观察的意见时，作为第二投影图像的投影图像P5被投射到像面。此外，利用者例如是正在窥视目镜104的病理医生本人。投影图像P5中包含的标记UR示出ROI，投影图像P5中包含的注释N是病理医生针对ROI的意见。由此，病理医生能够观察投影图像P5被叠加到图像V2而成的图像V6。此时，在显示装置30中正在显示将图像M2与投影图像P5进行合成而得到的图像M6。

当从病理医生正在观察图像V6的状态起将显微镜系统1的视场从视场F1移动到视场F2时，病理医生观察呈现出细胞C1和细胞C2的图像V7。图像V7是投影图像P3和投影图像P6被叠加到与视场F2对应的光学图像即图像V4而成的图像。投影图像P6是使投影图像P5的标记UR移动与移动量相应的距离且在与投影图像P5相同的位置包含注释N的图像。此时，在显示装置30中正在显示图像M7。

在图7所示的例子中，将第二投影图像中包含的标记分为与载置台101一起移动的标记和不移动的标记来进行管理。因此，由标记UR追随利用者指定的ROI，另一方面，表示意见的注释N被维持在规定位置。由此，能够避免应该始终显示的意见由于载置台101的移动而变得不显示之类的情况。

在图5至图7的例子中，示出了将第一投影图像和第二投影图像用不同的线类型(实线和虚线)来进行显示的例子，但是只要能够区分第一投影图像与第二投影图像即可，例如也可以是通过使颜色互不相同来使得能够区分。

另外，显微镜系统1的图像分析部22既可以通过基于规定的算法的图像识别处理来分析数字图像数据，也可以使用已训练的神经网络来分析数字图像数据。

关于已训练的神经网络的参数，可以在与显微镜系统1不同的装置中对神经网络进行训练由此生成所述参数，计算机20可以将所生成的参数下载来应用于图像分析部22。

此外，图8是示出神经网络NN的结构的图。神经网络NN具有输入层、多个中间层以及输出层。将通过将输入数据D1输入到输入层而从输出层输出的输出数据D2与正确数据D3进行比较。然后，通过误差反向传播法进行学习，由此对神经网络NN的参数进行更新。此外，输入数据D1与正确数据D3的集合是有监督学习的训练数据。

[第二实施方式]

图9是示出本实施方式所涉及的显微镜系统2的结构的图。显微镜系统2在以下方面与显微镜系统1不同：具备显微镜200来代替显微镜100。显微镜200在显微镜主体110与镜筒120之间具备投影单元140。

投影单元140是具备物镜102、成像透镜103以及目镜104的显微镜用的投影单元，包括中间镜筒130。即，投影单元140具备：作为摄像装置的一例的摄像元件131，其基于来自试样的光来获取试样的数字图像数据；以及投影装置133，其向形成光学图像的像面投射第一投影图像和第二投影图像。

投影单元140还具备摄像机控制部141、图像分析部142、移动量计算部142a、投影图像生成部143、信息获取部144以及投影控制部145。

摄像机控制部141、图像分析部142、移动量计算部142a、投影图像生成部143、投影控制部145分别与摄像机控制部21、图像分析部22、移动量计算部22a、投影图像生成部23、投影控制部25相同。因此，省略详细的说明。

信息获取部144基于经由计算机20获取到的来自输入装置40的操作信号来获取利用者的操作信息。另外，信息获取部144经由计算机20从识别装置50获取识别信息。

在本实施方式中，只需将投影单元140安装于现有的显微镜，就能够得到与显微镜系统1同样的效果。因而，根据投影单元140和显微镜系统2，能够容易地扩展现有的显微镜系统，来对病理医生基于光学图像进行的病理诊断进行辅助。

[第三实施方式]

图10是示出本实施方式所涉及的包括显微镜系统3和外部浏览系统300的诊断辅助系统的结构的图。显微镜系统3在以下方面不同：具备计算机60来代替计算机20。

显微镜系统3经由因特网400来与1个以上的外部浏览系统300连接。外部浏览系统300是具备至少具备通信控制部311的计算机310、输入装置320以及显示装置330的系统。

此外，因特网400是通信网络的一例。显微镜系统3与外部浏览系统300例如可以经由VPN(Virtual Private Network：虚拟专用网络)、专用线等进行连接。

计算机60在包括通信控制部29这一点上与计算机20不同。通信控制部29与外部浏览系统300交换数据。

通信控制部29例如将图像数据发送到外部浏览系统300。通信控制部29所发送的图像数据例如也可以是在图像合成部27中生成的合成图像数据。也可以将数字图像数据、第一投影图像数据以及第二投影图像数据个别地进行发送。另外，也可以仅发送数字图像数据。在外部浏览系统300中，接收到图像数据的计算机310基于图像数据在显示装置330中显示图像。计算机310例如可以基于数字图像数据、第一投影图像数据以及第二投影图像数据来生成合成图像数据，并可以基于合成图像数据来将合成图像显示于显示装置330。

通信控制部29例如接收外部浏览系统300的利用者输入的操作信息。投影图像生成部23也可以基于通信控制部29接收到的操作信息来生成第二投影图像数据。显微镜系统3也可以使用投影装置133将基于外部浏览系统300的利用者的输入操作的第二投影图像投射到像面。

显微镜系统3能够与经由网络连接的外部浏览系统300进行对话。因此，能够从位于远处的病理医生接受建议。因而，根据显微镜系统3，能够进一步减轻病理医生的病理诊断的负担。

图11是示出使用显微镜系统3进行的观察的一例的图。参照图11来具体说明使用显微镜系统3进行的观察的情形。

当开始使用显微镜系统3进行观察并窥视目镜104时，病理医生能够观察呈现了细胞C1和细胞C2的图像V8。图像V8是形成于像面的与视场F2对应的光学图像。此时，在显示装置30和显示装置330中可以正在基于通过摄像元件131生成的数字图像数据显示与图像V8对应的图像M8。

之后，当通过计算机60对数字图像数据进行分析从而确定了细胞的轮廓和细胞的核的轮廓时，作为第一投影图像的投影图像P7被投射到像面。此外，投影图像P7中包含的标记CC示出细胞的轮廓，标记NC示出细胞的核的轮廓。由此，病理医生观察投影图像P7被叠加到图像V8而成的图像V9。此时，在显示装置30和显示装置330中正在显示将图像M8与投影图像P7进行合成而得到的图像M9。

并且，当显微镜系统3的利用者使用输入装置40指定了ROI时，作为第二投影图像的投影图像P8被投射到像面。此外，利用者是正在窥视目镜104的病理医生本人，投影图像P8中包含的标记UR示出病理医生本人所关注的ROI。由此，病理医生能够观察投影图像P8被叠加到图像V9而成的图像V10。此时，在显示装置30和显示装置330中正在显示将图像M9与投影图像P8进行合成而得到的图像M10。

之后，通过显示装置330所显示的图像M10意识到病理医生正在关注细胞C1的外部浏览系统300的利用者为了使病理医生关注细胞C2而对输入装置320进行操作。由此，从外部浏览系统300向显微镜系统3发送操作信息。接收到操作信息的显微镜系统3将基于外部浏览系统300的利用者的输入操作的另一第二投影图像即投影图像P9投射到像面。投影图像P9中包含用于促使关注细胞C2的标记UR2。其结果，病理医生能够观察投影图像P9被叠加到图像V10而成的图像V11。此时，在显示装置30和显示装置330中正在显示将图像M10与投影图像P9进行合成而得到的图像M11。

在图11所示的例子中，基于显微镜系统1的利用者和外部浏览系统300的利用者的输入操作的投影图像被投射到像面。因此，能够一边与位于不同的位置的利用者之间进行交流一边进行病理诊断。

上述的实施方式示出了用于使发明易于理解的具体例，本发明的实施方式不限定于它们。显微镜系统、投影单元以及图像投影方法能够在不脱离权利要求书的记载的范围内进行各种变形、变更。

显微镜系统1中包括的显微镜例如也可以是图12所示的显微镜500。在上述的实施方式中，例示了在中间镜筒130具备摄像元件131的结构，但是也可以是，获取在图像分析中使用的数字图像数据的摄像元件151如图12所示那样设置于数字摄像机150，该数字摄像机150安装于作为三眼镜筒的镜筒120a。但是，在该情况下，从中间镜筒130a中包括的投影装置133射出的光会入射到摄像元件151。因此，也可以是，以使投影装置133的发光期间与摄像元件151的曝光期间不重叠的方式控制数字摄像机150。由此，能够防止数字图像中出现投影图像。

另外，显微镜系统1中包括的显微镜例如也可以是图13所示的显微镜600。显微镜600具备中间镜筒130b来代替中间镜筒130，该中间镜筒130b包括使用透射型的液晶设备的投影装置135。在上述的实施方式中，例示了通过利用配置在物镜102与目镜104之间的光路上的光偏转元件134偏转从投影装置133射出的光来将投影图像投射到像面的结构，但是也可以是，如图13所示，将投影装置135配置在物镜102与目镜104之间的光路上。

另外，在上述的实施方式中，示出了作为光检测器包括摄像元件的例子，但是光检测器不限于摄像元件。例如，也可以对扫描型显微镜提供上述的技术，在该情况下，光检测器也可以是光电倍增管(PMT)等。

另外，在上述的实施方式中，示出了基于图像来计算载置台101的移动量的例子，但是载置台101的移动量也可以通过其它方法来计算。例如，在载置台101是电动载置台的情况下，也可以基于用于指示电动载置台的移动的指示信息来计算载置台101的移动量，也可以基于来自安装于电动载置台的电机的编码器的输出信息来计算载置台101的移动量。另外，在载置台101是手动载置台的情况下也同样地，也可以基于安装于载置台101的加速度传感器的输出信息来估计载置台101的移动量。

另外，在上述的实施方式中，作为输入装置40，例示了键盘、鼠标、操纵杆、触摸面板等，但是输入装置40也可以是接受声音输入的装置、例如麦克风等。在该情况下，计算机20也可以具备识别从输入装置40输入的声音指示的功能，例如也可以是，计算机20中包括的信息获取部24通过声音识别技术将声音数据变换为操作信息后，输出到投影图像生成部23。

附图标记说明

1、2、3：显微镜系统；10：显微镜控制器；20、60、310：计算机；20a：处理器；20b：存储器；20c：辅助存储装置；20d：输入输出接口；20e：介质驱动装置；20f：通信控制装置；20g：总线；20h：存储介质；21、141：摄像机控制部；22、142：图像分析部；22a、142a：移动量计算部；23、143：投影图像生成部；24、144：信息获取部；25、145：投影控制部；26：图像记录部；27：图像合成部；28：显示控制部；29、311：通信控制部；30、330：显示装置；40、320：输入装置；50：识别装置；100、200、500、600：显微镜；101：载置台；102、102a：物镜；103：成像透镜；104：目镜；110：显微镜主体；111：转塔；120、120a：镜筒；130、130a、130b：中间镜筒；131、151：摄像元件；132、134：光偏转元件；133：投影装置；140：投影单元；150：数字摄像机；300：外部浏览系统；400：因特网；CC、NC、UR、UR2：标记；C1、C2：细胞；D1：输入数据；D2：输出数据；D3：正确数据；F1、F2：视场；N：注释；NN：神经网络；P1～P9：投影图像；SG：载玻片；V1～V11、M1～M11：图像。