阅读说明：本技术 一种显微镜及其控制方法 (Microscope and control method thereof ) 是由 刘杰 杨继东 张志强 于 2019-09-29 设计创作，主要内容包括：本申请揭示了一种显微镜及其控制方法,该方法包括如下步骤：捕获观察体的图像；将获得的观察体的图像解码,使用人工智能算法对解码的图像进行识别和标记,获得AI分析信息；从解码的图像中分解出现实场景和观察体,构建与现实场景相对应的三维虚拟现实场景,并将三维虚拟现实场景与观察体进行图像合成；将合成的图像投影显示在目镜中。本申请可实时捕捉显微图像,得到AI分析信息,并将AI处理的结果图像及提示信息与真实图像实现重合,通过AR投影至显微镜视野中,使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息。(The application discloses a microscope and a control method thereof, wherein the method comprises the following steps: capturing an image of a viewing volume; decoding the obtained image of the observation body, and identifying and marking the decoded image by using an artificial intelligence algorithm to obtain AI analysis information; decomposing a real scene and an observation body from the decoded image, constructing a three-dimensional virtual reality scene corresponding to the real scene, and carrying out image synthesis on the three-dimensional virtual reality scene and the observation body; and projecting and displaying the synthesized image in an eyepiece. According to the method and the device, the microscopic image can be captured in real time, the AI analysis information is obtained, the result image and the prompt information processed by the AI are overlapped with the real image, and the result image and the prompt information are projected to the microscope field through the AR, so that an operator can observe the microscopic image and the AI analysis processing result and the prompt information in the microscope field at the same time.)

一种显微镜及其控制方法

技术领域

本发明涉及生物显微镜领域，特别涉及一种显微镜及其控制方法。

背景技术

显微镜(microscope)是一种借助物理方法产生物体放大影象的仪器。最早发明于16世纪晚期，至今(2001年)已有406年的历史。现在显微镜技术是光学仪器的一个重要组成部分，成为了一种极为重要的科学仪器，广泛地用于生物、医疗、化学、电子、半导体、光学制造、冶金、酿造等各种科研活动，随着技术的成熟，显微镜结构也发展出了多种形式、结构及成像方式，对人类的发展做出了巨大而卓越的贡献。

医学显微检查是检验人体器官、组织或细胞中的异常改变的细胞形态学方法。在细胞形态学检验过程中，采集患者的标本，用各种染色方法制成样片，然后使用显微镜观察病变。但目前显微镜的镜检是人工操作，主要工作是通过显微镜对标本进行观察。目前，许多单位已经拥有数码显微镜，即电子摄像头采集显微图像，然后在屏幕上观察，这样可以减轻人工观察所造成的疲劳。然而，在屏幕上所观察到的显微图像与显微镜目测到的图像是存在差异的。

同时，当被分析的标本数量过多时，操作人员的工作强度、疲劳强度会大大增加，从而会影响观察、分析的结果。

随着人工智能技术的发展，将人工智能自动判断与人工直接观察图像相结合，不仅能减轻操作人员工作强度，又能提高检测速度与质量。作为一种潜在的解决方案，人工智能的最新进展(特别是深度学习)，已经证明了自动化医学图像分析的能力与人类专家的经验相当。

然而，现有的深度学习处理方法中普遍使用普通的生物显微镜，但是深度学习中需要全数字化扫描标本，因此需要投入大量的全自动扫描仪。

发明内容

为解决上述问题，本申请提供了一种显微镜及其控制方法，可实时捕捉显微图像，得到AI(Artificial Intelligence，人工智能)分析信息，并将AI处理的结果图像及提示信息与真实图像实现重合，通过AR(增强现实(Augmented Reality)投影至显微镜视野中，使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息，使观察过程更为直接，从而实现生物显微镜在使用过程中的高实时性。达到减轻操作人员的工作强度、提高检测速度和检测质量之目的。本申请可实现令操作人员正确、快速判断标本的微观结构和获得较佳的成像效果，提供沉浸感更强的用户体验。

本申请提供一种显微镜控制方法，包括如下步骤：捕获观察体的图像；将获得的观察体的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息；从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；将合成的图像投影显示在目镜中。

优选地，其中使用微型显示器将合成图像的数字信息叠加到原始光路中。

优选地，其中将抽取的AI分析信息也合成到合成的图像中。

优选地，其中显微镜包括两个光分路器。

优选地，其中两个分光器分别用于图像获取和图像投影。

本申请还请求保护一种显微镜，包括如下部件：照明系统，显微镜成像模块、图像采集模块、人工智能分析模块、增强现实处理模块、AR投影显示模块以及观察目镜；其中，照明系统，用于提供合适的光源，产生入射光；显微成像模块，放大微观图像，可形成入射光路和出射光路；图像采集模块3，设置在显微成像模块2的入射光路上，用于捕获图像；人工智能AI分析模块4，将获得的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息，并将解码的图像以及AI分析信息反馈到增强现实AR处理模块；增强现实AR处理模块，从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；AR投影显示模块，用于将增强现实处理模块合成的图像投影显示在目镜中。

优选地，其中AR投影显示模块为微型显示器，将合成图像的数字信息叠加到原始光路中。

优选地，其中显微镜还包括一个或两个光分路器。

优选地，其中显微镜在包括一个光分路器时，图像采集模块和AR投影显示模块设置在光分路器的同一侧或者两侧。

优选地，其中显微镜包括两个光分路器时，图像采集模块和AR投影显示模块分别设置在光分路器一和光分路器二上。

通过本申请的技术方案，可获得如下技术效果：

1、实时捕捉标本的显微图像，得到人工智能模块的分析信息，并将AI处理的结果图像及提示信息与真实图像实现重合，通过AR投影至显微镜视野中，使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息，使观察过程更为直接，从而实现生物显微镜在使用过程中的高实时性。达到减轻操作人员的工作强度、提高检测速度和检测质量之目的。

2、本申请的实施方案，由于采用两个硬件模块，可以灵活地安排图像采集模块和AR投影显示模块的设置，从而根据需要来优化现实增强显微镜的结构，以便保留更多的操作空间。

3、本申请能够保证图像获取装置和图像投影装置独立进行相应的处理步骤，使得图像获取光路和图像投影光路的调试更为方便，同时避免因只设置一个分光镜来进行图像获取和图像投影对彼此操作产生的干扰因素，使投影图像与实际图像能够更好的重合，从而有利于提升成像精度，保证最终处理结果和人工观测的精确性。

4、由于系统的模块化设计，AR可以很容易地改装到大多数普通生物显微镜上。

附图说明

图1是本申请显微镜一实施例的功能模块示意图

图2是本申请显微镜一实施例的光路图；

图3是本申请显微镜一实施例的立体结构示意图；

图4是本申请显微镜控制方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的一些实施例中，在生物显微镜视野中直接分析各种细胞形态学标本，通过AI技术对形态学进行分析并生成相应的AI分析信息，之后在通过AR技术将AI分析信息直接整合投影至生物显微镜的显微镜视野中，将AR技术整合到生物显微镜中，达到了能够直接在显微镜视野中同时观察到显微数字图像和AI分析信息，整个观察过程中不需要来回切换视野，使得显微镜的观察过程更为简洁和直接，从而实现显微镜在使用过程中的高实时性。

本申请的显微镜如图1所示，包括：照明系统1，显微镜成像模块2、图像采集模块3、人工智能分析模块4、增强现实处理模块5、AR投影显示模块6以及观察目镜7。其中各个模块的工作方式如下：

照明系统1，用于提供合适的光源，产生入射光。

显微成像模块2，放大微观图像，可形成入射光路和出射光路。

显微成像模块2可为物镜。在图2中以物镜2示出。

图像采集模块3，设置在显微成像模块2的入射光路上，用于捕获图像。

其中图像采集模块3优选的是一个数码摄像头，在捕获图像的过程中，确保样品处于对焦状态，进一步的，捕获的图像是高分辨率图像。

人工智能(AI)分析模块4，将获得的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息，并将解码的图像以及AI分析信息反馈到增强现实(AR)处理模块5。

增强现实(AR)处理模块5，从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；

AR投影显示模块6，用于将增强现实处理模块5合成的图像投影显示在目镜中，该设置设在出射光路上。

其中AR投影显示模块6为可将获得的合成图像的数字信息叠加到原始光路中的微型显示器，无视差性能要求，将微显示器对准观察体显示平面即可显示。

本申请可实时捕捉标本的显微图像，得到人工智能分析模块的分析信息，并将AI分析模块处理的结果图像及提示信息与真实图像实现重合，通过AR处理模块投影至显微镜视野中，使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息，使观察过程更为直接，从而实现生物显微镜在使用过程中的高实时性。达到减轻操作人员的工作强度、提高检测速度和检测质量之目的。

根据本发明的实施方案，本申请由于采用两个硬件模块实现图像采集和图像显示，即图像采集模块3和AR投影显示模块6，从而可以灵活地安排图像采集模块3和AR投影显示模块6的设置，例如在光分路器的同一侧或者两侧，这样可以根据需要来优化显微镜的结构，以便保留更多的操作空间。

实施例2

根据本申请的另一个实施方案，图像采集模块3和AR投影显示模块6依次设置在光分路器一和光分路器二上。

在光分路器一上安装图像采集模块3，在光分路器二的一侧设置AR投影显示模块6。这样将图像获取和图像投影分为两个独立的系统来完成。

如图3所示，根据所示的光通路示意，显微镜使用照明系统1从下面照亮样本，用显微镜成像模块2，例如常规物镜，捕捉图像光线。这些光线以准直状态向上传播到眼睛。在准直光空间的光路中***了一个光分路器一8。光分路器二9***目镜和第一个光分路器之间，将来自样品的光与来自微显示器6的投影图像的光结合在一起。AR投影显示模块6包括一个微型显示器和准直光学器件，其被选择以匹配显示尺寸和眼睛尺寸(22mm)。在从物镜到目镜的光路中，采集样品图像需要先于AR图像，以便相机可以看到没有投影的样本视图。观察者通过目镜看到叠加在样品视野上。

实施例3

本申请的显微镜控制方法流程，如图4所示，包括如下步骤：

步骤S410、捕获观察体的图像；

显微镜中的照明系统提供合适的光源，产生入射光，使用显微成像模块2，放大微观图像，可形成入射光路和出射光路。图像采集模块3，设置在显微成像模块2的入射光路上，用于捕获观察体的图像。

其中图像采集模块3优选的是一个数码摄像头，在捕获图像的过程中，确保样品处于对焦状态，进一步的，捕获的图像是高分辨率图像。

步骤S420、将获得的观察体的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息；

可使用现有的人工智能算法，完成图像的识别和标记，例如使用卷积神经网络，完成解码图像的识别和标记。

步骤S430、从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；

使用现有的抠图技术，从解码图像中分解出现实场景和观察体，例如使用关键点抽取技术。

进一步使用二维转换为三维的算法，将现实场景转换为对应的三维虚拟现实场景。

将三维虚拟现实场景和分解出的观察体进行合成。

进一步地，将抽取的AI分析信息与三维虚拟现实场景和分解出的观察体进行合成。

步骤S440、将合成的图像投影显示在目镜中。

其中AR投影显示模块6为可将获得的合成图像的数字信息叠加到原始光路中的微型显示器，无视差性能要求，将微显示器对准观察体显示平面即可显示。

根据本发明的构思，由于光分路器可以灵活地安排图像采集模块和投影显示模块，除了上述将设计外，还可以根据需要来增强现实生物显微镜的结构，以便保留更多的操作空间。

本发明的显微镜是一种人工智能型增强现实生物显微镜(Augmented RealityBiological Microscope，ARBM)，所获取的图像经特定的接口方式(包括但不限于USB、ISANet、Mipi等方式)传输至AI分析模块(4)处进行分析处理，获取人工智能识别后的结果和提示信息。这些结果与提示信息可以传至AI投影显示模块(6)上进行显示，显示的信息包括处理后的图形和文字，这样可以实现将计算处理的结果与真实图像实现重合，使得操作人员在观察到图像的同时，也可以观察到处理结果和提示信息。

本发明的显微镜(ARBM)还包括人机交互设备，包括但不限于键盘、鼠标等。

综上所述，本实施例提供的AIARM显微镜，通过图像采集模块采集显微数字图像，人工智能分析模块对显微数字图像进行AI分析得到AI分析信息，再通过AR投影显示模块将AI分析信息投影至显微镜本体的显微镜视野中，达到了医生能够直接在显微镜视野中同时观察到显微数字图像和AI分析信息。

本实施例提供的显微镜(ARBM)，还通过不同的人工智能分析模块，还可用于获取一个以上的AI分析模型，除了主要应用于骨髓细胞形态学的人工智能识别，还包括外周血细胞分类、革兰氏染色涂片镜检、抗酸杆菌镜检、循环肿瘤细胞(CTC)检测、疟原虫卵检测、传染病检测，以及染色体核型、肿瘤细胞等的人工智能识别。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。