阅读说明：本技术 基于多深度平面显微镜的自动聚焦系统和方法 (Automatic focusing system and method based on multi-depth plane microscope ) 是由 伍祥辰 杨翼 周健 肖长力 于 2019-09-17 设计创作，主要内容包括：本发明公开了基于多深度平面显微镜的自动聚焦系统和方法。该系统包括：照明系统,用于为样品照明；运动平台,用于承载样品并在运动控制系统的控制下运动；运动控制系统,用于控制运动平台进行x,y方向移动扫描,控制显微镜物镜或筒镜进行z轴聚焦扫描；图像采集设备,包括主相机和辅相机,用于将被照明的样品分别通过物镜和筒镜成像在主相机上,以及通过物镜、筒镜和分光系统成像在辅相机上,所述辅相机可同时成像多个不同的深度平面。通过多个深度平面图像的聚焦清晰度来计算最佳聚焦位置,不需要进行全局聚焦扫描,也不需要进行搜索扫描,极大的加快了自动聚焦时间,同时,也具有很高的聚焦精度。采集到的图片清晰度明显优于同类产品。(The invention discloses an automatic focusing system and method based on a multi-depth plane microscope. The system comprises: an illumination system for illuminating the sample; the motion platform is used for bearing a sample and moves under the control of the motion control system; the motion control system is used for controlling the motion platform to perform x and y direction mobile scanning and controlling the microscope objective lens or the cylindrical lens to perform z axis focusing scanning; the image acquisition equipment comprises a main camera and an auxiliary camera, and is used for imaging an illuminated sample on the main camera through an objective lens and a cylindrical lens respectively, and imaging on the auxiliary camera through the objective lens, the cylindrical lens and a light splitting system, wherein the auxiliary camera can simultaneously image a plurality of different depth planes. The optimal focusing position is calculated through the focusing definition of the depth plane images, global focusing scanning is not needed, searching scanning is not needed, automatic focusing time is greatly shortened, and meanwhile, high focusing precision is achieved. The definition of the collected picture is obviously superior to that of the similar products.)

基于多深度平面显微镜的自动聚焦系统和方法

技术领域

本发明属于显微镜自动聚焦技术领域，涉及基于多深度平面显微镜的自动聚焦系统和方法。

背景技术

自动聚焦，即不需要人为的操作，光学成像系统内部自动处理，通过机台和程序有效结合，能自动调节每个参数，比如物距、像距，能清楚地计算成像的图片的清晰度以及成像的具***置，使最后成像的照片质量最优、分辨率最高。换句话说，对焦被检物，使被检物被摄在感光芯片平面上成清晰图像，画面上主体图像清晰。

普通的被检物表面均是复杂的曲面，在进行对物体表面进行扫描时，若被检测的物体本身弯曲程度大于设备景深时，我们就需要设计一个自动聚焦系统，在检测扫描时使每一幅图像每一个部分都保持清晰，以方便我们观察和分析。在对被检测物体扫描时，有两个关键的指标，一个是扫描质量，一个是扫描速度，两者相互制约。

自动聚焦可以分为基于硬件的主动测距法和基于数字图像处理技术的被动式聚焦。主动测距法实现较为复杂，因此在显微镜中通常采用被动式聚焦。被动式聚焦又可以分为离焦深度法和聚焦清晰度扫描法。离焦深度法通过对离焦图像处理后对比弥散斑的大小来确定深度信息，误差较大。聚焦清晰度扫描法可以分为全局聚焦扫描法和搜索扫描法。全局聚焦扫描法需要对z轴进行大量位置扫描，找到最佳清晰度位置，所需时间久。搜索扫描算法减少了z轴扫描数量，但是增加了算法时间，同样也会耗时较久。

发明内容

针对上述问题，本发明所要解决的技术问题是基于多深度平面显微镜的自动聚焦系统和方法。

为了实现上述目的，本发明采用以下技术方案：

基于多深度平面显微镜的自动聚焦系统，包括：

照明系统，用于为样品照明；

运动平台，用于承载样品并在运动控制系统的控制下运动；

运动控制系统，用于控制运动平台进行x，y方向移动扫描，控制显微镜物镜或筒镜进行z轴聚焦扫描；

图像采集设备，包括主相机和辅相机，被照明的样品分别通过物镜和筒镜成像在主相机上，以及通过物镜、筒镜和分光系统成像在辅相机上，所述辅相机可同时成像多个不同的深度平面。

优选地，所述照明系统为科勒照明系统，通过光纤导入光源。

优选地，所述分光系统选自半透半反透镜，分光棱镜或者二次光栅中的一种或者几种。更优选地，所述二次光栅为菲涅尔光栅的一部分。

优选地，所述分光系统采用级联的方式。

基于多深度平面显微镜的自动聚焦方法，通过上述系统实现，包括：

1)在自动聚焦前，先对主相机和辅相机进行校正，使得主相机聚焦清晰度和辅相机中间深度平面清晰度相同；

2)主、辅相机校正好后，对样品进行单一位置的全局扫描，得到最佳聚焦位置；

3)对样品进行x，y方向扫描，每扫描到一个位置，先由辅相机采集一幅图像，计算辅相机三个聚焦面的清晰度，然后对三个清晰度值进行曲线拟合得到最佳聚焦位置；

4)根据计算得到的最佳聚焦位置相应的移动z轴，使主相机图像最清晰，采集主相机图像。

优选地，步骤1)包括：

1-4)对物镜进行z轴聚焦扫描，得到多幅不同深度平面的图片；

1-5)对主相机采集到的z轴聚焦扫描图片，以及辅相机采集到的多个深度平面的z轴聚焦扫描图片进行聚焦清晰度的计算，得到聚焦清晰度曲线；

1-6)调节主、辅相机位置，使得主相机聚焦清晰度曲线和辅相机中间平面聚焦清晰度曲线重合。

优选地，步骤1-1)中，进行z轴聚焦扫描的方法包括：移动运动平台，移动物镜和镜筒整体，移动筒镜中的一种，两种或者多种的组合。

优选地，步骤1-2)中，计算所述聚焦清晰度的算法包括：绝对中心矩算法、图像对比度算法(Nanda)、图像曲率算法(Helmli)、DCT能量比率算法(shen)、高斯导数算法(Geusebroek)、灰度标准差算法(Krotkov)、灰度局部标准差算法(Pech)、能量梯度算法(Subbarao)、阈值梯度算法(Snatos)、Brenner算法、平方梯度算法(Eskicioglu)、Helmli均值算法、直方图熵算法(Krotkov)、拉普拉斯能量算法(Subbarao)、改进拉普拉斯算法(Nayar)、拉普拉斯方差算法(Pech)、斜拉氏算法(Thelen)、Steerable滤波算法(Minhas)、空间频率算法(Eskicioglu)、Tenengrad算法(Krotkov)、Tenengrad方差算法(Pench)、小波系数和算法(Yang)、小波系数方差算法(Yang)中的一种或多种组合。

优选地，步骤3)和4)中，对辅相机的多个聚焦清晰度值进行曲线拟合，得到聚焦清晰度峰值位置，z轴需要移动的量为峰值位置与中心平面的偏移量。

优选地，还包括：通过已扫描位置的聚焦z值进行曲线拟合或者人工智能学习来预测下一个扫描位置的聚焦z值，预测的聚焦z值和计算的聚焦z值以不同的权重组合构成所需的聚焦z值。

本发明的有益效果如下：

通过硬件系统得到多平面聚焦图像，通过软件算法结合多个平面的聚焦清晰度来计算最佳聚焦位置，不需要进行全局聚焦扫描，也不需要进行搜索扫描，目前市面上主流产品扫描一片样品的时间最快在3-5分钟(扫描相同面积)，而我们使用本发明的扫描仪扫描时间最快可达30s，极大的加快了自动聚焦时间。

同时，也具有很高的聚焦精度，采集到的图片清晰度明显优于同类产品。

附图说明

图1为实施例1采用多个棱镜分光的扫描显微镜系统示意图；

图2为实施例2采用二次光栅的扫描显微镜系统示意图；

图3为实施例3采用两个相互正交的二次光栅的扫描显微镜系统示意图；

图4为分光棱镜分光示意图；

图5为二次光栅示意图；

图6为二次光栅分光示意图；

图7为两个相互正交的二次光栅分光示意图；

图8为辅相机z轴扫描得到的一系列多深度平面图片；

图9显示三个深度平面采集到的图像具有不同的清晰度；

图10显示主相机聚焦清晰度曲线和辅相机三个深度平面的清晰度曲线；

图11显示z轴处于不同聚焦位置时，辅相机三个平面聚焦清晰度拟合曲线；

图12显示不经过预测算法扫描得到的z轴坐标曲面；

图13显示结合预测算法扫描得到的z轴坐标曲面；

上述图中的标记为：1—光源；2—光纤；3—照明系统；4—运动平台；5—运动控制系统；6—样品；7—物镜；8—镜筒；9—筒镜；10、12—分光系统；11—主相机；13—辅相机。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明采用的技术方案主要包含硬件系统和软件算法系统。通过硬件系统得到多平面聚焦图像，通过软件算法结合多个平面的聚焦清晰度来计算最佳聚焦位置。

硬件系统主要包括光源、照明系统、运动平台、运动控制系统、物镜、筒镜、分光系统以及图像采集设备。其中：

照明系统，用于为样品照明；

运动平台，用于承载样品并在运动控制系统的控制下运动；

运动控制系统，用于控制运动平台进行x，y方向移动扫描，控制显微镜物镜或筒镜进行z轴聚焦扫描；

分光系统可以是半透半反透镜，分光棱镜或者二次光栅中的一种或者几种。二次光栅的锯齿形状，宽度，阶梯级数以及深度需要经过特殊设计，使得光效最大，各个深度平面的像亮度均匀。为了扫描更厚的样品，可以将分光系统采用级联的方式，获取更多深度平面的图像。例如，可以将图4所示的分光棱镜组进行级联，得到6个深度平面的图像。为了使每个深度平面的像不至于太小，可以用多个相机采集。还可以将两个图5所示的二次光栅正交级联(图6)，得到9个深度平面的图像。采用级联的方式，可以增加深度平面的个数，以及聚焦范围，使得即便主相机离焦较远，也能较准确的寻找到聚焦位置。

图像采集设备为相机，至少设有两个(主相机和辅相机)，用于将被照明的样品分别通过物镜和筒镜成像在主相机上，以及通过物镜、筒镜和分光系统成像在辅相机上，所述辅相机可同时成像多个不同的深度平面。

软件算法通过计算辅相机多个聚焦面的聚焦清晰度来确定主相机最佳聚焦位置。在自动聚焦前，需要对主相机和辅相机进行校正，使得主相机聚焦清晰度和辅相机中间深度平面清晰度相同。

具体而言，对显微镜物镜进行z轴聚焦扫描，得到多幅不同深度平面的图片。z轴聚焦扫描可以移动运动平台，也可以移动物镜和镜筒整体，还可以移动筒镜；也可以移动以上各种方法中的两种或者多种的组合。然后对主相机采集到的z轴聚焦扫描图片，以及辅相机采集到的多个深度平面的z轴聚焦扫描图片进行聚焦清晰度的计算，得到聚焦清晰度曲线。调节主、辅相机位置，使得主相机聚焦清晰度曲线和辅相机中间平面聚焦清晰度曲线重合。

聚焦清晰度的计算，可以使用绝对中心矩算法、图像对比度算法(Nanda)、图像曲率算法(Helmli)、DCT能量比率算法(shen)、高斯导数算法(Geusebroek)、灰度标准差算法(Krotkov)、灰度局部标准差算法(Pech)、能量梯度算法(Subbarao)、阈值梯度算法(Snatos)、Brenner算法、平方梯度算法(Eskicioglu)、Helmli均值算法、直方图熵算法(Krotkov)、拉普拉斯能量算法(Subbarao)、改进拉普拉斯算法(Nayar)、拉普拉斯方差算法(Pech)、斜拉氏算法(Thelen)、Steerable滤波算法(Minhas)、空间频率算法(Eskicioglu)、Tenengrad算法(Krotkov)、Tenengrad方差算法(Pench)、小波系数和算法(Yang)、小波系数方差算法(Yang)等算法中的一种或多种组合。

进行自动聚焦时，对运动平台上的样品进行x，y水平方向扫描，每个扫描位置主相机和辅相机均拍摄一幅图像。对辅相机的多个聚焦面的图像进行聚焦清晰度计算即可判断主相机是否清晰聚焦；以及如果不是清晰聚焦，应当向哪个方向移动。

对辅相机的多个聚焦清晰度值进行曲线拟合，可以得到聚焦清晰度峰值位置，峰值位置与中心平面的偏移量即是z轴需要移动的量。

这样，无需对z轴进行大范围全局聚焦扫描(例如扫描很多个点，分别计算出聚焦清晰度，清晰度最大的点就是聚焦位置)；也无需采用爬山法等寻找聚焦位置的算法，仅采集计算一次就可以得到聚焦位置。

实施例1

硬件系统如图1所示。光源1通过光纤2导入科勒照明系统3，被照明的样品6通过物镜7和筒镜9成像在主相机11上；同时，样品6通过物镜7、筒镜9以及分光系统10和12成像在辅相机13上。例如，本实施例中，物镜选用Plan NA0.25 10x物镜、Plan NA0.75 20x物镜，分光系统10和12为棱镜(组)，可由机械加工件夹持安装。分光系统10和12的分光比要经过设计，使得各深度平面所成的像亮度均匀，既不会过度曝光，也不会太暗；分光系统12需要经过设计，使得各深度平面所成像大小基本一致，并且具有相似的像差。本实施例中，分光系统12为分光棱镜，以该棱镜组为例，可以设计成：第一个棱镜反射33％透射66％，第二个棱镜反射50％透射50％，第三个棱镜全反，分光示意图如图4所示。辅相机13可以同时成像三个不同聚焦面。运动控制系统5控制运动平台4在x，y方向上移动扫描，控制物镜7或者筒镜9进行z轴聚焦扫描，例如，运动控制系统5可采用Copley驱动器和Galil DMC-2x00数字运动控制器，运动平台4可采用PI M406.2PD高精度线性运动平台。

在自动聚焦前，先对主相机11和辅相机13进行校正，使得主相机11聚焦清晰度和辅相机13中间深度平面清晰度相同，本实施例中可采用FLIR BFS-U3-32S4C相机。具体而言，对显微镜物镜7进行z轴聚焦扫描，得到多幅不同深度平面的图片，如图8所示，图中显示3个深度平面，且三个深度平面采集到的图像具有不同的清晰度，如图9所示，平均灰度值差别在10％以内，通过背景去除还可以得到更具均匀的三幅图片。然后对主相机11采集到的z轴聚焦扫描图片，以及辅相机13采集到的多个深度平面的z轴聚焦扫描图片进行聚焦清晰度的计算，得到聚焦清晰度曲线。调节主、辅相机位置，使得主相机11聚焦清晰度曲线和辅相机13中间平面聚焦清晰度曲线重合(图10圆形和菱形数据)。

主、辅相机校正好后，先对样品6进行单一位置的全局扫描，得到最佳聚焦位置。然后对样品6进行x，y方向扫描。每扫描到一个位置，先由辅相机13采集一幅图像，计算辅相机三个聚焦面的清晰度，然后对三个清晰度值进行曲线拟合得到最佳聚焦位置，根据计算得到的最佳聚焦位置相应的移动z轴(物镜7或者筒镜9)，使主相机图像最清晰。图11显示z轴处于不同聚焦位置时，辅相机三个平面聚焦清晰度拟合曲线，峰值表示最佳聚焦位置，其中，中间图：主相机基本清晰聚焦；左图和右图：z轴需要向相应的方向移动，以使得辅相机三个清晰度拟合曲线峰值位于中间平面(中间值)。

最后，采集主相机图像。

实施例2

硬件系统如图2所示。光源1通过光纤2导入科勒照明系统3，被照明的样品6通过物镜7和筒镜9成像在主相机11上；同时，样品6通过物镜7、筒镜9以及分光系统10和12成像在辅相机13上。分光系统12为二次光栅，如图5所示，二次光栅可以是菲涅尔光栅的一部分。通过二次光栅的光经衍射可以从不同的角度出射，如图6所示，经过二次光栅出射0级和±1级出射光，不同级次光会将不同聚焦深度的图像成像在相机上。

辅相机13可以同时成像三个不同聚焦面。运动控制系统5控制运动平台4在x，y方向移动扫描，控制物镜7或者筒镜9进行z轴聚焦扫描。

自动聚焦扫描流程和算法同实施例一。

实施例3

硬件系统如图3所示。光源1通过光纤2导入科勒照明系统3，被照明的样品6通过物镜7和筒镜9成像在主相机11上；同时，样品6通过物镜7、筒镜9以及分光系统10和12成像在辅相机13上。分光系统12为两个互相正交的二次光栅，如图7所示。辅相机13可以同时成像9个不同聚焦面。运动控制系统5控制运动平台4在x，y方向移动扫描，控制物镜7或者筒镜9进行z轴聚焦扫描。

自动聚焦扫描流程和算法同实施例一。

为了保证显微镜扫描时聚焦的一致性和连续性，可以对已扫描位置的聚焦z值进行曲线拟合或者人工智能学习来预测下一个扫描位置的聚焦z值。预测的聚焦z值和计算的聚焦z值以不同的权重组合构成所需的聚焦z值。图12显示不采用预测得到的扫描z轴坐标曲面；图13显示采用预测和计算结合得到的扫描z轴坐标曲面。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。