阅读说明：本技术 一种对焦过程模型可设定的显微镜自动对焦方法 (A kind of microscope Atomatic focusing method that focus process model can be set ) 是由 熊永华 杨云洪 吴梁广 于 2019-07-24 设计创作，主要内容包括：本发明提供了一种对焦过程模型可设定的显微镜自动对焦方法,用于实现可人为设定对焦模型的显微镜自动对焦方法。在训练阶段：首先设定的对焦模型即对焦评价分数与显微镜头坐标之间的变化关系满足高斯函数模型,并结合显微图像清晰度评价方法以及人的视觉感知计算出显微图像的对焦评价分数,然后,基于深度神经网络建立对焦评价模型；在应用阶段：利用对焦评价模型求解出高斯函数参数,进而得到显微镜头焦点坐标位置的预测值,最后通过区域局部搜索,得到最终显微镜头的坐标。玻片等透明物体进行衍射成像时,由于光照的变化会形成双伪焦点现象。本发明的有益效果是：实现具有双伪焦点的物体在光学显微镜的准确、快速对焦。(The present invention provides a kind of microscope Atomatic focusing methods that focus process model can be set, for realizing the microscope Atomatic focusing method that focusing model can be manually set.In the training stage: the variation relation that the focusing model set first is focused between evaluation score and microlens coordinate meets Gaussian function model, and micro-image clarity evaluation method and the visual perception of people is combined to calculate the focusing evaluation score of micro-image, then, focusing evaluation model is established based on deep neural network；In the application stage: solving Gaussian function parameter using focusing evaluation model, and then obtain the predicted value of microlens focal coordinates position, finally by region local search, obtain the coordinate of final microlens.When the transparent substances such as slide carry out diffraction imaging, since the variation of illumination will form double pseudo- focus phenomenons.The beneficial effects of the present invention are: realizing has the object of double pseudo- focuses in accurate, the rapid focus of optical microscopy.)

一种对焦过程模型可设定的显微镜自动对焦方法

技术领域

本发明涉及显微镜成像领域，尤其涉及一种对焦过程模型可设定的显微镜自动对焦方法。

背景技术

在全自动显微镜成像系统中，自动对焦是一项非常重要的技术。在学术和工业领域，许多物体都需要在显微镜下观察或加工，因此需要在显微镜下使物体对焦。与望远镜、照相机等光学器件相比，显微镜的成像范围很窄，景深很小。因此，即使载玻片最初是通过手动调节透镜来对焦的，移动滑动玻璃几微米也会由于其不均匀的表面而引起散焦。为了提高显微成像的效率，实现显微镜的自动对焦十分重要。

一般来说，自动对焦技术可分为主动自动对焦法和被动自动对焦法。主动式自动对焦方法需要硬件支持，成本高，在显微镜中的应用较少。被动式自动对焦技术主要是基于数字图像处理技术，其中对焦深度法是建立在搜索过程上，对需要采集的显微图像进行评价，找到评价值最优时镜头的坐标。对焦深度法是一种纯数值优化技术，成本低，精度高，通用性强。

与大多数观察对象(如生物细胞涂片)不同，它们的焦点曲线是单峰的，焦点是峰值位置。然而，像载玻片这样的透明物体进行透射成像时具有双伪焦点现象，其对焦曲线呈现双峰现象，并且对焦位置是两个峰之间的最小值。现存的自动对焦技术都不能的解决载玻片等具有双伪焦点的透明物体的自动对焦问题。

发明内容

为了解决上述问题，本发明提供了一种对焦过程模型可设定的显微镜自动对焦方法，主要包括以下步骤：

S1：以观测物体的某块区域作为基准区域，通过等间隔调节显微镜头的位置采集一组显微图像，并记录每个位置对应的镜头坐标；利用Tenengrad清晰度评价函数，并结合人眼感知以及设定的对焦过程模型，得到所述显微图像对焦评价分数；一张显微图像和该图像对应的对焦评价分数组成一个训练子样本，所有的训练子样本构成训练样本；所述设定的对焦过程模型即对焦评价分数与镜头坐标的变化关系满足高斯函数模型G(x；a,μ,δ)，其中，x为镜头坐标，a为增益，μ为实际焦点坐标，δ为方差；

S2：根据所述训练样本，对以MobileNetV2为骨架网络的深度神经网络进行训练，得到对焦评价模型F_s(x)，该焦评价模型F_s(x)用来计算对焦评价分数；

S3：采集解析样本，并利用所述对焦评价模型F_s(x)，求解对焦过程高斯函数模型的参数其中参数表示预测焦点坐标；所述解析样本由以包括起始对焦点和终止对焦点在内的任意t个对焦点及其对应的图像评价分数构成，t为正整数，且t>2；

S4：通过在所述预测焦点坐标的周围预设区域内进行局部搜索得到最终的焦点坐标，该最终的焦点坐标对应的点即为得到的光学显微镜观测物体自动对焦点。

进一步地，所述训练样本由多组显微图像及对应对焦评价分数组成；以显微镜头的最小移动步长为等间隔，在物体成像焦点位置的上下方各采集m张图像，m为大于1的正整数；这m张图像构成一组样本，移动或更换不同物体，按照上述方法采集多组样本；该多组样本即为所述训练样本中的多组显微图像；设定每组样本的对焦评价分数S与显微镜头坐标x之间的关系满足高斯函数模型以人眼感知的每组样本最佳显微图像对应的镜头坐标为焦点坐标，该焦点坐标即为所述高斯函数模型中参数μ的值；任意选择一组样本作为基准样本，该基准样本对焦过程满足其中μ₀为基准样本的焦点坐标，a₀为基准样本的增益，δ₀为基准样本的方差，σ₀为基准样本的均值，且σ₀,a₀＞0；Tenengrad清晰度评价函数在显微镜头坐标x处采集的显微图像P_x对应的清晰评价值为T(P_x)；则其他组样本的对焦评价分数为其中，为第j种样本第i张图像的评价分数，为第j种样本第i张图像的显微镜头坐标，μ_j为第j组训练样本焦点所对应的显微镜头坐标，T_maxj为第j种样本最大清晰度评价值，T_max0为所述基准样本的最大清晰度评价值。

进一步地，所述以MobileNetV2为骨架网络的深度神经网络的输出层神经元个数设置为1；采用训练样本利用指数衰减梯度下降优化器和Glorot统一初始化技术对对焦评价模型进行训练。

进一步地，在显微镜头坐标x处采集的显微图像为P_x，选取包括起始对焦点和终止对焦点在内的任意t个对焦点的过程如下：

(5)假设显微镜头的起始对焦点为P₀，对应的显微图像的聚焦评价分数为F_s(P₀)；在初始对焦点为P₀处调节显微镜头，朝方向D(D＝1/D＝-1)移动步长L(L＝l₀)到对焦点P₁；比较F_s(P₀)和F_s(P₁)的大小，并更新方向D和步长L；若F_s(P₁)＜F_s(P₀)，则方向D更新为-1*D，L更新为pL；否则，方向D保持不变，L更新为qL；其中，D＝1表示显微镜头的运动方向为向上(远离观测物体)，D＝-1表示显微镜头的运动方向为向下(靠近观测物体)；其中，p和q均为非零正整数；其中，l₀为显微镜头的最小运动步长；

(6)在对焦点P₁处，以更新后的方向D继续调节显微镜头，移动到对焦点P₂处，对应的显微图像的聚焦评价分数为F_s(P₂)；

(7)重复步骤(2)，直到满足条件F_s(P_i)＞F_s(P_i-1)且F_s(P_n)＜F_s(P_n-1)为止，得到n组对焦点及其对应的显微图像的聚焦评价分数：{(P₀,F_s(P₀)),(P₁,F_s(P₁)),...,(P_n,F_s(P_n))}；其中，P_n为终止对焦点，i和n均为正整数，且1<i<n，n≥3；

从步骤(3)的n组对焦点及其对应的显微图像的聚焦评价分数中，选取包括起始对焦点和终止对焦点及其对应的图像清晰度评价值(P₀,F_s(P₀))和(P_n,F_s(P_n))在内的任意t个对焦点及其对应的图像清晰度评价值作为解析样本。

进一步地，利用所述解析样本求解对焦过程高斯函数模型的参数利用最小二乘法原理得到矩阵X、A和Y：

其中有XA＝Y，p₀、p₁...p_t为选取的包括起始对焦点和终止对焦点的任意t个对焦点，A为系数矩阵，a₀、a₁和a₂均为系数，F_s(p₀)、F_s(p₁)...F_s(p_t)为分别对应对焦点p₀、p₁...p_t的图像清晰度评价值，A＝(X^TX)^-1X^TY，求解出来的即为预测焦点坐标。

进一步地，调节显微镜头以最小移动步长沿步骤S4中得到的所述最终的焦点坐标上下各运动k次，得到2k+1个对焦点及该对焦点时对应的Tenengrad图像清晰度评价值，将得到的2k+1个对焦点对应的Tenengrad图像清晰度评价值进行比较，最小Tenengrad图像清晰度评价值对应的对焦点即为微调后得到的对焦点，其中，k为大于1的正整数。

本发明提供的技术方案带来的有益效果是：实现具有双伪焦点的物体在光学显微镜的准确、快速对焦，提高了显微镜对焦的速度，对焦精度较高，为提高显微成像的效率提供支持。。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种对焦过程模型可设定的显微镜自动对焦方法的流程图；

图2是本发明实施例中一种对焦过程模型可设定的显微镜自动对焦方法的流向图；

图3是本发明实施例中显微镜下观测到的观测物体在载玻片上的某块区域图；

图4是本发明实施例中对焦评价模型的一组测试数据标准化后的曲线；

图5是本发明实施例中自动聚焦的测试结果图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种对焦过程模型可设定的显微镜自动对焦方法。

请参考图1和2，图1是本发明实施例中一种对焦过程模型可设定的显微镜自动对焦方法的流程图，图2是本发明实施例中一种对焦过程模型可设定的显微镜自动对焦方法的流向图，具体包括如下步骤：

S1：以如图3所示的观测物体的某块区域作为基准区域，通过等间隔调节显微镜头的位置的采集一组显微图像，并记录每个位置对应的镜头坐标；在Tenengrad清晰度评价函数的基础上结合人眼感知以及所设定的对焦过程即对焦评价分数与镜头坐标的变化关系满足高斯函数模型G(x；a,μ,δ)，得到所述显微图像对焦评价分数；高斯函数模型G(x；a,μ,δ)的输出即为对焦评价分数；其中，x为镜头坐标，a为增益，μ为实际焦点坐标，δ为方差；一张显微图像和该图像对应的对焦评价分数组成一个训练子样本，所有的训练子样本构成训练样本；其中，训练样本由多组显微图像及对应对焦评价分数组成中。以显微镜头的最小移动步长为等间隔，在物体成像焦点位置的上下方各采集m张图像，m为大于1的正整数，这m张图像构成一组样本，移动或更换不同物体，按照上述方法采集多组样本；该多组样本即为所述训练样本中的多组显微图像；设定每组样本的对焦评价分数S与显微镜头坐标x之间的关系满足高斯函数模型以人眼评判的每组训练样本最佳显微图像对应的镜头坐标为焦点坐标即为设定高斯函数模型中μ的值。任意选择一组样作为基准样本，设定其对焦过程满足其中μ₀为基准样本的焦点坐标，a₀为基准样本的增益，δ₀为基准样本的方差，σ₀为基准样本的均值，且σ₀,a₀＞0；Tenengrad清晰度评价函数评价显微镜头坐标x处采集的显微图像P_x的清晰值为T(P_x)，基准样本的最大清晰度评价值为T_max0，则其他组训练样本的对焦评价分数为其中，为第j种样本第i张图像的评价分数，为第j种样本第i张图像的显微镜头坐标，μ_j为第j组训练样本焦点所对应的显微镜头坐标，T_maxj为第j种样本最大清晰度评价值，T_max0为所述基准样本的最大清晰度评价值；

S2：根据所述训练样本，对以MobileNetV2为骨架网络的深度神经网络进行训练，得到对焦评价模型F_s(x)，F_s(x)用来计算对焦评价分数；其中，所述以MobileNetV2为骨架网络的深度神经网络的输出层神经元个数设置为1；采用训练样本利用指数衰减梯度下降优化器和Glorot统一初始化技术对对焦评价模型进行训练；

如图4所示，图中虚线为任意选择的一组测试数据通过Tenengrad清晰度评价函数得到的对应的清晰度评价值，点虚线为该组测试数据的对焦评价分数的标签值，实线为输入该组测试数据到训练好的对焦评价模型F_s(x)后得到的对焦评价分数。从图中可以看出通过训练对焦评价模型具有很好的效果。

S3：采集解析样本，并利用对焦评价模型，求解对焦过程高斯函数模型的参数其中参数表示预测焦点坐标；所述解析样本由以包括起始对焦点和终止对焦点在内的任意t个对焦点及其对应的图像评价分数构成，t为正整数，且t>2；其中，显微镜头坐标x出采集的显微图像为P_x，选取包括起始对焦点和终止对焦点在内的任意t个对焦点的过程如下：

(1)假设显微镜头的起始对焦点为P₀，对应的显微图像的聚焦评价分数F_s(P₀)；在初始对焦点为P₀处调节显微镜头，朝方向D(D＝1/D＝-1)移动步长L(L＝l₀)到对焦点P₁；比较F_s(P₀)和F_s(P₁)的大小，并更新方向D和步长L；若F_s(P₁)＜F_s(P₀)，则方向D更新为-1*D，L更新为pL；否则，方向D保持不变，L更新为qL；其中，D＝1表示显微镜头的运动方向为向上(远离观测物体)，D＝-1表示显微镜头的运动方向为向下(靠近观测物体)；其中，p和q均为非零正整数；其中，l₀为显微镜头的最小运动步长。

(2)在对焦点P₁处，以更新后的方向D继续调节显微镜头，移动到对焦点P₂处，对应的显微图像的聚焦评价分数为F_s(P₂)；

(3)重复步骤(2)，直到满足条件F_s(P_i)＞F_s(P_i-1)且F_s(P_n)＜F_s(P_n-1)为止，得到n组对焦点及其对应的显微图像的聚焦评价分数：{(P₀,F_s(P₀)),(P₁,F_s(P₁)),...,(P_n,F_s(P_n))}；其中，P_n为终止对焦点，i和n均为正整数，且1<i<n，n≥3；

从步骤(3)的n组对焦点及其对应的显微图像的聚焦评价分数中，选取包括起始对焦点和终止对焦点及其对应的图像清晰度评价值(P₀,F_s(P₀))和(P_n,F_s(P_n))在内的任意t个对焦点及其对应的图像清晰度评价值作为解析样本。

利用所述解析样本求解对焦过程高斯函数模型的参数根据最小二乘法原理得到X，A和Y：

其中有XA＝Y，p₀、p₁...p_t为选取的包括起始对焦点和终止对焦点的任意t个对焦点，A为系数矩阵，a₀、a₁和a₂均为系数，F_s(p₀)、F_s(p₁)...F_s(p_t)为分别对应对焦点p₀、p₁...p_t的图像清晰度评价值，A＝(X^TX)^-1X^TY，求解出来的即为预测焦点坐标。

S4：通过在所述预测焦点坐标的周围预设区域内进行局部搜索得到最终的焦点坐标，该最终的焦点坐标对应的点即为得到的光学显微镜观测物体自动对焦点。其中，通过在预测焦点坐标区域进行局部搜索，调节显微镜头以最小移动步长沿步骤S3中得到的对焦点上下各运动k次，得到2k+1个对焦点及该对焦点时对应的Tenengrad图像清晰度评价值，图像清晰度评价值最小时对应的对焦点即为微调后得到的对焦点，其中，k为大于1的正整数。

其中，步骤S1和步骤S2中的操作为训练阶段，步骤S3和步骤S4中的操作为根据训练阶段而应用的实际阶段。

如图5所示，采用步骤S3里的方法采集解析样本，并利用训练好的对焦评价模型F_s(x)，求解得到对焦过程高斯函数模型，图中虚线所示的高斯函数模型曲线即为对焦过程高斯函数模型曲线；图5中的解析数据点即为所述解析样本中的对焦点；通过该对焦过程高斯函数模型预测得到的对焦评价分数曲线与对焦评价分数(标签)曲线基本一致，所述预测得到的对焦评价分数曲线即图中所示的对焦评价分数(预测)曲线，通过解析对焦过程高斯函数模型参数得到的预测对焦坐标和真实对焦坐标很接近。由此说明，利用本发明提供的方法能够实现精度较高的自动快速对焦。

本发明的有益效果是：实现显微镜的准确、快速对焦，提高了显微镜对焦的速度，对焦精度较高，为提高显微成像的效率提供支持。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。