全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
阅读说明：本技术 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法 (Automatic focusing method of full-glass-slide imaging scanner and image acquisition method thereof ) 是由 梁毅雄 何柱君 向遥 刘晴 刘剑锋 于 2019-11-04 设计创作，主要内容包括：本发明公开了一种全载玻片成像扫描仪的自动聚焦方法,具体为获取当前聚焦点的成像图片并提取聚焦特征；对聚焦特征和隐藏特征进行融合生成聚集特征和新的隐藏特征；预测聚焦镜头的离焦距；对离焦距进行判断和反复调整得到最终的聚焦点；对最终的聚焦点所成像的图片清晰度和距离最终聚焦点最近的若干个聚焦点所成像的图片的清晰度,并采用清晰度最大的图片所对应的聚焦点作为最终的最优聚焦点。本发明还公开了包括所述全载玻片成像扫描仪的自动聚焦方法的图像获取方法。本发明方法的准确性高,而且聚焦速度快,效率较高。(The invention discloses an automatic focusing method of a full-glass-slide imaging scanner, which is specifically used for acquiring an imaging picture of a current focusing point and extracting focusing characteristics; fusing the focusing features and the hidden features to generate aggregation features and new hidden features; predicting the defocusing distance of the focusing lens; judging and repeatedly adjusting the defocusing distance to obtain a final focusing point; and (3) the definition of the image formed by the final focusing point and the definition of the image formed by a plurality of focusing points closest to the final focusing point are determined, and the focusing point corresponding to the image with the highest definition is used as the final optimal focusing point. The invention also discloses an image acquisition method comprising the automatic focusing method of the full-glass-slide imaging scanner. The method has the advantages of high accuracy, high focusing speed and high efficiency.)
技术领域
本发明属于图像处理领域，具体涉及一种全载玻片成像扫描仪的自动聚焦方法及其图像获取方法。
背景技术
全载玻片成像扫描技术是数字病理学的一种重要的技术。全载玻片成像扫描仪对物理切片进行扫描，从而形成便于存储、检索和传输的数字切片。全载玻片成像扫描仪在切片的每个视野聚焦成像，扫描整个切片，然后把得到的所有图片对齐并缝合在一起，产生整个切片的完整的无缝的图像。同时，由于每张切片上存在上千个视野，因此在每个视野上的自动聚焦操作就成为了限制全载玻片成像扫描速度的主要因素。
自动聚焦是指：在聚焦镜头上下移动的z轴上的众多的聚焦点中，找到一个最佳的聚焦点，使得得到的成像图片最清晰。目前常用的自动聚焦算法为：在z轴上等间距地选择几十个聚焦点，把聚焦镜头移动到这些聚焦点上，评估在这些聚焦点上得到的聚焦图片，并将其中清晰度最大的图片作为最终的输出图片，其所对应的聚焦点即为自动聚焦的最佳聚焦点。
但是，在移动聚焦镜头和成像时，需要耗费大量的时间。因此，当需要调查的聚焦点的个数越多，聚焦消耗的时间就越长。同时，因为聚焦镜头的起始位置、采样间距的不同以及聚焦点的选取问题，现有算法所搜索到的最佳聚焦点不一定是实际最佳的聚焦点，自动聚焦得到的最终图片也不一定是实际上最清晰的图片。
发明内容
本发明的目的之一在于提供一种快速、高效且准确的全载玻片成像扫描仪的自动聚焦方法。
本发明的目的之二在于提供一种包括所述全载玻片成像扫描仪的自动聚焦方法的图像获取方法。
本发明提供的这种全载玻片成像扫描仪的自动聚焦方法，具体包括如下步骤：
S1.获取当前聚焦点的成像图片；
S2.提取步骤S1得到的成像图片的聚焦特征；
S3.对步骤S2得到的聚焦特征和隐藏特征进行融合，从而生成聚集特征和新的隐藏特征；
S4.根据步骤S3得到的聚集特征和新的隐藏特征，预测聚焦镜头的离焦距；所述的离焦距定义为最佳聚焦点相对于当前聚焦点的偏移量；
S5.对步骤S4预测得到的离焦距进行判断，达到终止条件，跳到步骤S6，否则跳到步骤S1和反复调整，从而得到最终的聚焦点；
S6.对比步骤S5得到的最终的聚焦点所成像的图片清晰度，以及距离最终聚焦点最近的若干个聚焦点所成像的图片的清晰度，并采用清晰度最大的图片所对应的聚焦点作为最终的最优聚焦点，从而完成全载玻片成像扫描仪的自动聚焦。
步骤S2所述的提取步骤S1得到的成像图片的聚焦特征，具体为采用卷积神经网络提取步骤S1得到的成像图片的聚焦特征。
所述的卷积神经网络为ResNet-18卷积神经网络，网络参数通过训练过程得到。
所述的提取步骤S1得到的成像图片的聚焦特征，具体为将输入的步骤S1得到的原始成像图片进行裁剪，从而得到若干张子图片，并提取该若干张子图片的聚焦特征。
所述的将输入的步骤S1得到的原始成像图片进行裁剪，从而得到若干张子图片，具体为将步骤S1得到的原始成像图片的左下角作为原点，分别以(0.2L,0.2W)、(0.2L,0.8W)、(0.8L,0.2W)、(0.5L,0.5W)和(0.8L,0.8W)为中心点，截取边长为Lset的正方形区域图片作为裁剪得到的子图片；L为原始成像图片的长度，W为原始成像图片的宽度。
步骤S3所述的对步骤S2得到的聚焦特征和隐藏特征进行融合，从而生成聚集特征和新的隐藏特征，具体为采用循环神经网络融合聚焦特征和隐藏特征，从而得到聚集特征和新的隐藏特征。
所述的循环神经网络为LSTM(长短期记忆)网络，网络参数通过训练过程得到。
步骤S4所述的根据步骤S3得到的聚集特征和新的隐藏特征，预测聚焦镜头的离焦距，具体为线性回归器预测聚焦镜头的离焦距。
步骤S4所述的根据步骤S3得到的聚集特征和新的隐藏特征，预测聚焦镜头的离焦距，具体为采用如下算式计算预测的离焦距Δxi：
式中WT为线性回归器的权重；
将若干张子图片各自对应的离焦距求平均值，并将得到的平均值作为该图片的最终的离焦距。
步骤S5所述的对步骤S4预测得到的离焦距进行判断和反复调整，从而得到最终的聚焦点，具体为采用如下步骤进行判断和调整：
A.采用如下规则对步骤S4预测得到的离焦距进行判断：
若预测得到的离焦距Δxi＝0，则认定当前的聚焦点为最终的聚焦点；
若预测得到的离焦距Δxi≠0，则移动聚焦镜头；
B.采用如下算式计算移动聚焦镜头时的目标位置xi+1：
xi+1＝xi+Δxi
式中xi为当前聚焦镜头的位置；
C.判断当前的调整次数是否达到设定的次数：
若当前的调整次数达到设定的次数，则认定当前调整位置后的聚焦镜头的聚焦点为最终的聚焦点；
若当前的调整次数未达到设定的次数，则跳转到步骤S1，重新开始进行调整判断和调整。
本发明还提供了一种包括所述全载玻片成像扫描仪的自动聚焦方法的图像获取方法，还包括如下步骤：
S7.在步骤S6得到的最优聚焦点进行成像，从而得到清晰度最大的图像。
本发明提供的这种全载玻片成像扫描仪的自动聚焦方法及其图像获取方法，采用神经网络算法和循环神经网络技术，通过不断对聚焦镜头的位置进行调整，从而得到最佳的聚焦点，并在聚焦点上成像从而得到清晰度最高的聚焦图片，因此本发明方法的准确性高；而且本发明方法仅对聚焦镜头进行有限次数的调整，所以本发明方法的聚焦速度快，效率较高。
附图说明
图1为本发明方法的自动聚焦方法的方法流程示意图。
图2为本发明方法中对原始成像图片进行裁剪的示意图。
图3为本发明方法的图像获取方法的方法流程示意图。
具体实施方式
本发明针对全载玻片扫描仪自动聚焦耗时长问题，提出一种快速高效的自动聚焦算法，在加快自动聚焦速度的同时，提高聚焦图片的质量。如背景技术所述，在自动聚焦过程中调查的聚焦点的个数越多，聚焦消耗的时间越长。计算出聚焦镜头的离焦距，根据离焦距移动镜头到最佳的聚焦点上，这是最快速的方法，只需要移动镜头一次，成像只需要2次。但是离焦距的真实值在已有的设备上不能精确的计算出来。本发明利用当前聚焦图片的信息来提取出包含聚焦信息的聚焦特征，使用聚焦特征可以大概地预测出离焦距。从图片中提取出有用信息的常用方法是卷积神经网络。这个预测出来的离焦距不是很精确，本发明使用两个方法来弥补这个缺陷。第一，预测离焦距并移动镜头的位置这个过程不断迭代，使得镜头不断接近最佳的聚焦点。考虑速度问题，迭代的次数不会太大，保证移动镜头的次数少于已有聚焦算法移动镜头的次数。第二，提高聚焦特征包含的聚焦信息。使用循环神经网络记录迭代过程中得到的聚焦特征。循环神经网络融合历史的聚焦特征和当前的聚焦特征，形成新的包含丰富的正确的聚焦信息的聚集特征。使用聚集特征预测出当前聚焦镜头的离焦距。随着迭代次数的增加，通过聚集特征预测出的离焦距越来越精确，保证聚焦镜头不断靠近最佳聚焦点。最后对聚焦镜头的位置进行微调，提升聚焦图片的质量。
具体来说，本发明的整个自动聚焦过程是一个迭代的过程。在每次迭代过程中，首先在当前的聚焦镜头的聚焦点上获取一张图片，使用卷积神经网络从图片中提取聚焦特征，然后循环神经网络读取聚焦特征和先前迭代的聚焦特征，把这些特征组合成聚集特征，最后，线性回归器利用新的聚集特征预测当前聚焦镜头的离焦距，或者说最佳的聚焦点的位置相对于当前聚焦点的偏移量，根据偏移量移动聚焦镜头。如果偏移量等于0，或者迭代次数超过限定的阈值，停止迭代，否则，继续迭代。停止迭代后，调查当前聚焦点前后两个聚集点，选择这三个聚焦点的成像图片中最清晰的一张图片作为最终的输出。
本发明提供的这种全载玻片成像扫描仪的自动聚焦方法，具体包括如下步骤：
S1.获取当前聚焦点的成像图片；
S2.提取步骤S1得到的成像图片的聚焦特征；具体为采用卷积神经网络(比如ResNet-18卷积神经网络)提取步骤S1得到的成像图片的聚焦特征；
在具体实施时，使用卷积神经网络提取聚焦特征
式中CNN()为卷积神经网络提取特征的过程；
同时，在具体实施时，将输入的步骤S1得到的原始成像图片进行裁剪，从而得到若干张子图片，并提取该若干张子图片的聚焦特征；比如，如图2所示，将步骤S1得到的原始成像图片的左下角作为原点，分别以(0.2L,0.2W)、(0.2L,0.8W)、(0.8L,0.2W)、(0.5L,0.5W)和(0.8L,0.8W)为中心点，截取边长为Lset＝500像素的正方形区域图片作为裁剪得到的子图片；
S3.对步骤S2得到的聚焦特征和隐藏特征进行融合，从而生成聚集特征和新的隐藏特征；具体为采用循环神经网络(比如LSTM(长短期记忆)网络)融合聚焦特征和隐藏特征，从而得到聚集特征和新的隐藏特征；
在具体实施时，使用循环神经网络融合聚焦特征和隐藏特征，生成聚集特征
旧的隐藏特征ci-1和hi-1包含之前迭代提取的聚焦特征的聚焦信息；LSTM把旧的隐藏特征和当前聚集特征的聚焦信息融合在一起，组合成包含丰富聚焦信息的聚集特征；同时，LSTM把当前聚焦特征的聚焦信息保存在隐藏特征中，更新了隐藏特征中的聚焦信息，以便之后的迭代过程使用当前的聚焦信息，从而使得后面的聚集特征包含的聚焦信息越来越多，预测出来的离焦距越来越准确；
S4.根据步骤S3得到的聚集特征和新的隐藏特征，预测聚焦镜头的离焦距；所述的离焦距定义为最佳聚焦点相对于当前聚焦点的偏移量；具体为线性回归器预测聚焦镜头的离焦距；
在具体实施时，采用如下算式计算预测的离焦距Δxi：
式中WT为线性回归器的权重；
同时，将若干张子图片各自对应的离焦距求平均值，并将得到的平均值作为该图片的最终的离焦距；
S5.对步骤S4预测得到的离焦距进行判断和反复调整，从而得到最终的聚焦点；具体为采用如下步骤进行判断和调整：
A.采用如下规则对步骤S4预测得到的离焦距进行判断：
若预测得到的离焦距Δxi＝0，则认定当前的聚焦点为最终的聚焦点；
若预测得到的离焦距Δxi≠0，则移动聚焦镜头；
B.采用如下算式计算移动聚焦镜头时的目标位置xi+1：
xi+1＝xi+Δxi
式中xi为当前聚焦镜头的位置；
C.判断当前的调整次数是否达到设定的次数：
若当前的调整次数达到设定的次数，则认定当前调整位置后的聚焦镜头的聚焦点为最终的聚焦点；
若当前的调整次数未达到设定的次数，则跳转到步骤S1，重新开始进行调整判断和调整；
S6.对比步骤S5得到的最终的聚焦点所成像的图片清晰度，以及距离最终聚焦点最近的若干个(比如两个)聚焦点所成像的图片的清晰度，并采用清晰度最大的图片所对应的聚焦点作为最终的最优聚焦点，从而完成全载玻片成像扫描仪的自动聚焦。
如图3所示为本发明方法的图像获取方法的方法流程示意图：本发明还提供了一种包括所述全载玻片成像扫描仪的自动聚焦方法的图像获取方法，包括如下步骤：
S1.获取当前聚焦点的成像图片；
S2.提取步骤S1得到的成像图片的聚焦特征；具体为采用卷积神经网络(比如ResNet-18卷积神经网络)提取步骤S1得到的成像图片的聚焦特征；
在具体实施时，使用卷积神经网络提取聚焦特征
式中CNN()表示卷积神经网络提取特征的过程；
同时，在具体实施时，将输入的步骤S1得到的原始成像图片进行裁剪，从而得到若干张子图片，并提取该若干张子图片的聚焦特征；比如，如图2所示，将步骤S1得到的原始成像图片的左下角作为原点，分别以(0.2L,0.2W)、(0.2L,0.8W)、(0.8L,0.2W)、(0.5L,0.5W)和(0.8L,0.8W)为中心点，截取边长为Lset＝500像素的正方形区域图片作为裁剪得到的子图片；
S3.对步骤S2得到的聚焦特征和隐藏特征进行融合，从而生成聚集特征和新的隐藏特征；具体为采用循环神经网络(比如LSTM(长短期记忆)网络)融合聚焦特征和隐藏特征，从而得到聚集特征和新的隐藏特征；
在具体实施时，使用循环神经网络融合聚焦特征和隐藏特征，生成聚集特征
旧的隐藏特征ci-1和hi-1包含之前迭代提取的聚焦特征的聚焦信息；LSTM把旧的隐藏特征和当前聚集特征的聚焦信息融合在一起，组合成包含丰富聚焦信息的聚集特征；同时，LSTM把当前聚焦特征的聚焦信息保存在隐藏特征中，更新了隐藏特征中的聚焦信息，以便之后的迭代过程使用当前的聚焦信息，从而使得后面的聚集特征包含的聚焦信息越来越多，预测出来的离焦距越来越准确；
S4.根据步骤S3得到的聚集特征和新的隐藏特征，预测聚焦镜头的离焦距；所述的离焦距定义为最佳聚焦点相对于当前聚焦点的偏移量；具体为线性回归器预测聚焦镜头的离焦距；
在具体实施时，采用如下算式计算预测的离焦距Δxi：
式中WT为线性回归器的权重；为步骤S3得到的聚集特征；b为线性回归器的偏置，WT和b的具体数值通过训练过程得到；
同时，将若干张子图片各自对应的离焦距求平均值，并将得到的平均值作为该图片的最终的离焦距；
S5.对步骤S4预测得到的离焦距进行判断和反复调整，从而得到最终的聚焦点；具体为采用如下步骤进行判断和调整：
A.采用如下规则对步骤S4预测得到的离焦距进行判断：
若预测得到的离焦距Δxi＝0，则认定当前的聚焦点为最终的聚焦点；
若预测得到的离焦距Δxi≠0，则移动聚焦镜头；
B.采用如下算式计算移动聚焦镜头时的目标位置xi+1：
xi+1＝xi+Δxi
式中xi为当前聚焦镜头的位置；
C.判断当前的调整次数是否达到设定的次数：
若当前的调整次数达到设定的次数，则认定当前调整位置后的聚焦镜头的聚焦点为最终的聚焦点；
若当前的调整次数未达到设定的次数，则跳转到步骤S1，重新开始进行调整判断和调整；
S6.对比步骤S5得到的最终的聚焦点所成像的图片清晰度，以及距离最终聚焦点最近的若干个(比如两个)聚焦点所成像的图片的清晰度，并采用清晰度最大的图片所对应的聚焦点作为最终的最优聚焦点，从而完成全载玻片成像扫描仪的自动聚焦。
S7.在步骤S6得到的最优聚焦点进行成像，从而得到清晰度最大的图像。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：镜头模组和电子装置