一种成像椭圆偏振仪的焦平面自动聚焦方法
阅读说明：本技术 一种成像椭圆偏振仪的焦平面自动聚焦方法 (Focal plane automatic focusing method of imaging ellipsometer ) 是由 郭海燕 吴锜 于 2021-10-21 设计创作，主要内容包括：本发明属于光学设备聚焦技术领域,属于成像椭圆偏振仪技术领域的光学设备自动聚焦相关技术,涉及一种通过分析焦平面附近图像边缘探测进行成像椭圆偏振仪的焦平面自动聚焦的方法,具体步骤包括：图像采集、边缘检测、确定精准焦平面位置、开发板选取、聚焦应用；与现有技术相比,可以更加快速有效地确定成像椭圆偏振仪的焦平面,对半透明、微小生物样品测量节省了聚焦时间；不需要选择阈值,非常容易使用；测量的偏振光与物质光学相互作用得到椭偏图像数据焦平面变化比同时CCD取图同样处理方法得到的数据灵敏度更高；其成像椭偏图焦平面确定的灵敏度高,整体设计原理科学可靠,实现工艺步骤简单,自动聚焦效果好,应用价值高,应用环境友好。(The invention belongs to the technical field of focusing of optical equipment, belongs to the related technology of automatic focusing of optical equipment in the technical field of imaging ellipsometers, and relates to a method for automatically focusing a focal plane of an imaging ellipsometer by analyzing edge detection of an image near the focal plane, which comprises the following specific steps: image acquisition, edge detection, accurate focal plane position determination, development board selection and focusing application; compared with the prior art, the focal plane of the imaging ellipsometer can be determined more quickly and effectively, and the focusing time is saved for the measurement of semitransparent and tiny biological samples; the threshold does not need to be selected, and the method is very easy to use; the measured polarized light and the material are optically interacted to obtain the focal plane change of the ellipsometric image data, and the data sensitivity is higher than that obtained by the same processing method of CCD image taking; the imaging ellipsometry focal plane has high determined sensitivity, scientific and reliable overall design principle, simple implementation process steps, good automatic focusing effect, high application value and environment-friendly application.)
技术领域
：本发明属于光学设备聚焦技术领域，属于成像椭圆偏振仪
技术领域
的光学设备自动聚焦相关技术，涉及一种通过分析焦平面附近图像边缘探测进行成像椭圆偏振仪的焦平面自动聚焦的方法，并将其应用在相关技术领域。背景技术
：成像椭圆偏振(椭偏)仪技术是在传统椭偏仪基础上增加CCD相机实现用椭圆偏振光成像的技术，是结合了一般椭偏仪厚度方向高分辨率以及样本平面内高分辨率的一种高精度测量方法。成像椭圆偏振仪技术除了像一般椭圆偏振仪一样可以提供薄膜厚度和折射率等相关信息，还可以提供被测样品的实时动态视频和图像，成像椭偏技术正在引起其他学科如生物医药研究人员越来越多的兴趣，例如研究人员发现与表面等离子共振(SPR)联用，成像椭偏技术可以实现生物芯片和生物传感器的检测。这些跨学科的研究领域给椭偏技术带来了新研究热点的同时也给该技术带来了挑战，例如在非稳定液体表面进行薄膜测量和显微成像等。
一方面成像椭偏仪可以无损、不需染色标记地对亚微米尺度的细菌生物细胞以及其它生物样品测量；另一方面，生物应用时，一些活细胞在环境中不够稳定，有时可能很快死亡，而活细胞的特性在观测期间发生变化更为常见。在时间有限的情况下，由于可以确保快速准确定位到感兴趣的位置，自动聚焦技术变得尤为重要。但是在实际应用中由于更加复杂的偏振光-物质相互作用，很多对一般形貌图像照相(例如普通相机和全息照相)有效的自动聚焦方法不再适用于成像椭偏仪的自动聚焦。除此之外由于成像椭圆偏振仪的工作方式与一般光学成像系统有所不同，其物镜平面与成像透镜有夹角，而CCD与物镜平面平行，使得成像椭圆偏振仪成像原理更加复杂，增加了在测量微小、半透明的生物样品时聚焦定位的难度。
传统相机的自动聚焦方法分为主动型聚焦方法与被动型聚焦方法(Chen CY，Hwang RC，Chen YJ.A passive auto-focus camera control system.Appl SoftComput.2010；10(1):296-303)。主动型聚焦方法利用红外或超声波信号发送到目标，并根据反射信号的到达时间来测量物体距离进行聚焦。被动型聚焦方法通过图像分析实现，例如：对全息照片通过分析图片谱图确定焦平面(Liebling M，Unser M.Autofocus fordigital Fresnel holograms by use ofa Fresnelet-sparsity criterion.J OptSocAmA-Opt Image Sci Vis.2004；21(12):2424-30)；对CCD照片里面气泡和微粒进行灰度值梯度分析确定它们是否在焦平面上(Broder D， Sommerfeld M.Planar shadow imagevelocimetry for the analysis of the hydrodynamics in bubbly flows.Meas SciTechnol.2007；18(8):2513-28)；对扫描电镜图片进行高频成分或边缘分析以及梯度探测边缘确定焦平面位置(Groen FCA，Young IT，Ligthart G.A comparison of differentfocus functions for use in autofocus algorithms.Cytometry.1985；6(2):81-91.)；或进行离散小波变换来判断图像是否锐利(Chen CY，Hwang RC，ChenYJ.Apassive auto-focus camera control system.Appl Soft Comput.2010；10(1):296-303)等方法来确定焦平面位置。
传统的检测焦平面方法一般基于在不同聚焦深度图像清晰度的不同，图像边缘的锐利与否，例如张国峰；石旭；符郁；陈航；海振坤；熊志仁；陈瑞云；秦成兵；肖连团；贾锁堂在2019年发明的一种激光共聚焦显微镜的自动聚焦的方法[P]，专利号为CN201911009133.4，他们用CCD进行实时采集样品玻片表面(反射激光的面)的反射光，将采集到的图像转换成灰度值二维矩阵，通过测量其中图片灰度值最大位置得到焦平面位置；约翰·B·普特曼；马修·C·普特曼；瓦迪姆·潘斯基；丹尼斯·Y·沙鲁霍夫2019年发明的纳米电子成像有限公司的用于自动显微镜聚焦的系统、装置和方法[P]，专利号：CN201980029638.9通过利用定位在图像共轭平面的不同侧上的多个聚焦相机，用由偏移聚焦相机拍摄的图像确定的清晰度值来确定焦点。
椭圆偏振仪不是基于简单光学原理，它通过测量从样品反射的偏振光的振幅和相位获得样品的信息以揭示更细微的特征，在对厚度变化有要求的半导体工业等领域得到了广泛的应用。基于椭圆偏振仪的成像椭偏仪与一般相机、显微镜、全息照片都不同，椭圆偏振图像随不同聚焦深度还可能有完全不同的特征，例如，癌细胞(Chen Y-D，Hsu HY，Khaleel MI，Chang Y-C，Wu C-H， Wu H-C.Study of Biological Reaction in CancerCell with Spectroscopic Imaging Ellipsometry.In:Verma P，EgnerA，editors.Nanoimaging andNanospectroscopy Iv. Proceedings ofSPIE.99252016.)，和变形链球菌细胞(Khaleel MI，ChenY-D， Chien C-H，Chang Y-C.Microscopic imagingellipsometry of submicron-scale bacterial cells.Tropical JournalofPharmaceutical Research.2017；16(11):2713-25) 的情况。
其它收集形貌图像(包括全息相片)的相机相对比较容易实现自动聚焦，例如用自动聚焦评价函数法时，只收集一次走过包括焦平面的一组全行程聚焦深度图像，即可分析得到可靠的焦平面位置。例如下面这个确定全息照片焦平面的工作：Langehanenberg P，KemperB，Dirksen D，von Bally G.Autofocusing in digital holographic phasecontrast microscopy on pure phase objects for live cell imaging.ApplOptics.2008；47(19):D176。而对成像椭偏仪用自动聚焦评价函数寻找焦平面位置时(ChenS，Meng Y，Jin G.Study on the autofocus evaluation function in ellipsometricimaging system.Acta Optica Sinica.2005；25(7):923-9)，他们虽然发现对硅片纤维蛋白芯片和多通道蛋白芯片上拉普拉斯函数和索贝尔评价函数较为适用，但为抑制噪声干扰需要采用大于9帧的多帧平均方法。这一方面表明成像椭偏的机理与一般成像不同，另一方面还可以看到在需要快速测量的情况下，多次通过包括焦平面的全聚焦深度做测量，然后平均处理这样的定焦方法也不够快速有效。对成像椭偏仪自动聚焦还尝试过图像亮度梯度锐度函数法(Meng YH，Chen S，Jin G.An auto-focusing method for imagingellipsometry system.In:Arwin H，Beck U，Schubert M，editors.Physica StatusSolidi C-Current Topics in Solid State Physics，Vol 5，No 5.Physica StatusSolidi C-Current Topics m Solid State Physics.5.Weinheim：Wiley-V C H VerlagGmbh； 2008.p.1046-9)。这种方法通过沿光轴方向连续移动成像传感器寻找最大亮度梯度的锐利度来确定焦平面，但这种完全依靠亮度梯度确定焦平面方法一方面该方法涉及样品自身信息较少，另外也易受测量环境的影响。
综上所述，由于偏振光与物质的相互作用，成像椭圆偏振仪可以揭示更多的细节，有非常好的应用前景，但对于微小、半透明、需快速准确确定焦平面的活细胞等生物样品的情况还没有很好的技术。
另有关的物理背景知识是：椭圆测量法测量参数有与表示样本反射的p波和s波的振幅之比(rp/rs)相关的参数：
其中Ip＝rp 2和Is＝rs 2为样品反射p波(rp)和s波(rs)的强度。从样本反射回的p 波和s波的振幅比(Ψ)和相位差(Δ)与样品的复菲涅耳反射系数(χ)有关(YoshizawaT.Principles and applications.Handbook of optical metrology.xiii.Boca Raton：CRC Press；2009.p.730；Bubert H，Jenett H.Surface and thin film analysis：principles，instrumentation，applications.Weinheim：Wiley-VCH Verlag GmbH；2002)：
总之，成像椭偏仪有望成为研究微小、半透明生物样品的非常有用的设备，但其自动聚焦方法仍存在诸多需要改进的空间，探讨一种成像椭圆偏振仪的焦平面自动聚焦方法和工艺具有广泛的理论意义和应用价值。
发明内容
：本发明的目的在于克服现有技术存在的缺点，寻求设计提供了一种成像椭圆偏振仪的焦平面自动聚焦方法，以期达到有利于其在相关技术领域里的应用。
为了实现上述目的，本发明所述的成像椭圆偏振仪的焦平面自动聚焦方法的具体步骤包括：
(1)图像采集：通过移动样本载台变化成像椭圆偏振仪的物镜聚焦深度，在物镜的聚焦深度全行程上逐点采集椭圆偏振图像；
(2)边缘检测：将步骤(1)采集的各个聚焦深度椭偏图像Ip或Is进行边缘检测；
(3)确定精准焦平面位置：选取检测得到的横向和纵向边缘最清晰位置，确定为该测量样本的精准焦平面位置，进而实现成像椭圆偏振仪的焦平面自动聚焦；
(4)所述的开发板为Arduino，STM32或现场可编程门阵列(FPGA)式的开发板；通过开发板控制样本载台使物镜聚焦深度走过包括焦平面整个行程，全行程取多点成像椭圆偏振仪的Ip或Is图像。
(5)聚焦应用：通过开发板控制电机移动样本载台，使物镜聚焦到焦平面位置，再进一步的进行成像椭偏测量而实现应用。
本发明提供了一种成像椭圆偏振仪的辅助聚焦的控制方法，其具体实现过程如下：
(1)先从椭偏仪读入通过抬升或下降样本载台得到的各聚焦深度图像数据；
(2)再用自动聚焦方法得到精准焦平面位置；
(3)再将得到的精准焦平面位置传给控制物镜聚焦深度的开发板控制软件，开发板控制移动物镜聚焦深度到相应的焦平面位置，实现整个成像椭偏仪的自动聚焦。
其实现自动聚焦的设备包括存储器和处理器，存储器存储有计算机程序，计算机程序由处理器执行时，处理器执行如下步骤：先由处理器控制驱动电机通过移动样本载台将物镜聚焦平面在CCD粗聚焦确定焦平面位置附近做全行程移动，全行程多点获取成像椭圆偏振仪的Ip或Is图像；再通过随聚焦深度的变化观测到预期待测样品相对应的清晰的边缘检测图，即为该样品测量的精准焦平面位置；其中，所述的开发板是Arduino或STM32或能够一体化地快速处理图像数据同时还能够控制驱动硬件的FPGA开发板。
本发明与现有技术相比，所具备的优点及积极效果为：可以更加快速有效地确定成像椭圆偏振仪的焦平面，对半透明、微小生物样品测量节省了聚焦时间；不同于拉普拉斯算子等评价函数法，该方法不需要选择阈值，非常容易使用；其成像椭偏图焦平面确定方法简单方便，整体设计原理科学可靠，实现工艺步骤简单，自动聚焦效果好，应用价值高，应用环境友好。
附图说明
：图1是本发明涉及的成像椭圆偏振仪的焦平面自动聚焦流程示意框图。
图2是本发明涉及的成像椭圆偏振仪的焦平面自动聚焦应用流程示意图。
图3是本发明涉及的设备总体结构控制原理模块示意框图。
图4是本发明涉及的在金膜上4个变形链球菌的19个物镜聚焦深度位置成像椭圆偏振仪Ip图像的前15个；15个聚焦位置依次移动物镜距离为：0,+200nm, +1.8μm,+800nm,+200nm,+600nm,+200nm,+2μm,+800nm,+200nm,+600nm, +200nm,+2.6μm,+200nm,+200nm。该组测量焦平面在位置8，只选前15个Ip图像显示实施结果。
图5(a)为金膜上4个变形链球菌的初始位置-对应图4中第一个聚焦深度 (聚焦位置1)Ip图像的水平及纵向边缘检测结果图。
图5(b,c,d)为金膜上4个变形链球菌的选取焦平面位置(5(c))及其前后一个聚焦深度(对应图4中第7，8，9幅图)Ip图像的水平及纵向边缘检测结果图。
图5(e)为金膜上4个变形链球菌的是第15个聚焦深度(即对应图4中最后一幅图)的水平及纵向边缘检测结果图；详细的金膜上4个变形链球菌的19 个位置逐点边缘检测需要时，可以提供动态演示视频。
图6(a)为本发明涉及的金膜上2个变形链球菌初始聚焦深度(聚焦位置1) 的Ip图水平及纵向边缘检测结果图。
图6(b,c,d,e)是金膜上2个变形链球菌选取焦平(6(c)，聚焦深度位置11)以及焦平面前一个和后两个聚焦深度(聚焦位置10，11，12，13)Ip图的水平及纵向边缘检测结果图。
图6(f)是金膜上2个变形链球菌最后一个聚焦深度(聚焦位置29)的Ip图像的水平及纵向边缘检测结果图。
具体实施方式
：
下面结合附图和实施例对本发明做详细的描述。
实施例1：
本实施例提供的成像椭圆偏振仪的焦平面自动聚焦方法包括以下步骤：
S101：CCD粗聚焦初步定位焦平面的大概位置；
S102：调整成像椭圆偏振仪物镜载台使其聚焦深度走过包括CCD粗聚焦位置的全行程；
S103：对全行程每一个聚焦位置收集的椭偏图像(Ip或Is)进行横向和纵向边缘检测。
实施例2：
本实施例提供的成像椭圆偏振仪的焦平面自动聚焦方法使用金膜上4个变形链球菌的椭圆偏振图像，样品和成像椭圆偏振仪图像收集详细条件参见 (Khaleel MI，ChenY-D，Chien C-H，ChangY-C.Microscopic imaging ellipsometry of submicron-scalebacterial cells.Tropical Journal of Pharmaceutical Research. 2017；16(11):2713-25)；物镜的聚焦深度调整是通过移动样品台位置实现的，全行程收集19个聚焦位置图像，利用这些图像使用成像椭圆偏振仪图像自动聚焦方法精确聚焦的具体步骤包括：
第一步，用CCD粗聚焦确定焦平面大致位置，通过Arduino、STM32或其它开发板控制驱动电机将物镜聚焦深度移动到焦平面上方或下方处；
第二步，通过Arduino、STM32或其它开发板控制物镜聚焦深度走过包括焦平面整个行程，全行程多点成像椭圆偏振仪的Ip或Is图像，参考图4所示的前 15幅椭偏Ip图；
第三步，将成像椭圆偏振仪物镜聚焦深度全行程得到的该类椭偏图像进行横向和纵向边缘检测，检测结果见参考图5(a,b,c,d,e)或提供视频演示；可以看到，图5(c)(精准焦平面，位置8)的横向和纵向边缘最为明确清晰(每个细胞横向检测可以清楚地看到上下两个边缘，纵向检测可以清楚地看到左右两个边缘)，而5(b)和5(d)相比图5(c)的横向和/或纵向边缘都有不同程度的模糊；离开焦平面(位置8)越远(无论上下)其横向和纵向边缘就越不明显；图5(d)是第15个聚焦深度位置(对应图4中最后一幅图)；详细的19个位置逐点边缘检测，需要时可见附加视频演示。这样确定第八个位置为精准焦平面位置；(另外动态视频过程的执行程序可以结合进椭圆偏振仪的机电控制中实现快速准确聚焦定位)
第四步，通过开发板控制移动样品载台使物镜聚焦到焦平面位置，实现快速精确的成像椭偏仪自动聚焦，在此基础上利用成像椭偏测量进一步开展相关的应用。
实施例3：
本实施例提供的成像椭圆偏振仪的焦平面自动聚焦方法运用金膜上2个变形链球菌的椭圆偏振图像，样品和成像椭圆偏振仪图像收集详细条件参见 (Khaleel MI，ChenY-D，Chien C-H，ChangY-C.Microscopic imaging ellipsometry of submicron-scalebacterial cells.Tropical Journal of Pharmaceutical Research. 2017；16(11):2713-25)；物镜的聚焦深度调整通过移动样品台位置实现，全行程收集29个聚焦深度位置的Ip椭偏图像，利用这些图像使用成像椭圆偏振仪图像自动聚焦方法实现精确聚焦的具体步骤包括：
第一步，用CCD粗聚焦确定焦平面大致位置，通过Arduino、STM32或其它开发板控制驱动电机将物镜聚焦深度移动到焦平面上方或下方处；
第二步，通过Arduino、STM32或其它开发板控制物镜聚焦深度走过包括焦平面的整个行程，全行程多点成像椭圆偏振仪的Ip或Is图像；
第三步，将成像椭圆偏振仪物镜聚焦深度全行程得到的该类椭偏图像进行横向和纵向边缘检测；检测结果见参考图6(a,b,c,d,e,f)；可以看到，图6(c) (精准焦平面，该组测量第11个聚焦深度位置)的Ip图的横向和纵向边缘最为明确清晰(每个细胞横向检测可以清楚地看到上下两个边缘，纵向检测可以清楚地看到到左右两个边缘)，而6(b)和6(d,e)相比图6(c)的横向和/或纵向边缘都有不同程度的模糊；离焦平面(位置10,12,13,29)越远(无论上下) 横向和纵向边缘就越不明显。
第四步，通过开发板控制移动样品载台使物镜聚焦到焦平面位置就实现了快速精确的成像椭偏仪自动聚焦，在此基础上能够进一步利用成像椭偏测量开展相关的研究与应用。
本实施例涉及的成像椭圆偏振仪上安装有CCD相机、物镜等，辅助设备有开发板、电机；上位机通过软件控制开发板给出控制指令，控制指令包括读取相应图片指令，与CCD相机通过导线连接，开发板通过导线连接电机，电机与样本载台连接达到控制物镜聚焦深度目的；本实施例涉及的方法还可以采用实现现场可编程门阵列(FPGA)集图像处理和硬件控制一体化的设备实现。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种视频处理方法、设备、无人机及系统