一种基于光谱共焦原理的生物显微视觉预对焦装置及方法
阅读说明：本技术 一种基于光谱共焦原理的生物显微视觉预对焦装置及方法 (Biological microscopic vision pre-focusing device and method based on spectrum confocal principle ) 是由 孙安玉 钟皓泽 居冰峰 管凯敏 翟石磊 王杰 于 2021-08-05 设计创作，主要内容包括：本发明公开了一种基于光谱共焦原理的生物显微视觉预对焦装置及方法。该装置包括光谱共焦传感模块、显微光学模块、玻片夹持装置、聚焦运动装置和扫描运动装置。光谱共焦传感器一次性测量出到盖玻片上/下表面的距离、待观测生物组织层的厚度；通过标定确立显微物镜物方焦点和光谱共焦传感器测量值之间的空间关系,进而实现由光谱共焦传感器测量值直接驱动聚焦运动装置实现生物显微视觉的精确自动对焦。本发明还提供一种基于上述装置及方法的数字切片扫描仪。本发明适用于数字切片扫描仪的聚焦地形图构建,也可用于生物数码显微镜的自动对焦,具有对焦速度快、分层焦点预测准确等特点。(The invention discloses a biological microscopic vision pre-focusing device and method based on a spectrum confocal principle. The device comprises a spectrum confocal sensing module, a micro-optical module, a slide clamping device, a focusing movement device and a scanning movement device. The spectrum confocal sensor measures the distance to the upper surface/lower surface of the cover glass and the thickness of a biological tissue layer to be observed at one time; the spatial relationship between the object focus of the microscope objective and the measured value of the spectral confocal sensor is determined through calibration, and then the measured value of the spectral confocal sensor directly drives the focusing movement device to realize the accurate automatic focusing of biological microscopic vision. The invention also provides a digital slice scanner based on the device and the method. The method is suitable for the construction of the focusing topographic map of the digital section scanner, can also be used for the automatic focusing of the biological digital microscope, and has the characteristics of high focusing speed, accurate layered focus prediction and the like.)
技术领域
本发明属于自动对焦领域，具体涉及一种基于光谱共焦原理的生物显微视觉系统的自动对焦装置及方法。本发明可用于基于生物显微摄像的设备及仪器，尤其适用于数字切片扫描仪的快速预对焦。
背景技术
数字切片扫描仪利用数字摄像系统对传统的玻璃病理切片进行扫描采集，得到显示患者细胞组织状况的高分辨率数字图像，对得到的图像自动进行高精度多视野无缝隙拼接和处理，获得优质的全切片数字化图像(Whole Slide Image，WSI)。通过共享WSI数据，可以实现远程病理诊断和阅片交流，有助于优质医疗专家资源的共享利用。
数字切片扫描仪的成像质量依赖于高精度的聚焦控制，因此显微视觉系统的自动对焦技术至关重要。为了提高效率，现有数字切片扫描仪都是通过在玻片上选择一些特征点，对这些特征点进行对焦，获取焦点位置，然后利用这些特征焦点拟合出聚焦面，也称为“聚焦地形图”。这一过程称为“预对焦”。在ZL200820169109.8专利中公开了一种基于可升降自动载物台的自动聚焦显微镜，但由于载物台重量较高无法实现快速高频响的聚焦。在日本奥林巴斯光学株式会社提交的专利申请03136023.8中通过移动分像透镜和显微物镜实现聚焦。在麦克奥迪实业集团有限公司递交的专利“一种数字切片实时扫描自动聚焦跟踪方法”(ZL 201310549338.8)和专利申请201410008180.8中公开了一种基于移动载物台的自动聚焦装置和以此为基础的切片扫描设备。在宁波江丰生物信息技术有限公司递交的专利201410767713.0“基于图像采集装置的快速准确对焦扫描病理切片组织的方法”和专利申请201610706704.X“一种组织切片扫描装置以及组织切片扫描方法”中则公开了一种移动显微物镜的组织切片扫描技术。
上述技术均是通过摄像装置对特征点进行对焦，拟合出“聚焦地形图”。这些技术存在两个明显的缺点：一是特征点选取不当，易出现大片区域成像模糊的现象，存在影响诊断的可能性；二是寻找焦点的过程需要驱动聚焦运动装置运动，并同步采集图像，计算焦点位置，占用大量时间。第一个缺点的成因复杂，特征点下的镜下视野细节不够充分或非组织区域存在异物均有能造成聚焦错误，难以避免；第二个缺点使预对焦几乎占整个扫描用时的三分之一。因此，开发一种新的预对焦技术对于数字切片扫描仪的进一步发展很有必要。
发明内容
本发明的目的提供一种更快速、更准确的生物显微视觉预对焦技术。本发明基于光谱共焦原理，通过测量盖玻片和组织层的厚度，实现焦点位置的快速确定，具有聚焦速度快、对焦精度高等特点，特别适用于数字病理切片扫描系统的对焦应用。
为达到上述目的，本发明采用如下技术方案予以解决：
一种基于光谱共焦原理的生物显微视觉预对焦装置，包括光谱共焦传感模块、显微光学模块、玻片夹持装置、聚焦运动装置和扫描运动装置，其中：
光谱共焦传感模块由色散镜头、宽光谱光源、光纤光路、光谱测量模块、控制系统组成；显微光学模块由显微物镜、结像透镜、倍率转换镜、聚光镜、光源、数字摄像装置组成；玻片夹持装置用于固定标准生物玻片，保证标准生物玻片在水平运动时不发生滑移；聚焦运动装置用于实现驱动玻片夹持装置与显微物镜之间相互移动；扫描运动装置用于驱动玻片夹持装置在X-Y平面内运动，完成对标准生物玻片的扫描。
所述的光谱共焦传感模块，其量程优选在0.1mm到1.5mm之间，最优选是0.4mm；所述光谱共焦传感模块，其纵向分辨率小于0.2μm，优选是25nm；所述色散镜头用于将不同波长的光分别聚焦，实现对多色光的轴向色散；所述宽光谱光源由白光LED和准直透镜组成，产生多波长复合光；所述光纤光路由Y型光纤、导光光纤、光纤连接器组成；所述光谱测量模块包括第一透镜、光栅分光器、第二透镜、光探测传感器；
所述Y型光纤具有入光口、出光口、并束口等三个端口，构成小孔共焦结构，其入光口接到所述宽光谱光源上，其出光口接到所述光谱测量装置的进光口，其并束口接到光纤连接器的一端；光纤连接器的另一端接导光光纤，导光光纤的另一端接所述色散镜头；
所述宽光谱光源发出的白光顺序经过所述Y型光纤的入光口、所述光纤连接器、所述导光光纤后，进入所述色散镜头后被分成不同波长的光，分别聚焦在不同的轴向位置；聚焦在盖玻片上表面、盖玻片下表面、组织上表面、组织下表面的光反射进入所述色散镜头，顺序经所述导光光纤、所述光纤连接器、所述Y型光纤并束口后，由所述Y型光纤的出光口进入所述光谱测量装置的进光口；进入所述光谱测量装置的光经所述第一透镜准直后，入射到所述光栅分光器上；所述光栅分光器将入射光按照波长不同以不同角度反射，并经所述第二透镜形成一条色散光束，最终入射到所述光探测传感器上；所述光探测传感器是线阵式探测器，可以采用CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)图像传感器；
所述控制系统由逻辑控制电路、光强驱控电路、数字信号处理器等三部分组成；逻辑控制电路控制光探测传感器获取光谱信息；光强驱控电路控制所述宽光谱光源工作，并调节其发光强度；数字信号处理器将光谱信息转化为盖玻片上/下表面的距离、待观测生物组织层的厚度信息。
一种基于光谱共焦原理的生物显微视觉预对焦方法，其实现有赖于权利要求1所述的基于光谱共焦原理的生物显微视觉预对焦装置，包括如下步骤：
步骤1、标定确立显微物镜物方焦点和光谱共焦传感模块测量值之间的空间转换关系；
步骤2、获取标准生物玻片的整体预览图像，并在预览图像上生成若干个特征点；
步骤3、由扫描运动装置带动待测生物玻片在色散镜头下完成扫描运动，记录光谱共焦传感模块测量值及对应的X-Y平面位置坐标；
步骤4、利用通过步骤1确定的空间转换关系，将光谱共焦传感模块测量值转化为聚焦运动装置在显微物镜轴向上的聚焦位置f(x0,y0)，将步骤2记录的X-Y平面位置坐标P(x0,y0)转化为显微光学摄像时的X-Y平面位置坐标P(x,y)，将f(x0,y0)与P(x,y)一一对应，得到聚焦位置集合f(x,y)；
步骤5、根据聚焦位置集合f(x,y)，利用克里金(Kriging)插值方法，拟合出待测生物玻片完整的聚焦地形图Z-Map(x,y)；
步骤6、根据聚焦地形图Z-Map(x,y)，同步控制扫描运动装置和聚焦运动装置的位置，完成扫描，并通过数字摄像装置拍摄显微物镜的镜下视野图像。
所述一种基于光谱共焦原理的生物显微视觉预对焦方法的步骤1中，确立显微物镜物方焦点和光谱共焦传感模块测量值之间的空间转换关系的标定方法具有如下步骤：
步骤1-1、获取标定用生物切片的整体预览图像，预先设定N个特征标志点；
步骤1-2、调节色散镜头与标定用生物玻片的相对距离，使标定用生物玻片的盖玻片上表面和下表面回光的两个光谱波峰在所有特征标志点位置都在量程以内；
步骤1-3、由扫描运动装置带动标定用生物玻片，使各特征标志点逐一在色散镜头的光斑区域；由光谱共焦传感模块记录每个特征标志点对应的第一光谱波峰p1、第二光谱波峰p2、第三光谱波峰p3、第四光谱波峰p4对应的波长，将第n个特征标志点数据记录为Ln(p1,p2,p3,p4)[x0,y0]；
步骤1-4、由扫描运动装置带动标定用生物玻片，使特征各标志点逐一在显微物镜的视野下方；在每一个标志点，控制聚焦运动装置进行步进运动，使显微物镜和标定用生物玻片的距离由大到小变化；步数为M，通过数字摄像装置获取每个步进位置z的显微物镜镜下图像，计算对应图像的锐利度，将第n个特征标志点数据记录为Sn(z1,z2,z3,…zM)[x,y]；
步骤1-5、将每个特征标志点在步骤3和步骤4中的X-Y平面位置坐标[x,y]和[x0,y0]一一对应，通过基于RANSAC的鲁棒算法，计算[x,y]和[x0,y0]之间的单应型矩阵(Homography matrix)H，H是一个3×3的矩阵，则有
步骤1-6、对每个特征标志点的聚焦图像锐利度数据Sn(z1,z2,z3,…zM)进行分析，找到值最大的两个峰P-Sn(zm)和P-Sn(zk)，且zm<zk；使第一光谱波峰的波长Ln(p1)与zm一一对应，利用最小二乘法拟合确定公式zm＝a Ln(p1)+b中的待标定参数a和b；使第二光谱波峰、第三光谱波峰、第四光谱波峰对应的波长与zk一一对应，利用最小二乘法拟合确定公式
zk＝c[Ln(p2)-Ln(p1)]+d[Ln(p4)-Ln(p3)]+e+zm中的待标定参数c、d、e。
待标定参数a、b、c、d、e具有如下特点：a、b一般是色散透镜或显微物镜的安装发生变化时才需要重新标定；c、d、e一般是生物玻片的材质(尤其是折射率)发生变化时才需要重新标定；当光谱共焦传感模块的量程是盖玻片厚度的20倍以上时，d可以取常数0；从使用角度，a、b的标定频率远高于c、d、e的标定频率。
本发明还提供了一种基于上述装置和方法的数字切片扫描仪，其聚焦运动装置包括Z向压电运动平台、光谱共焦传感模块、平面反射镜、压电驱动控制器。所述平面反射镜安装在所述Z向压电运动平台的动侧，用于反射光谱共焦传感模块发出的色散光；所述Z向压电运动平台的行程小于所述光谱共焦传感模块的量程；所述压电驱动控制器利用光谱共焦传感模块获取的平面反射镜的位移信息进行闭环聚焦运动控制。
本发明相对于现有技术的有益效果为：
第一，利用光谱共焦原理，通过平面扫描可以快速获取“聚焦地形图”。这一过程不用对镜下视野进行成像，也不用驱动聚焦装置运动，采集数据的频率可以达到1kHz以上。因此，该技术可大大提高预对焦效率。
第二，在短时间内可以采集覆盖整个盖玻片区域的聚焦位置，而且通过光谱波峰的幅值可以体现反光强度，可以明显区分杂质区域。对更大量的对焦点进行统计分析，也更容易排除错误的对焦点。而且通过光谱共焦方法获取的位置精度比传统方法高一个数量级。因此，本发明可提高“聚焦地形图”的准确性，保证图像的清晰度。
附图说明
图1是本发明一种基于光谱共焦原理的生物显微视觉预对焦装置的组成示意图；
图2是本发明一种基于光谱共焦原理的生物显微视觉预对焦装置的替代方案示意图；
图3是本发明一种基于光谱共焦原理实现生物显微视觉预对焦方法流程图；
图4是本发明聚焦位置与光谱共焦传感模块测量值的空间转换关系标定示意图。
具体实施方式
下面结合附图和实施例对本发明做具体说明。
本发明装置包括光谱共焦传感模块、显微光学模块、玻片夹持装置、聚焦运动装置和扫描运动装置。光谱共焦传感器一次性测量出到盖玻片上/下表面的距离、待观测生物组织层的厚度；通过标定确立显微物镜物方焦点和光谱共焦传感器测量值之间的空间关系，进而实现由光谱共焦传感器测量值直接驱动聚焦运动装置实现生物显微视觉的精确自动对焦。本发明还提供一种基于上述装置及方法的数字切片扫描仪。本发明适用于数字切片扫描仪的聚焦地形图构建，也可用于生物数码显微镜的自动对焦，具有对焦速度快、分层焦点预测准确等特点。
本发明的实施例涉及一种基于光谱共焦原理实现生物显微视觉预对焦的新装置和新方法，可用于数字切片扫描仪的对焦应用，也可以用于生物数码显微镜的自动对焦。
图1展示了一种基于光谱共焦原理的生物显微视觉预对焦装置的实施例，包括光谱共焦传感模块、显微光学模块、玻片夹持装置114、聚焦运动装置115和扫描运动装置116，其中：
本实施例中，光谱共焦传感模块包括色散镜头101、宽光谱光源102、光纤光路103、光谱测量模块107、控制系统106组成；显微光学模块由显微物镜108、结像透镜109、倍率转换镜110、聚光镜111、光源112、数字摄像装置113；玻片夹持装置114用于固定标准生物玻片，保证标准生物玻片在水平运动时不发生滑移；聚焦运动装置115用于实现驱动玻片夹持装置114与显微物镜108之间相互移动；扫描运动装置116用于驱动玻片夹持装置114在X-Y平面内运动，完成对标准生物玻片的扫描。
本实施例中，玻片夹持装置114安装在聚焦运动装置115上，而聚焦运动装置115安装在扫描运动装置116上。
本实施例中，所述的光谱共焦传感模块，其量程优选在0.1mm到1.5mm之间，最优选是0.4mm；所述光谱共焦传感模块，其纵向分辨率小于0.2μm，优选是25nm；所述色散镜头101用于将不同波长的光分别聚焦，实现对多色光的轴向色散；所述宽光谱光源102由白光LED和准直透镜组成，产生多波长复合光；所述光纤光路103由Y型光纤103-1、导光光纤103-3、光纤连接器103-2组成；所述光谱测量模块包括第一透镜107-1、光栅分光器107-2、第二透镜107-3、光探测传感器107-1。
本实施例中，所述Y型光纤103-1具有入光口、出光口、并束口三个端口，构成小孔共焦结构，其入光口接到所述宽光谱光源102上，其出光口接到所述光谱测量装置107的进光口，其并束口接到光纤连接器103-2的一端；光纤连接器103-2的另一端接导光光纤103-3，导光光纤103-3的另一端接所述色散镜头101的接口端子101-1。
本实施例中，所述宽光谱光源102发出的白光顺序经过所述Y型光纤103-1的入光口、所述光纤连接器103-2、所述导光光纤103-3后，进入所述色散镜头101后被分成不同波长的光，分别聚焦在不同的轴向位置；聚焦在盖玻片上表面、盖玻片下表面、组织上表面、组织下表面的光反射进入所述色散镜头101，顺序经所述导光光纤103-3、所述光纤连接器103-2、所述Y型光纤103-1的并束口后，由所述Y型光纤103-1的出光口进入所述光谱测量装置107的进光口；进入所述光谱测量装置107的光经所述第一透镜107-1准直后，入射到所述光栅分光器107-2上；所述光栅分光器107-2将入射光按照波长不同以不同角度反射，并经所述第二透镜107-3形成一条色散光束，最终入射到所述光探测传感器107-4上；所述光探测传感器107-4是线阵式探测器，可以采用CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)图像传感器。
所述控制系统106由逻辑控制电路、光强驱控电路、数字信号处理器三部分组成；逻辑控制电路控制光探测传感器107-1获取光谱信息；光强驱控电路控制所述宽光谱光源102工作，并调节其发光强度；数字信号处理器将光谱信息转化为盖玻片上/下表面的距离、待观测生物组织层的厚度信息。
图2展示了一种基于光谱共焦原理的生物显微视觉预对焦装置的另一实施例，包括光谱共焦传感模块、显微光学模块、玻片夹持装置114、聚焦运动装置201和扫描运动装置116。在本实施例中，聚焦运动装置115与扫描运动装置116是分离的，玻片夹持装置114通过高度调节转接装置202固定在扫描运动装置116上。
如图3所示，依托上述装置，本发明公开了一种基于光谱共焦原理的生物显微视觉预对焦方法，具体包括如下步骤：
步骤1：标定确立显微物镜108物方焦点和光谱共焦传感模块测量值之间的空间转换关系；
步骤2：获取标准生物玻片的整体预览图像，并在预览图像上生成若干个特征点；
步骤3：由扫描运动装置116带动待测生物玻片在色散镜头101下完成扫描运动，记录每个特征点对应的X-Y平面位置坐标P(x0,y0)和该位置的光谱共焦传感模块测量值；
步骤4：通过步骤1确定的空间转换关系，将光谱共焦传感模块测量值转化为聚焦运动装置115在显微物镜108轴向上的聚焦位置f(x0,y0)，将步骤3记录的X-Y平面位置坐标P(x0,y0)转化为显微光学摄像时的X-Y平面位置坐标P(x,y)，将f(x0,y0)与P(x,y)一一对应，得到聚焦位置集合f(x,y)；
步骤5：根据聚焦位置集合f(x,y)，利用克里金(Kriging)插值方法，拟合出待测生物玻片完整的聚焦地形图Z-Map(x,y)；
步骤6：根据聚焦地形图Z-Map(x,y)，同步控制扫描运动装置116和聚焦运动装置115的位置，完成扫描，并通过数字摄像装置113拍摄显微物镜的镜下视野图像。
如图4所示，所述一种基于光谱共焦原理的生物显微视觉预对焦方法的步骤1中，确立显微物镜108物方焦点和光谱共焦传感模块测量值之间的空间转换关系的标定方法具有如下步骤：
步骤1-1、获取标定用生物切片的整体预览图像401，预先设定N个特征标志点402；
步骤1-2、调节色散镜头101与标定用生物玻片的相对距离，使标定用生物玻片的盖玻片上表面和下表面回光的两个光谱波峰408和409在所有特征标志点位置量程以内；
步骤1-3、由扫描运动装置116带动标定用生物玻片，使各特征标志点逐一在色散镜头的光斑区域；由光谱共焦传感模块记录每个特征标志点对应的第一光谱波峰p1408、第二光谱波峰p2409、第三光谱波峰p3410、第四光谱波峰p4411对应的波长，将第n个特征标志点数据记录为Ln(p1,p2,p3,p4)[x0,y0]；
步骤1-4、由扫描运动装置116带动标定用生物玻片，使各特征标志点逐一在显微物镜的视野下方；在每一个特征标志点，控制聚焦运动装置115进行步进运动，使显微物镜108和标定用生物玻片的距离由大到小变化；步数为M，通过数字摄像装置113获取每个步进位置z的显微物镜108镜下图像，计算对应图像的锐利度，将第n个特征标志点数据记录为Sn(z1,z2,z3,…zM)[x,y]；
步骤1-5、将每个特征标志点在步骤1-3和步骤1-4中的平面位置坐标[x,y]和[x0,y0]一一对应，通过基于RANSAC的鲁棒算法，计算[x,y]和[x0,y0]之间的单应型矩阵(Homography matrix)H，H是一个3×3的矩阵，则有：
步骤1-6、对每个特征标志点的聚焦图像锐利度数据Sn(z1,z2,z3,…zM)进行分析，找到值最大的两个峰P-Sn(zm)和P-Sn(zk)，即图4中412和413，且zm<zk；使第一光谱波峰的波长Ln(p1)与zm一一对应，利用最小二乘法拟合确定公式zm＝a Ln(p1)+b中的待标定参数a和b；使第二光谱波峰、第三光谱波峰、第四光谱波峰对应的波长与zk一一对应，利用最小二乘法拟合确定公式
zk＝c[Ln(p2)-Ln(p1)]+d[Ln(p4)-Ln(p3)]+e+zm中的待标定参数c、d、e。
图4中407所示的待标定参数a、b、c、d、e具有如下特点：
a、b一般是色散透镜或显微物镜的安装发生变化时才需要重新标定；c、d、e一般是生物玻片的材质(尤其是折射率)发生变化时才需要重新标定；当光谱共焦传感模块的量程是盖玻片厚度的20倍以上时，d可以取常数0；从使用角度，a、b的标定频率远高于c、d、e的标定频率。
本发明还提供了一种基于上述装置和方法的数字切片扫描仪，其聚焦运动装置包括Z向压电运动平台、光谱共焦传感模块、平面反射镜、压电驱动控制器。所述平面反射镜安装在所述Z向压电运动平台的动侧，用于反射光谱共焦传感模块发出的色散光；所述Z向压电运动平台的行程小于所述光谱共焦传感模块的量程；所述压电驱动控制器利用光谱共焦传感模块获取的平面反射镜的位移信息进行闭环聚焦运动控制。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种显微镜用全内反射模块及其使用方法