光学扫描装置和方法

文档序号:1786019 发布日期:2019-12-06 浏览:31次 >En<

阅读说明:本技术 光学扫描装置和方法 (Optical scanning device and method ) 是由 C·法伊雷尔 E·贝尔尼特 M·保罗 R·罗茨诺维奇 于 2018-04-09 设计创作,主要内容包括:提供了一种用于光学扫描放置在透明样品架(107)上的至少一个对象区域(105)的方法,该方法包括:对于多个预限定的样本横向位置(x0,x1,x2)中的每个样本横向位置(x1),通过以下操作进行焦点确定:进行激光反射并使用第一相机(109)拍摄多个第一图像以确定样品架(107)和物镜(113)之间的参照距离(rd);进行透射闪光照射并使用第二相机(111)拍摄多个第二图像以考虑参照距离(rd)来限定焦点距离;在完成焦点确定之后,基于针对所有样本横向位置(x0,x1,x2)确定的焦点距离,确定跨对象区域(105)的焦点距离拓扑(600,700);以及在根据焦点距离拓扑(600,700)聚焦的同时,横向移动样品架(107)并获取第三图像。(A method for optically scanning at least one object region (105) placed on a transparent sample holder (107) is provided, the method comprising: for each sample lateral position (x1) of a plurality of predefined sample lateral positions (x0, x1, x2), focus determination is made by: performing a laser reflection and taking a plurality of first images using a first camera (109) to determine a reference distance (rd) between the sample holder (107) and the objective lens (113); performing a transmission flash illumination and capturing a plurality of second images using a second camera (111) to define a focal distance taking into account a reference distance (rd); after completing the focus determination, determining a focus distance topology (600, 700) across the object region (105) based on the focus distances determined for all sample lateral positions (x0, x1, x 2); and moving the sample holder (107) laterally and acquiring a third image while focusing according to the focal distance topology (600, 700).)

光学扫描装置和方法

技术领域

本发明涉及用于光学扫描至少一个对象区域、特别是包括组织学组织样本的至少一个对象区域的方法和装置。

背景技术

WO 2004/095360 A1公开了用于在基于线性阵列的载玻片扫描仪中进行预聚焦的方法和设备,其中在使用线扫描相机扫描显微镜载玻片之前计算焦点信息。由此,将载玻片移动到所期望的测量位置,将物镜移动通过一组预限定的高度值,并且在每个高度处获取成像数据以及确定最大对比度的高度。此外,还公开了带聚焦程序,其中在载玻片和物镜运动的同时连续获取成像数据。

WO 2010/067256A1公开了一种扫描显微镜,其中聚焦机构使样本相对于竖直轴线上的成像光斑平移。自动聚焦光学器件在自动聚焦间隔内在样本中生成一组自动聚焦光斑,这些自动聚焦光斑具有不同的竖直位置。控制器根据检测器信号确定样本中对象的竖直位置,并致使聚焦机构使成像光斑的竖直位置适应样本中对象的竖直位置。

WO 2011/049608 A2公开了一种光学扫描显微镜以及用于扫描和收集组织样本的聚焦图像的部件。因此,聚焦系统提供用于在捕获快照时确定每个快照的最佳焦点,这可以称为“动态聚焦”。

JP 2016 173594 A公开了一种扫描显微镜,其中,将对象的焦点位置设置在轨迹上,该轨迹内插在选定的测量位置上的所测量的最佳焦点设置之间,该过程容易出错并且耗时,从而限制了系统处理量。整个载玻片扫描仪采用一种方法,其中倾斜的自动聚焦图像传感器对载玻片的斜截面进行成像。为了聚焦,比较由倾斜传感器拍摄的多个顺序重叠图像。组织层的轴向位置可以根据由该差分测量产生的极性误差信号来确定。

WO 96/01438 A1公开了一种用于扫描显微术的自动聚焦系统,特别是应用于荧光染色的细胞组分。通过使用与荧光显微术相同的光学器件实现的相衬显微术,避免了荧光显微期间光漂白的曝光问题。在图像对象上扫描图像平面并在缓冲区中将图像按时间顺序排列。在显微镜物镜中选择具有最佳焦点的图像平面,显微镜物镜将自动定位在所选平面处。

WO 00/2010055361 A1公开了一种用于扫描多个关注区域的激光扫描显微镜。激光束被偏转以便使聚焦的激光束的焦斑沿着扫描轨迹以平均扫描速度移动。

然而,已经观察到,传统的扫描显微系统和方法特别是在测量时间方面存在缺陷。

因此,可能需要用于光学扫描至少一个对象区域、尤其是组织样本(例如,组织学组织样本)的方法和装置,其中考虑了对象区域内的不同焦点位置,其中能够从对象区域获取清晰的局部图像,并且其中总的获取时间比常规所需的时间短。

发明内容

该需要通过独立权利要求的主题满足。从属权利要求叙述了本发明的特定实施例。

根据本发明的一实施例,提供了一种用于光学扫描放置在透明样品架上的至少一个对象区域的方法。在此,该方法包括:对于多个预限定的样本横向位置中的每个样本横向位置,通过以下操作执行焦点确定:执行激光反射并使用第一相机拍摄多个第一图像来确定样品架与物镜之间的参照距离;执行透射闪光照射并使用第二相机拍摄多个第二图像以考虑参照距离来确定焦点距离;在完成焦点确定之后,基于为所有样本横向位置确定的焦点距离,确定跨所述对象区域的焦点距离拓扑;以及在根据焦点距离拓扑聚焦的同时,横向移动样品架并获取第三图像。

对象区域可以例如包括(切割的)组织样本,诸如天然生物的组织学样本。可以对组织样本进行处理,例如用于保存组织样本和/或用于染色组织样本和/或用于添加和/或结合能够执行光学显微或可以在其上附着荧光染料的特定组分或分子,以便能够执行荧光扫描显微。对象区域可以具有例如介于1cm×1cm和2cm×2cm之间的横向范围,并且可以具有例如1μm至10μm的厚度。在光学扫描期间,当获取第三图像时,可以通过例如可见光或紫外光或红外光在透射中照射对象区域,并且可以检测所穿过的可见光,所穿过的可见光基本上具有与用于照射的光相同的波长(范围)。可替代地或附加地,可以通过光或一般的电磁辐射以透射的方式照射对象区域,所述光或一般的电磁辐射激发对象区域中包含的荧光组分或分子,使得产生可以被检测为第三图像的荧光发射辐射。

透明样品架可以例如包括常规的玻璃板或载玻片,例如矩形载玻片。对象区域可以被例如盖玻片覆盖。对象区域可以是干的或湿的。

在执行焦点确定之前以及在执行实际扫描之前,已经定义了样本横向位置,以便特别均匀地覆盖对象区域(或覆盖布置在样品架上的多个对象区域中的每个)。例如,对于每个对象区域,可以使用3至20、进一步特别是3至10、尤其是约5个预限定的样本横向位置。预限定的样本横向位置的数量可以取决于所考虑的对象区域的横向尺寸、对象区域的类型和/或对象区域的预处理。对于具有约1.5cm×1.5cm的尺寸的对象区域而言,五个预限定的样本横向位置(例如,由二维坐标限定,诸如2元数字)可以足够了。

对于多个预限定的样本横向位置中的每个样本横向位置,焦点确定是两步骤过程,其中,第一步骤应用激光反射并使用第一相机获取多个第一图像,而第二步骤应用透射显微,其中使用第二相机获取多个第二图像,所述第二相机与第一相机不同地配置,特别是第二相机与第一相机不同。

第一相机可以特别地配置成具有比第二相机更低的分辨率和/或更小的视场。在涉及激光反射的焦点确定的第一步骤期间,可以通过使激光束穿过物镜来照射对象区域,并由第一相机接收从对象区域反射且已经穿过物镜的光。在涉及透射闪光照射的第二步骤期间,可以从下面照射对象区域,并且透射光可以在被第二相机接收和检测之前穿过物镜。

参照距离(每个样本横向位置)的确定由于第一步骤过程而可以相对较快,参照距离可以用作第二步骤过程的起始点,尤其是可以用作物镜的竖直位置的起始点。第二步骤过程可以在基本对应于或等于对象区域的(预期最大)高度的竖直范围内改变或调整物镜的竖直位置。由于对象区域可以具有典型介于3μm至10μm之间的高度,因此第二步骤过程也可以在相对较短的时间间隔中执行。由此,对于每个样本横向位置,可以在短时间间隔中确定焦点距离。

第一相机可以例如具有介于0.3μm至1μm之间、尤其是约0.5μm的焦深。因此,仅当物镜的竖直位置被调整成使得激光束聚焦在样品架的上表面上时,激光束尤其是可以从样品架的上表面以清晰(sharp)的方式反射,其中,误差小于第一相机的焦深。由此,可以在焦点确定的第一步骤中准确确定样品架(的上表面)的竖直位置。焦点确定的第二步骤(对于每个样本横向位置而言)可以使用由焦点确定的第一步骤确定的参照距离作为起始值。

由于在用于获取第三图像的实际扫描期间,样本横向位置彼此在横向上可能比视场更加远离,因此还需要知道样本横向位置之间的横向位置的焦点距离,以便在实际扫描过程期间进行适当聚焦。为此,确定焦点距离拓扑,该焦点距离拓扑例如可以包括确定样本横向位置之间和样本横向位置周围的多个其他横向位置的焦点距离,所述其他横向位置例如位于一规则网格上,所述规则网格具有小于(或大体等于)在涉及获取第三图像的扫描期间的视场范围的间距。特别地,在两个样本横向位置之间或中间的位置处,可以将对应的焦点距离确定为处于针对这两个样本横向位置确定的焦点距离之间。特别地,可以应用一种内插、外插或曲线拟合来确定样本横向位置之间以及样本横向位置周围的横向位置的焦点距离。特别地,可以考虑,对象区域被预期为在外边缘处比在中心处更薄。特别地,焦点距离拓扑可以包括对象区域内的一个或多个凸形子区域。可以使用第二相机或另外的第三相机来执行第三图像的获取。这些子区域可以基于宏相机图像来计算。

可以使用扫描显微系统来执行焦点确定的第一步骤和第二步骤以及执行用于获取第三图像的扫描。相对照地,可以使用另一系统来执行对象区域(多个对象区域)的识别和/或样本横向位置的限定,该另一系统包括例如光平台和全景相机。

根据本发明的一实施例,确定参照距离(对于多个预限定的样本横向位置中的每个样本横向位置而言)包括:平移样品架,使得样本横向位置位于对象区域上方、物镜的光轴上;使激光束、特别是波长在600nm至900nm之间的激光束穿过物镜,以在样本横向位置处照射对象区域;在第一相机(也称为聚焦相机)处,通过改变样品架与物镜之间的距离,同时接收从对象区域返回的光,特别是包括来自二色滤光器/反射器的反射,来获取多个第一图像,特别地每个第一图像包括128×128至32×32之间的像素,尤其是应用子采样(subsampling);分析第一图像以检测参照距离,在该参照距离处,激光束基本上聚焦在样品架的上表面处并从其反射。

在此,样品架可以位于平移台上,从而允许样品架(相对于物镜)在x方向上和在例如垂直于x方向的y方向上横向平移。平移台可以包括驱动装置,该驱动装置可以从(中央)处理器或者特别是直接从第一相机内包括的处理器接收控制信号。在激光束穿过物镜之后,可以将激光束引导向对象区域。为了改变样品架和物镜之间的距离,样品架可以保持其竖直位置,而物镜可以竖直地移动,特别是通过驱动装置竖直地移动,该驱动装置可以从第一相机中包括的处理器接收控制信号或者从其他设备(例如计算设备)的任何其他处理器接收控制信号。特别地,可以连续地改变该距离,例如可以通过沿竖直方向以恒定速度移动物镜来连续改变距离。激光束可以连续地(例如不间断地)照射对象区域而不提供闪光激光束照射。可以使用图像处理软件来分析第一图像,该图像处理软件可以特别地在第一相机内包括的处理器上运行。因此,图像处理可以包括检测何时第一图像内的边缘最清晰(sharpest),该边缘位于第一图像中的激光束成像到的(亮)区域与没有激光束成像到的(暗)区域之间。第一图像不需要转移到第一相机外部的计算设备,而是可以通过适当地对相机处理器进行编程在第一相机内对其进行处理。由此,可以加快焦点确定过程。第一相机还可以控制用于平移台和/或用于竖直移动物镜的驱动装置。

根据本发明的一实施例,在焦点确定的第一步骤期间改变(样品架与物镜之间的)距离包括:从最大距离(例如,对象保持器上方10cm或1cm或3mm或1mm)开始并减小距离,其中特别是在物镜移动的同时,每秒获取2000到4000个第一图像。改变距离可以进一步包括将来自第一相机的控制信号供给给驱动装置,该驱动装置特别是包括压电驱动器,该驱动装置适于竖直地移动物镜。

最大距离可以对应于物镜在样品架上预期聚焦的最高竖直位置。

分析第一图像的步骤还可以包括:在覆盖对象区域的盖玻片的上表面处检测激光束的第一反射;在盖玻片的下表面处检测激光束的第二反射;在样品架的上表面处检测激光束的第三反射;其中,分析第一图像尤其是包括:使用第一相机中包括的处理器。

当从最大距离开始时并且当距离(样品架和物镜之间的距离)减小时,预期会遇到三个事件:首先,预期激光束会在覆盖对象区域的盖玻片的上表面处反射并且成像成第一图像中的一个。其次,当物镜进一步向下移动时,从盖玻片的下表面反射的激光束的第二反射预期被包括在第一图像中的另一个中。最后,在样品架的上表面处反射的激光束的第三反射预期被第一图像中的又一个捕获。当分析第一图像以便搜索第一反射、第二反射和第三反射时并且当所有这些反射、即第一反射、第二反射和第三反射实际上在第一图像的后续图像中找到时,第三反射的检测可靠性可能会非常高。因此,可靠检测到第三反射的对应焦点距离也限定了物镜的竖直位置,在该焦点位置处激光束实际上从样品架的上表面反射并以聚焦方式成像。

当找到参照距离时,可以停止改变距离的步骤,并且可以停止由第一相机接收光和获取第一图像。因此,例如,一旦找到第一反射、第二反射和第三反射,就可以终止焦点确定的第一步骤,并且可以开始焦点确定的第二步骤,特别是在不改变横向位置的情况下,因此停留在样本横向位置,对于该样本横向位置,已经使用焦点确定的第一步骤确定了参照距离。

在焦点确定的第一步骤期间,反射的激光束可以从二向色镜反射,该二向色镜可以反射例如红外辐射,但不反射可见光。其他构造也是可行的。

以下实施例描述了焦点确定的第二步骤的细节和特定构造。

根据本发明的一实施例,执行闪光照射并且使用第二相机拍摄多个第二图像以限定焦点距离,尤其是在500ms内,进一步尤其是在200ms内拍摄多个第二图像以限定焦点距离,包括:允许至少一次照射光的闪光在样本横向位置处穿过对象区域,然后穿过物镜并入射到第二相机上;使用第二相机获取多个第二图像,所述第二相机尤其是具有0.5mm×0.5mm至1mm×1mm之间的视场,同时通过竖直移动物镜从参照距离开始减小距离;为每个第二图像确定清晰度,并且将焦点距离定义为清晰度最大的距离,特别是在200ms内,尤其是在100ms内。

执行闪光照射可以包括以闪光模式操作光源和/或以连续模式操作光源以及操作放置在光源和对象区域之间的快门。第二相机获取第二图像,从该第二图像中最终确定针对特定样本横向位置的焦点距离。可以从对象区域下方执行闪光照射,使得照射光的闪光穿过对象区域,然后穿过物镜以在第二相机上被检测。第一相机以及第二相机二者都可以拍摄二维图像。但是,第二相机可以拍摄比第一相机拍摄的图像具有更大数量的像素的二维图像。第一相机和第二相机可以包括不同的(尺寸和/或类型)光传感器,特别是具有不同数量的光敏单元。第二相机还可以用于在扫描对象区域期间获取第三图像。确定清晰度可以应用一种或多种图像处理过程。第二图像的分析可以由第二相机中包括的处理器来执行,或者可替代地由诸如计算设备的外部处理器来执行。

根据本发明的一实施例,照射光的闪光具有0.5μs至20μs之间的持续时间,特别是1μs的持续时间,其中,闪光和/或第二图像的获取由测量物镜的竖直位置的测量系统触发,其中特别是所获取的后续第一图像和/或第二图像之间的距离的竖直间隔介于0.25μm至2μm之间,特别是为0.5μm。

当照射光的闪光具有上述持续时间时,物镜可以在获取第二图像的同时连续移动而不会导致产生模糊的第二图像。当测量物镜的竖直位置的测量系统也触发第二图像的获取和/或照射光的闪光时,可以确定与第二图像中的特定一个第二图像相关联的物镜的准确的竖直位置。可以根据包括相应相机和物镜的光学系统的焦深来选择或调整所获取的后续第一图像和/或第二图像之间的距离的竖直间隔,使得焦点距离确定的不准确性不大于或者不明显大于光学系统的焦深。

根据本发明的一实施例,为每个第二图像确定清晰度包括以下至少之一:搜索具有最高对比度的第二图像;应用诸如依据拉普拉斯和/或索贝尔的边缘检测算法;应用高斯差分算法;应用图像文件压缩技术。该方法可以特别地进一步包括:拍摄第一图像后,在拍摄第二图像的同时,不用激光束照射对象区域。使用这些过程中的哪个来确定清晰度可以取决于是应用了光学扫描显微还是荧光扫描显微,或者也可以取决于对象区域,特别是染色和/或预处理以及其他因素。

根据本发明的一实施例,确定焦点距离拓扑包括:基于样本横向位置处确定的焦点距离,计算覆盖对象区域的横向二维网格的网格位置处的焦点距离,所述横向二维网格特别是在拍摄第一图像和第二图像之前已经被确定。网格位置可以对应于或(基本上)等于在扫描期间最终获取第三图像的横向位置。因此,有利地,可以以聚焦的方式获取拍摄第三图像的横向位置。

根据本发明的一实施例,确定焦点距离拓扑还包括:基于针对样本横向位置确定的焦点距离,将对象区域细分成基本上凸形的子区域;和/或确定至少一个凸形包络,其包括焦点距离位于凸形表面上的样本横向位置;应用平滑操作。

在每个子区域中,焦点距离在中心处可能是最小的,而朝向子区域的边界可能较大。因此,在子区域之间,焦点距离可以具有比在子区域的中心处更大的值。例如,组织样本在特定区中可能被撕裂,使得在这些区中基本上不存在组织。这些区可以被标识为子区域之间的边界。由此,可以改善焦点拓扑的确定。

以下实施例描述了可以在对象区域的实际扫描期间应用的特定步骤的细节。

根据本发明的一实施例,对于从起始(横向)扫描位置开始的所有网格位置,扫描包括:横向平移样品架(特别是以曲折形状),使得当前网格位置在物镜的光轴上;同时将物镜移动到与当前网格位置相关的网格焦点距离处;通过第三相机(或第二相机)获取第三图像中的一个,特别是在执行持续时间介于0.5μs和20μs之间(尤其是为1μs)的闪光照射的同时。闪光照射可以特别地适于激发(或不激发)对象区域中的荧光,其中可以通过第三(或第二)相机检测从对象区域发出的荧光发射辐射。

可以在样品架以恒定速度平移时和/或在将物镜移向对应的网格焦点距离时获取第三图像。这可以通过短持续时间的闪光照射实现,不会导致第三图像模糊。

根据本发明的一实施例,在扫描、调整物镜的竖直位置以及获取第三图像期间样品架的速度介于5mm/s至30mm/s之间,特别是介于10mm/s至20mm/s之间。由此,可以在短时间间隔内完成对对象区域的扫描,并且尤其是完成对样品架上的多个对象区域的扫描。

以下实施例描述了可以在焦点确定之前和扫描本身之前执行的方法步骤。

根据本发明的一实施例,该方法还包括:在拍摄第一图像和第二图像之前:在透射照射模式下,获取样品架的至少一部分的光学全景图像,特别是使用全景相机来获取,该光学全景相机具有5mm至10mm之间的焦距以及具有50mm至150mm之间的工作距离;分析全景图像以确定至少一个对象区域的横向定位;限定多个(特别是至少五个)样本横向位置用于在所确定的对象区域内聚焦,使得它们基本上跨整个对象区域分布,特别是均匀地分布;尤其是,基于对象区域的定位,限定横向二维网格的网格位置,随后在该网格位置处获取第三图像。

全景相机可以具有与第一相机以及第二相机和第三相机(如果有)不同的配置。全景相机可以适于获取宏观图像,从而尤其是对放置有多个对象区域的整个样品架成像。因此,全景图像可以例如对实际介于例如5cm×20cm至2cm×10cm之间的面积成像。至少一个对象区域的横向定位可以包括确定对象区域的横向边界(的坐标)或确定对象区域内的网格横向位置(的坐标)。样本横向位置可以跨所识别的对象区域中的每个对象区域基本上均匀地分布(例如,使得相对横向距离是类似的)。可以通过应用图像处理,特别是包括对象识别软件方法,来实现对象区域的横向定位的确定。所应用的识别方法可取决于组织样本的染色、预处理以及组织样本的种类。

根据本发明的一实施例,在与安装在其上放置有样品架的漫射照射区上方、特别是光平台上方的全景相机相关联的全景坐标系中执行多个样本横向位置的限定,其中,特别地光平台包括侧向地附接到丙烯酸玻璃的至少两个光源(例如LED)条带,在该丙烯酸玻璃上方布置了漫射元件和透明丙烯酸玻璃,样品架被放置在透明丙烯酸玻璃上,其中,全景坐标系的位置被转换为显微坐标系,用于获取第一图像、第二图像和第三图像。

光平台可以从下方均匀地照射整个样品架。由此,样品架可以相对于全景相机(和/或相对于光平台)布置在限定的横向位置中,这可以使得能够将全景坐标系的位置转换为显微坐标系的位置。

根据本发明的一实施例,第一相机和第二相机配置成用于不同的图像格式和/或采样和/或子采样和/或分辨率,其中,第一相机和第二相机的配置在该方法期间保持固定。特别地,第二相机可以配置成具有比第一相机低的分辨率和/或具有比第一相机小的视场。因此,可以在相对短的时间间隔内确定参照距离。

应当理解,针对用于光学扫描至少一个对象区域的方法无论是单独地还是任意组合地公开的特征也可以单独或任意组合地应用于根据本发明的实施例的用于光学扫描至少一个对象区域的装置,反之亦然。

根据本发明的一实施例,提供了一种用于光学扫描放置在透明样品架上的至少一个对象区域的装置,该装置包括:产生激光束的激光器;第一相机、第二相机、激光器,该第一相机配置成获取从多个预限定的样本横向位置中的每个样本横向位置反射的激光束的多个第一图像,以确定样品架与物镜之间的参照距离;所述第二相机配置成在透射闪光照射下获取每个样本横向位置的多个第二图像,以限定焦点距离;处理器,其适于基于针对所有样本横向位置确定的焦点距离来确定跨所述对象区域的焦点距离拓扑,所述装置特别地还包括:驱动装置,其用于竖直地移动所述物镜;以及平移台,其适于在获取第三图像并利用驱动装置根据焦点距离拓扑聚焦的同时横向移动样品架。

此外,该装置还可以包括光平台和全景相机,所述光平台和全景相机可以配置成实施如上所述的方法的实施例。此外,该装置还可以包括数据处理设备,例如计算设备,该数据处理设备可以在其中装载图像处理软件。此外,计算设备或数据处理设备可以包括处理器,该处理器可以将控制信号提供给物镜的驱动装置和/或平移台。

附图说明

图1以横截面侧视图示意性地示出了根据本发明的一实施例的用于光学扫描至少一个对象区域的装置;

图2以透视图示意性地示出了根据本发明的一实施例的用于光学扫描的装置;

图3示意性地示出了可以包括在根据本发明的一实施例的装置中的光平台;

图4示出了根据本发明的一实施例的在用于光学扫描的方法期间拍摄的全景图像;

图5示出了根据本发明的一实施例的在扫描方法中使用的具有样本横向位置的对象区域;

图6示出了根据本发明的一实施例的经平滑的焦点距离拓扑的示例;和

图7示出了根据本发明的一实施例的经平滑和细分的焦点距离拓扑的示例。

具体实施方式

在图1中以横截面侧视图示意性示出的装置100适于执行根据本发明的一实施例的光学扫描放置在透明样品架107上的至少一个对象区域105的方法。装置100尤其是适于执行焦点确定的第一步骤和焦点确定的第二步骤。

因此,装置100包括用于产生激光束103的激光器101。装置100还包括第一相机109和第二相机111。在焦点确定期间,对于每个样本横向位置x0、x1、x2(每个对象区域例如5个样本横向位置),执行焦点确定,其包括在每个样本横向位置处的两个步骤。在焦点确定的第一步骤中,激光束103在反射器104处被反射,穿过物镜113,并在经过物镜113以及穿过盖玻片115之后撞击到对象区域105的位置(在物镜113的光轴118上)上。被反射的激光束117被二色滤光器/反射镜119反射并入射到第一相机109上,该第一相机包括(未显示的光学器件和)空间分辨光敏装置121并且还包括处理器123,该处理器接收空间分辨光敏装置121的测量结果。第一相机的处理器123适于将控制信号125供给给驱动装置127,该驱动装置适于在竖直方向129上调整物镜113的竖直位置。

特别地,在焦点确定的第一步骤的开始,将物镜113定位在样品架107与物镜113之间的最大(或预限定)距离处。然后,使物镜113朝向样品架107向下移动,激光束103连续照射对象区域105的位置,并且第一相机接收反射的激光117,所述第一相机获取多个第一图像。所获取的多个第一图像中的每个第一图像接着由第一相机109中包括的处理器123分析,以便检测第一图像中的特征。特别地,处理器123包括图像处理软件,用以检测激光束103的第一反射,该第一反射是由激光束103在覆盖对象区域105的盖玻片115的上表面131处反射引起的(所述对象区域可以包括组织样本)。然后,进一步降低物镜113并获取另外的第一图像,并且第一图像中的一个将包含激光束的成像第二反射,该成像第二反射源自盖玻片115的下表面133处的反射。物镜113进一步降低直到检测到激光束的第三反射,该第三反射源自激光束103从样品架107的上表面135的反射。

在图1的图示中,物镜113处于竖直位置,在该竖直位置,激光束103聚焦在样品架107的上表面135处,其中,物镜113与样品架107的上表面135之间的距离rd代表参照距离,该参照距离是当前样本横向位置x1的焦点确定的第二步骤的开始位置。

对于焦点确定的第二步骤,可以关掉激光器101,并且可以操作闪光照射光源137以产生从对象区域105下方穿过的闪光照射光138。闪光照射光源137例如可以包括可控快门,所述可控快门位于连续发射光源的下游。也可以包括在装置100内的主处理器139可以控制闪光照射光源137和/或还可以控制第二相机111和/或平移台和/或驱动装置127。从物镜113与样品架107之间的参照距离rd开始,物镜113接着逐步地或连续地以恒定速度向上移动,由此物镜113与样品架107之间的距离增加,同时执行透射闪光照射并使用第二相机111拍摄多个第二图像。

第二图像可以由第二相机111(其还包括空间分辨光检测装置143)中包括的处理器141或由主处理器139处理。特别地,主处理器139可以向闪光照射光源137提供控制信号145,可以向驱动装置127提供控制信号147,并且还可以向其上布置有样品架107的平移台151提供控制信号149,以便在横向方向153(以及另外还在垂直于该横向方向153且垂直于竖直方向129的横向方向上)上横向地平移样品架107。此外,处理器139可以经由控制线155与第二相机111通信。也可以在实际扫描期间使用处理器139,以便控制闪光照射光源137、平移台151、竖直驱动装置127以及第二相机111。

然后,分析由第二相机111所获取的多个第二图像的清晰度,并确定与最高清晰度相关联的第二图像。其中第二图像的清晰度最高的物镜113与样品架107之间的距离被认为是对象区域105在当前样本横向位置x1处以聚焦方式成像的焦点距离。

以相同的方式,针对跨对象区域105的所有其他样本横向位置x0、x2、……执行焦点确定。

然后计算焦点拓扑并使用焦点拓扑扫描物镜区域,以便在适当的竖直位置中移动物镜。

图2以透视图示出了根据本发明的另一实施例的用于光学扫描至少一个对象区域的装置200。该装置200还包括第一相机209和第二相机211、物镜213以及平移台251,在该平移台处放置有样品架207。此外,装置200包括未示出的激光器和处理器。

装置100、200增加了用于处理和诊断组织学样本的自动化程度。此外,这些装置支持远程病理学。这些装置提供了加快的电子处理并且实现了具有凸形包络的聚焦方法。

图3示意性地示出了可以在根据本发明的一实施例的扫描方法中使用并且可以包括在根据本发明的一实施例的装置中的光平台360。在光平台360上方放置了全景相机361,以便获取其上放置有多个对象区域的整个样品架的全景图像。光平台360包括侧向地附接到丙烯酸玻璃365的LED条带363,在丙烯酸玻璃上方布置了漫射元件367和透明丙烯酸玻璃369。在透明有机玻璃365下方布置有白板371。光平台360使得能够漫射照射对象架,所述对象架可放置在透明有机玻璃369的顶部上,以便使用全景相机361获取全景图像。特别地,光平台360产生均匀照射光。全景相机361可以具有6mm的焦距并且可以具有约100mm的工作距离。

在图4中示出了由全景相机361拍摄的全景图像473。全景图像473包括整个样品架407,其上放置有多个对象区域405a、405b、405c、405d、405e、405f。分析全景图像473以确定多个对象区域405a、……、405f的定位(例如,在全景坐标系404中的中心位置(x,y)和边界线)。为了生成图4所示的全景图像473,已经使用了光平台360和全景相机361,从而从下方照射样品架。另外,可以从上方照射样品架以检测识别不同对象区域405a、……、405f的数据代码或其他识别信息。然后将识别信息与相应对象区域的相应全景图像相关联。所确定的对象区域的定位可以通过覆盖相应对象区域的坐标来描述。在此阶段,可以限定二维横向(等距)网格,该网格适用于视场为例如0.6mm×0.6mm的所用物镜(带有2/3"0.63×适配器的20×物镜)。

此外,从全景图像473中,在每个对象区域中限定了多个样本横向位置475,以便基本上均匀地覆盖相应对象区域405f,如图5所示。

然后,如图1所示,将样品架407从光平台360撤回并放置在装置100的平移台151上。平移台151允许在两个垂直方向上平移样品架107。对象区域405a、……、405f的坐标或定位被转换成平移台151的坐标系。因此,样本横向位置475被称为平移台151的坐标系中的坐标并且在图1中被标记为x0、x1、x2。

用于确定样本横向位置中的每个样本横向位置的焦点距离的聚焦过程由两部分构成。

第一部分包括寻找样品架的表面的竖直位置。因此,使用激光束,优选>800nm的激光束,激光束不会伤害或损坏对象区域。激光束穿过物镜113朝向样品架107。不允许激光器101的反射光117撞击到第二相机111上,而是使用二色滤光器119将该反射光朝向第一相机109耦合,所述第一相机被特别设置用于焦点确定。该第一相机109执行图像处理并且还为竖直驱动装置127提供控制信号125。第一相机109适于实现每秒3250个图像的处理速度。在焦点确定的第一部分中,物镜113在距样品架107的最大距离处开始。然后,物镜113以0.5μm的步长朝向样品架107靠近。在每个步长中,第一相机109获取第一图像并对第一图像针对特征性激光反射进行分析。仅在物镜113的焦深内,光点(源自激光束的反射)在其全强度和细节度下可见。第一反射在盖玻片115的入口处出现。第二反射在盖玻片115的出口处出现。第三反射对应于进入样品架107的入口。由此,找到参照距离。

在焦点确定的第二部分期间,激光器101被关掉。在物镜113的每个竖直位置处(在参照距离处开始并向上移动),带有特定闪光控制器的透射聚光器运行10μs的持续时间。闪光电流和相机触发器由竖直测量系统同步,所述竖直测量系统也包括在竖直驱动装置127中。因此,竖直驱动和测量系统127向闪光照射光源137(特别是向包括在其中的聚光器)提供控制信号144并且还向第二相机111供给控制信号146,以便使它们同步。在物镜113运动的同时获取第二图像。从其中激光束103在样品架107的上表面135处聚焦的参照距离rd开始,第二相机111(也称为照相机)获取多个第二图像,使得两个后续第二图像与物镜的竖直位置相关联,所述物镜的竖直位置间隔开0.5μm。继续直到物镜向上移动而对应于组织、即对象区域105的厚度t为止。厚度可以例如介于4μm至6μm之间。当使用光学显微时,Sobel方法使用清晰度(sum,abs,3×3)。

Sobel运算符(有时也称为Sobel-Feldman运算符或Sobel滤波器)用于边缘检测算法内的图像处理和计算机视觉中,其中,其创建了强调边缘的图像。“各向同性3×3图像梯度运算符”是离散的微分运算符,计算图像强度函数的梯度的近似值。在图像中的每个点上,Sobel-Feldman运算符的结果是对应的梯度矢量或该矢量的范数。Sobel-Feldman运算符基于在水平方向和垂直方向上使用小的、单独的整数值滤波器对图像进行卷积,因此在计算方面相对便宜。运算符使用两个与原始图像卷积的3×3内核来计算导数的近似值,其中,一个导数用于水平变化,一个导数用于竖直变化。如果我们将A定义为源图像,并且Gx和Gy是两个图像,在每个点处这两个图像分别包含水平导数近似值和竖直导数近似值,则计算可以如下:

“I”是(x,y)处像素的强度。必须添加图像的所有像素强度。这是描述边缘强度的Sobel过滤图像的值。“sum,abs,3×3”表示将所有值相加,负矩阵结果是不允许的,矩阵大小(内核大小)为3×3。

当使用荧光显微时,可采用高斯差分方法或JPEG聚焦方法(压缩至100%)。

高斯差分方法也适用公式:

因此,这与用于Sobel算法的基本公式相同。这也是卷积。未分离的矩阵例如是3×3矩阵,例如经典高斯钟(3×3矩阵):

1 -2 -1

2 -4 -2

1 -2 -1

可以用于有问题的图像的5×5矩阵的示例是:

高斯差分方法可以如下工作:

从图像中用所述公式计算出相加值,以获得第一值。在高斯图像上,再次计算高斯值,以获得第二值。这两个值的差以非常可靠的方式描述了清晰度,甚至对于有问题的图像也是如此,在所述有问题的图像中,如Sobel方法之类的标准也会失败。它的问题在于其消耗大量的计算功率。因此,仅在必要时使用。

JPEG聚焦方法可以如下工作:

从图像中用最大质量设置计算jpeg压缩。该压缩图像的总字节大小不仅描述了“大小”,而且还描述了清晰度。如果两张图像的内容绝对相同,但是一张图像的清晰度较差,则比较清晰的图像总是具有更大的字节大小。如果焦点批次的步长大于景深,则尤其是可以应用JPEG聚焦方法。

要确定焦点距离,平均需要小于100ms。

创建网格对象,其多边形包含焦点的坐标(xyz)。以改进的方式对网格对象进行平滑和细分,以确定中间区域的拓扑。

图6示出了经平滑的焦点拓扑600,其中焦点拓扑在每个网格横向位置(xm,ym)处分配一焦点距离fd。基于针对多个样本横向位置确定的焦点距离来计算焦点拓扑(xm,ym,fd)600。图7示出了在对其进行细分之后从焦点拓扑600导出的焦点拓扑700。

当已经确定对象区域105的焦点拓扑时,可以执行实际扫描。由此,平移台151以曲折方式移动对象区域105,同时根据所确定的焦点拓扑来调整物镜113,并且在根据需要移动平移台151和移动物镜113的同时获取第三图像。由此,闪光照射光源137可以例如在平移台151以14mm/s移动的同时提供10μs的闪光。

因为在焦点确定的第一部分期间检测样品架的上表面,所以不需要标记物。在聚焦期间,仅物镜移动,而平移台不移动,从而减小移动质量。

可以使用压电驱动器移动物镜,使得能够实现nm范围内的精度。第三图像可以被实时地拼接在一起。

使用两个不同的相机(即,第一相机和第二相机)来执行焦点确定具有若干优点:

如果特定相机的图像格式参数发生改变(例如,像素组合或子采样),则该相机总是具有停滞时间(取决于切换,取决于相机的传感器类型和应用程序编程接口,至多一整秒)。由于用于激光聚焦的相机需要以更小的分辨率(比用于扫描的相机)操作,以便实现每秒约3000张图像的高重复率,因此如果仅一台相机将可利用,则将需要改变相机的格式。因此,该方法将非常耗时。然而,在根据本发明的实施例的方法中,不需要就分辨率(格式)改变第一相机以及第二相机的配置(尤其是关于格式和/或分辨率),从而避免停滞时间。

此外,当激光器提供红外激光束时,可以减少对生物样本的损害。物镜可以是具有0.8的数值孔径的20物镜。

本发明不局限于所描述或所示出的实施例。

24页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:显微镜系统与显微镜系统的操作方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!