具体实施方式

图像配准是将不同组的数据变换为一个坐标系的过程。数据可以是多张照片、来自不同传感器的数据、时间、深度或视角。为了能够比较或集成从这些不同的测量中获得的数据，配准是必要的。例如，图像配准的主要目的之一是在诊断和治疗过程中准确定位目标区域以便于采用高分辨率无创光学扫描。这可用于在随后检查中重复找到感兴趣的目标区域，从而实现持续跟踪和后续医疗服务。

一般来说，光学图像，诸如光学相干断层扫描(OCT)图像和反射共焦显微镜(RCM)图像，均具有高分辨率和小视场(FOV)，是不容易准确找到感兴趣的目标部位/区域，且通常之后在大区域中就找不到原来同一部位/区域，从而无法跟踪感兴趣的目标部位/区域；这种困难导致诊断时间和治疗费用的增加。例如，对于～1μm的分辨率，视场大约为几百微米，这会导致难以在目标区域(例如皮肤上的病灶处)中定位扫描区域。

基于上述图像对齐问题，有必要开发一种精确的图像对齐/配准系统，更具体地说是一种皮肤图像对齐/配准系统，使其更容易定位和跟踪皮肤的目标区域以便进行诊断和治疗。本发明可以帮助将扫描区域精确地瞄准病灶处，并记录所扫描点以确认检查了整个病灶。因此，可以大大提高整个检查过程的效率，并且医生可以在最后一次检查后对患者进行随访时再次扫描同一病灶点。

在一些实施方式中，提供了一种特别适用于皮肤诊断的图像配准方法，以在皮肤导航过程中精确地定位目标区域的位置。本发明还提供了一种图像配准系统，该系统具有共享同一光学元件的至少两个成像器，从而准确地实现光学图像定位。

图1示出了本发明图像配准的一般方法的示例性流程图，其包括以下步骤：由第一成像器提供目标区域的宽视野图像(步骤11)；由第二成像器提供目标区域的窄视野图像(步骤12)；将目标区域的窄视野图像在宽视野图像上对齐(步骤13)；且由光学成像器捕获光学图像(步骤14)，其中所述光学成像器被配置为在所述窄视野图像中定位所述光学图像；并显示所述光学图像在所述宽视野图像上的位置(步骤15)，从而实现所述光学图像在所述目标区域的窄视野图像和宽视野图像上的配准。

在一些实施方式中，所述光学图像是光学相干断层扫描(OCT)图像、反射共焦显微镜(RCM)图像、双光子发光显微镜(TPL)图像、二次谐波产生显微镜(SHG)图像、三次谐波产生显微镜(THG)图像、荧光共焦显微镜(FCM)图像等。在一些实施方式中，所述光学成像器是可以产生光学相干断层扫描(OCT)图像、反射共焦显微镜(RCM)图像、双光子发光显微镜(TPL)图像、二次谐波产生显微镜(SHG)图像、三次谐波产生显微镜(THG)图像、荧光共焦显微镜(FCM)图像等的相应的器件/系统。在某些实施方式中，所述光学图像是OCT图像或RCM图像。

为了实现图像配准中的特征提取过程和特征匹配过程，有两种方式来实现这两个过程，一种是基于区域的匹配技术，另一种是基于特征的匹配技术。对于皮肤图像配准，由于相邻肤色的特征相似且难以区分，因此优选基于特征的匹配技术来用于图像提取过程和图像匹配过程。

另外地，在皮肤扫描过程中还存在皮肤变形、图像旋转和图像帧之间尺度差异的问题。出于这些考虑，基于特征的匹配技术将是皮肤图像配准的合适方式。在基于特征的技术中，还可以分为两种方式，基于斑点的技术和基于角的技术。对于具有高放大率、小锐角或清晰边缘属性的皮肤图像，基于斑点的技术将是皮肤图像特征提取和匹配的优选方式。在一些实施方式中，基于斑点的技术是从由SURF算法、SIFT算法和KAZE算法构成的组中选出的至少一种算法，优选为SURF算法和SIFT算法，但不限于此。在一些实施方式中，SURF算法由于对皮肤变形、皮肤图像旋转和帧间尺度差异不敏感而成为优选算法。另外地，它在图像配准处理速度上也有更好的表现，以实现实时皮肤图像导航。

为了将光学图像精确地配准在宽视野图像上，在一些实施方式中，如图2所示，将窄视野图像在宽视野图像上对齐的处理包括如下步骤：提高宽视野图像和窄视野图像的主要图像特征点权重(步骤131)；提取宽视野图像和窄视野图像的特征点的步骤132；以及匹配宽视野图像和窄视野图像的特征点的步骤133。

在一些实施方式中，提高主要图像特征点权重的步骤包括对宽视野图像和窄视野图像进行缩小和/或图像模糊。就缩小过程而言，比率优选为30至90％，更优选50至80％，更优选60至70％，但不限于此。该缩小步骤可以有效地提高图像配准过程的速度，并使宽视野图像的分辨率基本上等于/接近于窄视野图像的分辨率。在一些实施方式中，它还具有增强主要图像点的特征权重和降低次要图像点的特征权重的功能。在其他实施方式中，图像模糊过程主要表现出提高主要图像特征点权重和降低次要图像特征点权重的效果。因此，如果窄视野图像和宽视野图像都具有较高的分辨率，那么进行缩小和/或图像模糊的步骤将有助于提高图像扫描(例如皮肤图像诊断)过程中图像配准的准确性和及时性。

在一些实施方式中，提取特征点的步骤包括尺度基本不变、旋转基本不变和仿射基本不变中的至少一个属性。在某个实施方式中，该属性满足尺度不变、旋转不变和仿射不变。在提取特征点的步骤中，基本不变指的是尺度、旋转和仿射中的任一个，不一定完全不变，如果是可识别的特征，则允许属性(尺度、旋转、仿射中的至少一个)的微小变化。

在一些实施方式中，宽视野图像的分辨率基本上等于或接近于窄视野图像的分辨率。“基本上等于或接近于”的定义具有大约0至25μm的差异，该差异优选0至20μm、优选0至15μm、优选0至10μm以及优选0至5μm，且最优选0至3μm。窄视野图像和宽视野图像的分辨率越接近，两个图像的细节图像特征就越接近，从而提高了图像配准的成功率。

图3A和图3B进一步提供了图示出应用于皮肤光学图像配准(例如，光学相干断层扫描(OCT)图像、反射共焦显微镜(RCM)图像、双光子发光显微镜(TPL)图像、二次谐波产生显微镜(SHG)图像、三次谐波产生显微镜(THG)图像或荧光共焦显微镜(FCM)图像等)的示例性图像配准处理的流程图。

在一些实施方式中，示例性皮肤图像配准方法，如图3A所示，包括以下步骤：步骤20：通过皮肤镜(即第一成像器)获取皮肤镜图像的宽视野图像(即宽视野图像)；步骤21：对皮肤镜图像(即宽视野图像)进行缩小和图像模糊，以提高其主要图像特征点权重；步骤22：提取皮肤镜图像的图像特征点；步骤23：通过图像引导成像器(即第二成像器)对新引导图像的窄视野图像进行门控；步骤24：对引导图像(即窄视野图像)进行缩小和图像模糊，以提高其主要图像特征点权重；步骤25：提取引导图像(即窄视野图像)的特征点；步骤26：匹配两个图像(皮肤镜图像和新引导图像)的特征点；步骤27：更新皮肤镜图像和引导图像的匹配位置；步骤28：判断是否扫描光学图像(即OCT、RCM、TPL、SHG、THG或FCM图像)；如果是，转至步骤281：光学图像扫描后得到光学图像；步骤282：显示光学图像在皮肤镜图像上的位置。然而，如果在步骤282中图像匹配不正确，则应在步骤29和步骤23中连续获取新引导图像。当完成光学图像配准时，用户才会在步骤S中停止连续获取新引导图像。

在一些实施方式中，如图3A所示，无需扫描光学图像。如果是这样，则图像配准的处理就不涉及光学图像，并且图像配准过程完成。在一些实施方式中，提供了一种图像配准方法，其包括：由第一成像器提供目标区域的宽视野图像；由第二成像器提供目标区域的窄视野图像；将所述目标区域的窄视野图像在宽视野图像上对齐；显示所述目标区域的窄视野图像在宽视野图像上的位置。无论是否包含光学图像，将窄视野图像在宽视野图像上对齐的处理都是相同的。

在其他实施方式中，提供了本发明的图像配准，其包括镶嵌步骤(引导图像镶嵌)。该方法涉及比较帧与帧之间的重叠区域并如图3B所示实时拼接这些图像。在步骤200中：获取新引导图像；步骤201：得到最后拼接后的区域图像；步骤202：涉及两个图像处理，包括缩小、图像模糊和直方图均衡化；步骤203：两个图像特征提取；步骤204：两个图像特征匹配；步骤205：引导图像模糊筛选；步骤206：引导图像变换；步骤207：两个图像拼接；步骤208：更新拼接后的图像及其位置；步骤209：判断是否需要中断，如果需要，则转至步骤S(停止)，如果不需要，则转至步骤200，以得到另一新引导图像，然后再次开始处理。在该方法中，任何图像均可以用来获得具有所识别出位置的拼接后的图像。涉及直方图均衡化的步骤是在去除了次要图像特征后增强了图像特性，从而提高匹配可靠性。在一些实施方式中，提供了一种图像镶嵌方法，其包括如下步骤：获取新引导图像；得到最后拼接后的区域图像；处理所述引导图像与所述最后拼接后的区域图像，包括缩小、图像模糊和直方图均衡化；提取图像特征；匹配所述引导图像与所述最后拼接后的区域图像的特征；模糊筛选所述引导图像；变换所述引导图像；以及将引导图像与最后拼接后的区域图像进行拼接，并更新所述产生的拼接后的图像及位置。

在一些实施方式中，本发明的方法应用于OCT图像的图像配准。由于皮肤镜图像(宽视野图像)的视场比引导图像(窄视野图像)的视场宽得多，因此该区域可以覆盖大多数一般大小的病灶。如图4A所示，在步骤30中：通过将探头(可以包括窄视野成像器和光学视野成像器)附接到病灶上用皮肤镜(宽视野图像)来检索病灶图像。接下来，在步骤31中，OCT/引导系统被附接到病灶上，然后连续捕获引导图像。在步骤32中，一种利用本文公开的发明方法的软件将识别出由图像配准过程显示的皮肤镜图像上的当前位置，因此，在步骤33中，所述系统将会实时构建图像。由于OCT图像系统和引导图像系统(其中拍摄窄视野图像)之间的空间关系是固定的，因此也可以识别出该实例下的OCT成像位置。

在OCT图像(或提供浅面下信息的其他成像形式)和引导图像无法同步获取的情况下(例如在OCT和引导系统无法光学分离并且可能会相互干扰的状况下)，本发明提供了如图4B所示的图像配准方法的又一实施方式。这种情况的问题是OCT成像位置是基于OCT扫描开始前获取的最后一个引导图像进行标记的，而如果用户在切换过程和/或OCT扫描期间正移动探头，则该位置可能会不准确。在步骤301中，由宽视野成像器(例如皮肤镜)拍摄病灶的图像。步骤302：在图像引导模式下开启系统。步骤303：移动探头附接到病灶上。步骤304：由软件识别出窄视野图像(例如引导图像)的位置。步骤305：在系统中切换到图像引导模式后，移动探头构建目标图像(例如病灶图像)。这里，如果探头移动到感兴趣的位置，则步骤309提供切换到OCT扫描模式以进行扫描(即由光学成像器获取光学图像)。然后系统将扫描位置标记到所构建的图像上。步骤306：完成病灶图像构建。步骤307：如果还有感兴趣的区域尚未被扫描，则移动探头到感兴趣的位置。步骤310提供：如果探头移动到感兴趣的位置，则切换到OCT扫描模式以进行扫描(即由光学成像器获取光学图像)。然后系统将扫描位置标记到所构建的图像(即光学图像)上。

在某些实施方式中，诸如在OCT B-扫描模式下，引导图像(即窄视野图像)无法同步获取，但是OCT扫描位置可以通过镶嵌与OCT图像(即光学图像)本身进行配准，本发明提供了如图4C所示的图像配准方法的又一实施方式。在步骤51中，由宽视野成像器(例如皮肤镜)拍摄病灶的图像。步骤52：在图像引导模式下开启系统。步骤53：移动探头附接到病灶上。步骤54：由一种利用本文公开的发明方法的软件来识别出窄视野图像(例如引导图像)的位置。步骤55：在系统中切换到图像引导模式后，移动探头构建目标图像(例如病灶图像)。如果探头移动到感兴趣的位置，则在步骤59中，切换到OCT扫描模式以进行扫描。然后，可以采取步骤60在扫描期间以特定时间间隔来获取引导图像(即窄视野图像)并识别出这些图像在皮肤镜图像上的位置。如果未能识别出位置，则采取步骤62以将最后成功的图像用于OCT图像位置标记。如果成功，则采取步骤61以将该图像用于OCT图像位置标记。在步骤63之后，开始下一次OCT扫描或在步骤55或步骤57处返回至引导模式。步骤56：完成病灶图像构建。如果还有感兴趣的区域尚未被扫描，则在步骤57中，移动探头到感兴趣的位置。步骤58：完成整个扫描。

在某些实施方式中，诸如在OCT E-扫描模式下，OCT图像和引导图像无法同步获取，但是OCT扫描位置可以通过镶嵌与OCT图像本身进行配准，本发明提供了如图4D所示的图像配准方法的的又一实施方式。在步骤61中，由宽视野成像器(例如皮肤镜)拍摄病灶的图像。步骤62：在图像引导模式下开启系统。步骤63：移动探头附接到病灶上。步骤64：由一种利用本文公开的发明方法的软件来识别出窄视野图像(例如引导图像)的位置。步骤65：在系统中切换到图像引导模式后，移动探头构建目标图像(例如病灶图像)。如果探头移动到感兴趣的位置，则在步骤69中，切换到OCT扫描模式以进行扫描并记录第一次获取的OCT图像(即光学图像)。然后，可以采取步骤70以尝试识别出下一个OCT图像的相关位移。如果未能识别出，则采取步骤72以将最后成功的图像用于OCT图像位置标记。如果成功，则采取步骤71以将位移和最后记录的引导图像用来在皮肤镜图像上标记OCT扫描。此后，在步骤73中，开始下一次OCT扫描或在步骤65或步骤70处返回至引导模式。步骤66：完成病灶图像构建。如果还有感兴趣的区域尚未被扫描，则在步骤67中，移动探头到感兴趣的位置。步骤68：完成整个扫描。

图5提供了示例性的本发明图像配准系统。第一成像器A(例如皮肤镜)被配置为捕获目标区域的宽视野图像。光学模块B包括第二成像器和光学成像器，其中计算机C被配置为连接和控制第一成像器A和光学模块B。第二成像器和光学成像器共享同一物镜46以使得光学图像的FOV与由第二成像器提供的窄视野图像的FOV重叠。光学成像器被配置为捕获光学图像，而第二成像器用来捕获目标区域的窄视野图像，其中窄视野图像将与目标区域的宽视野图像对齐，而光学图像将会显示在目标区域的窄视野图像和宽视野图像上。

详细地，如图5所示，例如，捕获宽视野图像的第一成像器A为至少一个皮肤镜、表皮发光显微镜和图像镶嵌模块。本领域技术人员将会很容易认可并适应使用其他合适的第一成像器。在一些实施方式中，第一成像器A包括可以通过计算机C控制的第一成像器光学透镜31和第一相机32。另外地，在一些实施方式中，皮肤镜和/或表皮发光显微镜的光源包括至少一个LED和/或伍德氏灯，但不限于此。本领域技术人员可以很容易认可根据本发明实践的其他合适的光源。光学模块B包括两个成像器，包括第二成像器和光学成像器，其中第二成像器提供图像引导模式的窄视野，而光学成像器提供光学图像。光学图像优选为光学相干断层扫描(OCT)图像、反射共焦显微镜(RCM)图像、双光子发光显微镜(TPL)图像、二次谐波产生显微镜(SHG)图像、三次谐波产生显微镜(THG)图像、荧光共焦显微镜(FCM)图像或其组合。更优选地，光学图像是OCT图像或RCM图像。关于第二成像器，它包括光源463，其被物镜模块46环绕以在样品5的目标区域上提供光；以及分束器44，其用来通过投影透镜471将光信号引导至第二相机481。另外地，关于光学成像器，它包括光源40，其通过光纤41向光学透镜42提供光；光通过偏振分束器43、分束器44和四分之一波片45，其对圆偏振光进行转换；物镜模块46，其具有物镜461和干涉装置462以使光通过样品5。当光从样品5背向散射时，偏振分束器43通过投影透镜472将光引导至第三相机482。计算机C被配置为控制光源40并处理来自第二相机481和第三相机482的图像。

本发明的对齐系统可以连续地将光学图像在皮肤镜图像上对齐，并呈现光学图像在皮肤镜图像上的多个扫描位置，以便清楚地指示/标识光学图像的扫描位置。

图5显示了包括Mirau型干涉仪的示例性光学系统；另一方面，图6图示了Linnik型干涉仪。本领域技术人员可以很容易采纳本文公开的其他合适的光学成像器。例如，本领域技术人员可在必要时选择迈克尔逊型干涉仪或马赫-曾德尔干涉仪。此外，本领域技术人员还可以更换其他光学系统，诸如RCM、TPL、SHG、THG或FCM，以在必要时满足要求。

图6和图5之间唯一区别是物镜46a和46b，其中物镜46a提供了来自玻璃板463覆盖的样品5的样品臂，而物镜46b提供了来自反射镜462的参考臂。

在本发明中，由于光学成像器和图像引导成像器共享同一光学物镜，并且光学成像器的FOV与图像引导成像器的FOV基本上重叠或相同，所以光学图像与皮肤镜图像被很好地配准。

在一些实施方式中，提供了图像配准系统，包括：第一成像器，其被配置为捕获目标区域的宽视野图像；以及光学模块，其包括第二成像器和光学成像器，所述第二成像器和所述光学成像器共享同一物镜，其中所述光学成像器被配置为捕获光学图像，而所述第二成像器被配置为捕获目标区域的窄视野图像以将目标区域的窄视野图像在宽视野图像上对齐，并显示光学图像在目标区域的窄视野图像和宽视野图像上的位置。在某些实施方式中，第一成像器包括至少一个皮肤镜、表皮发光显微镜和图像镶嵌模块。在某些实施方式中，皮肤镜和/或表皮发光显微镜的光源包括至少一个LED和/或伍德氏灯。在某些实施方式中，第一成像器的视场在5*5mm至20*20mm的范围内。在某些实施方式中，第二成像器的视场在1*1mm至5*5mm的范围内。在某些实施方式中，光学成像器的视场在50*50μm至1000*1000μm的范围内。在某些实施方式中，其中宽视野图像的分辨率基本上等于窄视野图像的分辨率。在某些实施方式中，宽视野图像的分辨率与窄视野图像的分辨率相差大约0至25μm、0至20μm、0至15μm、0至10μm、0至5μm或0至3μm。在某些实施方式中，光学成像器是光学相干断层扫描(OCT)器件、反射共焦显微镜(RCM)器件、双光子发光显微镜(TPL)器件、二次谐波产生显微镜(SHG)器件、三次谐波产生显微镜(THG)器件、荧光共焦显微镜(FCM)器件或其组合。

在一些实施方式中，第一成像器具有在5*5mm至20*20mm范围内，优选6*6mm至17*17mm、优选10*10mm至15*15mm范围内的视场(FOV)，但不限于此。第二成像器的FOV在1*1mm至5*5mm范围内，优选2*2mm至4.5*4.5mm、优选3*3mm至4*4mm范围内，但不限于此。此外，光学成像器的FOV在50*50μm²至1000*1000μm²范围内，优选100*100μm²至800*800μm²、优选300*300μm²至600*600μm²，以及优选400*400μm²至500*500μm²范围内，但不限于此。由于窄视野图像的FOV与光学成像器的FOV重叠，因此光学图像在窄视野图像中的位置总是容易被跟踪，否则将要提供一种标记来精确标识光学成像器在窄视野成像器上的位置。

尽管本文已经示出和描述了本发明的优选实施方式，但显而易见地是，对于本领域技术人员来说这样的实施方式仅作为示例提供。在不偏离本发明的情况下，本领域技术人员现在将会想到许多变型例、改进例和替代例。应当理解，在实践本发明时可以采用本文所描述的本发明的实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并且由此涵盖在这些权利要求及其等同物范围内的方法和结构。