眼科设备

文档序号:928479 发布日期:2021-03-05 浏览:3次 >En<

阅读说明:本技术 眼科设备 (Ophthalmologic apparatus ) 是由 原直子 加藤千比吕 冈本圭一郎 于 2020-08-19 设计创作,主要内容包括:本发明提供了一种将受检眼的局部结构与眼睛前部显色相结合的技术。一种眼科设备,包括:二维图像采集单元,其通过使用彩色相机拍摄受检眼前部以获取二维图像;三维图像采集单元,其通过使用光学相干层析来获取受检眼的三维图像;和对应关系定义数据生成单元,其生成对应关系定义数据,其中,当受检眼的预定部位作为三维图像被拍摄时,三维图像中受检眼的预定部位的位置与二维图像中受检眼的预定部位的位置(当受检眼的预定部位作为二维图像被拍摄时)建立对应关系。(The present invention provides a technique for combining the local structure of the eye to be examined with the visualization of the anterior portion of the eye. An ophthalmic apparatus, comprising: a two-dimensional image acquisition unit that captures a two-dimensional image by using a color camera on the front of an eye to be examined; a three-dimensional image acquisition unit that acquires a three-dimensional image of an eye to be examined by using optical coherence tomography; and a correspondence definition data generation unit that generates correspondence definition data in which, when a predetermined part of the eye to be inspected is captured as a three-dimensional image, a correspondence is established between a position of the predetermined part of the eye to be inspected in the three-dimensional image and a position of the predetermined part of the eye to be inspected in the two-dimensional image (when the predetermined part of the eye to be inspected is captured as a two-dimensional image).)

眼科设备

技术领域

本发明涉及眼科设备技术领域。

背景技术

传统上,基于受检眼的层析图像的光学相干层析(以下简称OCT)以获取三维图像技术是已知的。已知有多种方法通过OCT技术获取受检眼的三维图像(例如,专利文献1)。进一步的,专利文献2中公开了一种构造,其中,沿着相对于受检眼的眼轴倾斜的光轴投射/接收光,以捕获虹膜角膜角的整个周边图像,虹膜角膜角的截面信息通过OCT获取,并且整个周边图像与关于位置关系的截面信息相关联。

引用列表

专利文献

[专利文献1]JP 2017-469 A

[专利文献2]JP 2019-42304 A

发明内容

技术问题

当采用专利文献1中通过OCT技术获得的三维图像进行检查和诊断时,通常也会同时使用二维图像。例如,通过将二维彩色图像和三维图像一起显示,则可以基于受检眼的颜色来进行检查和诊断。然而,在传统构造中,难以将三维图像与二维图像关联起来。例如,当期望特定位置的指定颜色显示于三维图像中时,通常需要将通过彩色相机获取的二维图像与以灰度表示的三维图像进行比较。然而,即使在三维图像中已经发现了待聚焦的位置,有时也难以将三维图像中的该位置与二维图像中的对应位置关联起来。在这种情况下,很难指定待焦点位置的颜色。另外,还存在在三维图像中期望指定二维图像中所示的特定颜色位置的结构的情况。在这种情况下,即使在二维图像中找到待焦点位置,有时也难以将二维图像中的该位置与三维图像中的对应位置关联起来。在这种情况下,很难指定对应于聚焦颜色位置的三维结构。

进一步的,在专利文献2中,虹膜角膜角的整个周边图像与其横截面信息就位置关系相关联,但是该文献没有公开横截面信息与受检眼的任意位置的任何其他图像之间的关联,例如,受检眼表面上的虹膜或血管。因此,当从三维图像的正面观察受检眼时,不可能指定视觉可识别部位的颜色。

有鉴于此提出了本发明,并且本发明的目的是将受检眼的局部结构与受检眼的前部显色联系起来。

为了实现该目的,本发明提供了一种眼科设备,包括:二维图像采集单元,其通过使用彩色相机拍摄受检眼前部以获取二维图像;

三维图像采集单元,其通过使用光学相干层析来获取受检眼的三维图像;和

对应关系定义数据生成单元,其生成对应关系定义数据,其中,当受检眼的预定部位作为三维图像被拍摄时,三维图像中受检眼的预定部位的位置与二维图像中受检眼的预定部位的位置(当预定部位作为二维图像被拍摄时)建立对应关系。进一步的,代替对应关系定义数据生成单元或除对应关系定义数据生成单元之外,可以采用显示单元上的显示控制单元,其显示采用二维图像中显示的颜色着色的三维图像。

即,当三维图像中特定部位的位置与其在二维图像中的位置建立对应关系时,得到了对应关系定义数据,该对应关系定义数据可用于将受检眼的三维结构与作为二维图像拍摄的颜色建立对应关系。因此,受检眼的局部结构及其颜色可以相互关联。此外,如果三维图像中的局部位置用二维图像的颜色着色并显示,检查者可以容易地将受检眼的局部结构与在受检眼前部显现的颜色建立对应关系。

附图说明

图1示出了根据本发明实施例的OCT装置1的构造图。

图2示出了扫描对准光学系统的构造示意图。

图3示出了与算法过程有关的配置图。

图4示出了二维图像和三维图像的显示示例图。

图5A是校准数据生成过程的流程图,图5B是对应关系定义数据生成过程的流程图,图5C示出了校准结构。

图6是拍摄过程的流程图。

图7是解释光线追踪的示例图。

具体实施方式

本发明的实施方式将以下述顺序进行说明:

(1)眼科设备的构造;

(2)控制单元的构造;

(3)校准数据生成过程;

(4)拍摄过程;

(4-1)对应关系定义数据生成过程;

(5)其他实施方式。

(1)眼科设备的构造:

下面将对本发明示例中的眼科设备OCT装置1进行描述。图1示出了根据本发明实施例的OCT装置1的构造图。OCT装置1大致包括OCT干涉系统100、k-clock发生干涉光学系统400和控制单元240。

OCT干涉系统100是一种光学系统,用于获得待OCT检查的眼睛前段的层析图像。在本示例中,采用了扫频OCT(SS-OCT,扫频源-OCT),并且波长扫描光源10输出光,输出的同时随时间改变并扫描波长。举例来说,波长扫描光源10是有着1μm或更长中心波长和70nm或更宽扫描宽度条带的光源,且具有实现50KHz或更快高速扫描的性能。从波长扫描光源10发射的输入光由光纤维(比如单模光纤)引导,并用于样本20的层析图像捕获以及k-clock发生。

在波长扫描光源10、OCT干涉系统100和产生k-clock发生干涉光学系统400之间设置用于将发射的输入光分别分支的SMFC(单模光纤耦合器)101。输入光被SMFC101分支成朝向OCT干涉系统100和产生k-clock发生干涉光学系统400的光。

OCT干涉系统100包括单模光纤耦合器(SMFC)102和103、测量侧循环器104、参考侧循环器105、平衡探测器110、偏振控制器120、扫描对准光学系统200和参考光学系统300。输入光被SMFC 101分支后的一束光入射到器件SMFC102上。SMFC 102将入射输入光分支,并将一束光导向扫描对准光学系统200,将另一束光导向参考光学系统300。

即,入射输入光被SMFC 102分支成的一束光经由测量侧循环器104输入至扫描对准光学系统200,并且成为用于测量样本20的测量光。入射输入光被SMFC 102分支成的另一束光经由参考侧循环器105输入到参考光学系统300,成为参考光。

入射到样品20上的光被样品反射,并且作为测量光经由测量侧循环器104输入到SMFC 103。入射到参考光学系统300上的光通过参考单元301变成参考光,并从参考光学系统300输出,并且经由参考侧循环器105和偏振控制器120输入到SMFC 103。

当测量光和参考光被输入到SMFC 103时,二者被SMFC 103组合以产生测量干涉光。测量干涉光被输入到平衡探测器110中,平衡探测器110接收测量干涉光,并输出测量干涉信号。测量干涉信号被输入到控制单元240,控制单元240基于测量干涉信号获得样本20的层析图像。

扫描对准光学系统200是这样的光学系统,即,采用从测量侧循环器104输入的光照射样本20,并将从样本20反射的光引导至SMFC 103。后面将对扫描对准光学系统200的细节进行详细描述。

测量侧循环器104是布置在扫描对准光学系统200分别与SMFC 102和SMFC 103之间的光学元件。通过测量侧循环器104,从SMFC 102引导过来的测量光被引导到扫描对准光学系统200,且从扫描对准光学系统200引导过来的反射光被引导到SMFC 103。

参考光学系统300设置有将输入光转换成参考光的参考单元301,以及将输入光引导至参考光学系统300并将参考光引导至SMFC 103的参考侧循环器105。在本示例中,参考单元301是将入射输入光发射为参考光的棱镜。参考单元301被配置为在测量样本20之前是可移动的,以使扫描对准光学系统200的光程长度与参考光学系统300的光程长度相匹配。参考单元301的位置在样品20的测量期间是固定的。

参考侧循环器105是布置在参考单元301分别与MFC 102和SMFC 103之间的光学元件。从SMFC 102引导过来的输入光被参考侧循环器105引导到参考单元301,且从参考单元301引导过来的参考光被参考侧循环器105引导到SMFC 103。SMFC 103将从扫描对准光学系统200引导而来的反射光和从参考光学系统300引导而来的参考光进行组合以生成测量干涉光。进一步的,SMFC 103将组合的测量干涉光分支成180°相位不同的两束测量干涉光,并将其引导至平衡探测器110中。

平衡探测器110是接收由SMFC 103组合的测量干涉光的光电探测器。SMFC 103布置在扫描对准光学系统200、参考光学系统300与平衡探测器110之间,偏振控制器120布置在参考光学系统300和SMFC 103之间。

偏振控制器120是控制从参考光学系统300引导到SMFC 103的参考光的偏振的元件。作为偏振控制器120,可以使用多种模式的控制器,例如直列式和桨式,而没有任何特别的限制。控制单元240基于从平衡探测器110输出的测量干涉信号来获得样本20的层析图像,且由此获得的层析图像显示在显示器230上。

图2示出了扫描对准光学系统200的构造。扫描对准光学系统200包括扫描光学系统、前段拍摄系统、固定目标光学系统和对准光学系统。在扫描光学系统中,从SMFC 102输出的光被输入到测量侧循环器104,且进一步通过准直透镜201从测量侧循环器104输入到检流计扫描仪202。

检流计扫描仪202是用于扫描输入光的设备,且由检流计驱动器(未示出)驱动。从检流计扫描仪202输出的输入光被热镜203以90°角反射,并通过物镜204入射到受检眼E上。入射到受检眼E上的输入光在前部Ec的组织部分(角膜、前房、虹膜、晶状体等)被反射,并变为测量光。与上述相反的是,测量光依次穿过物镜204、热镜203、检流计扫描仪202和准直透镜201,并经由测量侧循环器104输入到SMFC 103。

然后,在SMFC 103中,来自前段Ec的反射光和参考光被组合以产生信号,且该信号被输入到平衡探测器110。在平衡探测器110中,测量每个波长处的干涉,并且将测量得到的测量干涉信号输入到控制单元240。控制单元240对测量干涉信号进行处理(比如傅立叶逆变换),从而获取沿着扫描线的前段Ec的层析图像。

前段拍摄系统包括白光源205,205、物镜204、热镜203、分束器206、成像透镜207和区域传感器208。白色光源205,205被配置为用可见光区域中的照明光照射受检眼E的前部,且来自受检眼E的反射光穿过物镜204、热镜203、分束器206和成像透镜207,被输入到区域传感器208。因此,捕获得到了受检眼E的正面图像,且捕获的二维图像被控制单元240处理。

在本实施例中,白光源205是输出白光的光源。白光仅必须具有光谱分布,才能使得用白光照射的受检眼可以用全彩色视觉识别。为了精确地再现受检眼E的颜色,白色光源205优选具有高显色性的光源,比如,优选具有80或更高的平均显色指数(Ra)的光源。在本实施例中,白色光源205的平均显色指数(Ra)为95。

进一步的,本实施例中是在白光源205具有5500K的色温的前提下给出的解释,但是色温并不受限制。在本实施例中,从区域传感器208输出的图像数据是为二维排列的每个像素指定灰度值的数据,每个灰度值指示每种RGB(R:红色、G:绿色和B:蓝色)颜色光的检测强度。在本实施例中,前段拍摄系统对应于彩色相机。

固定目标光学系统用于使受试者凝视固定灯,以尽可能多地防止受试者移动他/她的眼球(受检眼E)。在本实施例中,固定目标光学系统由固定目标光源210、可移动变焦透镜211、冷镜212、热镜213、中继透镜214、分束器215、分束器206、热镜203和物镜204组成。因此,从固定目标光源210输出的光被配置为依次经过可移动变焦透镜211、冷镜212、热镜213、中继透镜214、分束器215、分束器206、热镜203和物镜204输出到待检查的眼睛E。

此处,可移动变焦透镜211配置为可移动的,以使得固定目标的焦点可以自由改变。具体地,可移动变焦透镜211可移动到任意位置,例如,使得固定目标的焦点到达受检眼E的屈光力值的位置。通过这样做,可以建立受试者能够自然地看到固定目标的状态(没有载荷施加到晶状体的状态)以进行测量。此外,例如,当其被用于晶状体焦点调节功能的研究时,通过移动可移动变焦透镜211,使得可以比在自然视觉中更近地看到固定目标的焦点,以比较晶状体的形状,或者逐渐移动可移动变焦透镜211来捕捉晶状体的形状变化的运动图像,就可以拍摄到自然视觉的状态和调节负载施加到晶状体的状态。

对准光学系统由用于检测受检眼E(角膜顶点)在XY方向(相对于主体的垂直和水平位移)上位置的XY方向位置检测系统和用于检测受检眼E(角膜顶点)在纵向方向(Z方向)上位置的Z方向位置检测系统组成。XY方向位置检测系统包括XY位置检测光源216、热镜213、中继透镜214、分束器215、分束器206、热镜203、物镜204、成像透镜217和二维位置传感器218。用于位置检测的对准光从XY位置检测光源216输出,且经由热镜213、中继透镜214、分束器215、分束器206、热镜203和物镜204向受检眼E的前段Ec(角膜)发射。

此时,受检眼E的角膜表面具有球形形状,致使对准光在角膜表面上反射,以便在受检眼E的角膜顶点内形成亮点图像,且反射光从物镜204入射。来自角膜顶点的反射光(亮点)经由物镜204、热镜203、分束器206、分束器215和成像透镜217输入到二维位置传感器218。通过二维位置传感器218检测亮点的位置,从而检测到角膜顶点的位置(在每个X和Y方向的位置)。

二维位置传感器218检测的信号被输入至控制单元240。在本实施例中,在二维位置传感器218和前段拍摄系统对准的情况下,对角膜顶点的预定(正常)图像获取位置(在层析图像获取期间应当遵循的位置)进行预设。例如,角膜顶点的正常图像获取位置是成像元件等的捕获图像的中心位置。基于二维位置传感器218的检测,控制单元240获得角膜顶点(亮点)在每个X和Y方向上的正常位置和检测位置之间的位置偏移量。

Z方向位置检测系统包括Z位置检测光源219、成像透镜220和线传感器221。Z位置检测光源219被配置为从倾斜方向用检测光(狭缝光或点光)照射受检眼E,使得来自角膜的倾斜反射光通过成像透镜220入射在线传感器221上。此时,入射在线传感器221上的反射光的入射位置根据受检眼E在纵向方向(Z方向)上的位置而不同,因此受检眼E在Z方向上的位置被检测到。

这里,虽然未示出,但是OCT装置1的装置主体被支撑,以便使其相对于支撑台在X方向(水平方向)和Y方向(垂直方向)以及Z方向(纵向方向)是可移动的。控制单元240使装置主体相对于支撑台在X方向、Y方向和Z方向上自由移动。另外,受试者放置他/她的下巴的腮托和受试者放置他/她的前额的前额垫固定地设置在装置主体的前侧(受试者侧),且受试者的眼睛(受检眼)被安排在检查窗口(设置于装置主体的前表面)的前面。控制单元240使装置主体相对于支撑台移动,使得通过XY方向位置检测系统检测到的角膜顶点(亮点)在X和Y方向上的位置偏移量和通过Z方向位置检测系统检测到的受检眼E的位置偏移量均为零。

图1中所示的k-clock发生干涉光学系统400从分支的输入光(来自SMFC101)中光学生成采样时钟(k时钟),以便以等间隔频率对测量干涉信号进行采样。然后,生成的k-clock信号输出到控制单元240。因此,抑制了测量干扰信号的失真,且防止了分辨率的恶化。

(2)控制单元的构造:

在本实施例中,控制单元240包括中央处理器(CPU)、随机存取存储器(RAM)、只读存储器(ROM)等(未示出)。控制单元240可以执行存储在存储介质245中的程序,并使用存储在包括在光学OCT装置1中的存储介质245中的数据来执行多种算法过程。控制单元240可以控制包括在OCT干涉系统100、扫描对准光学系统200、参考光学系统300、k-clock发生干涉光学系统400中的控制目标,例如,用于对准的电机、区域传感器208等。

进一步的,控制单元240可以基于从OCT干涉系统100、扫描对准光学系统200等输出的信息执行运算过程。在本实施例中,控制单元240基于从OCT干涉系统100输出的三维图像和从扫描对准光学系统200输出的二维图像执行处理,使得两个图像中的位置可以彼此建立对应关系。

图3示出了用于关联位置的算法过程相关的配置图。当运行程序(未示出)时,控制单元240充当二维图像采集单元240a、三维图像采集单元240b、对应关系定义数据生成单元240c和显示控制单元240d。二维图像采集单元240a是使控制单元240执行使用彩色相机获取受检眼E的二维图像功能的程序模组。

也就是说,控制单元240可以通过使用二维图像采集单元240a的功能来控制前段拍摄系统(区域传感器208等),所述前段拍摄系统充当彩色相机以获得存在于彩色相机的视野中受试者的二维图像。因此,当在受试者将他/她的下巴放在光学OCT装置1的腮托上并将他/她的前额放在前额垫上使得受试者的眼睛(受检眼E)安排在装置主体前表面的检查窗口,在这种状态下获取得到了受检眼E的二维图像。当对将要安排的受检眼的部分中的任意目标拍摄时,例如颜色图、白平衡调节目标和校准结构(所有这些将在后面描述),可以获取这些目标的二维图像。

在任何情况下,当获取二维图像时,指示二维图像的二维图像数据245a被记录在存储介质245中。在本实施例中,二维图像数据是为二维排列的每个像素而设定的灰度值,每个灰度值指示每个通道的RGB(R:红色、G:绿色和B:蓝色)的光的检测强度。在本实施例中,表示二维图像中每个像素的位置的坐标表示为(u,v),u是表示水平方向(平行于X方向的方向)上的位置的变量,v是表示垂直方向(平行于Y方向的方向)上的位置的变量。

在本实施例中需要注意的是,由二维图像数据245a表明的灰度值对于每个RGB可以取0到255的值。在本实施例中,当捕获特定颜色并获得二维图像数据245a时,由二维图像数据245a输出到显示器或打印机上的颜色通常与捕获的特定颜色不匹配。在这种意义上来说,二维图像数据245a的灰度值(稍后将描述的采用校准数据245c校正之前的灰度值)指示在设备相关的颜色空间中表达的颜色。

在本实施例中,控制单元240使用显示控制单元240d的功能在显示器230上显示捕获的二维图像。即,当获取二维图像数据245a时,控制单元240控制显示器230,使得由二维图像数据245a指示的二维图像显示在预定位置。图4示出了二维图像Ie的显示示例图。尽管在图4中未示出,但是二维图像Ie是彩色图像。

此外,在本实施例中,要在显示器230上显示的二维图像Ie是处于校准数据245c(稍后将描述)配置颜色的状态下的图像。在本实施例中,校准数据245c用于将二维图像中的灰度值转换成参考颜色空间中的灰度值,且当作为设备无关颜色空间的参考颜色空间中表达颜色时,也指示用于将由二维图像中的灰度值指示的受试者的颜色转换成灰度值的转换公式。控制单元240基于校准数据245c校正二维图像数据245a,并且提供使用参考颜色空间来表达颜色的数据。控制单元240用校正后的数据更新二维图像数据245a。在显示器230中,已经执行了其中使用参考颜色空间表达的颜色来指定颜色表达的颜色匹配。因此,显示器230上显示的颜色等同于被检查者视觉识别的眼睛E的颜色。

三维图像获取单元240b是使控制单元240获取要通过OCT检查的眼睛E的三维图像的功能的程序模组。也就是说,控制单元240使用三维图像获取单元240b的功能来控制OCT干涉系统100、扫描对准光学系统200(例如检流计扫描仪202)和k-clock发生干涉光学系统400,以获取测量干涉信号。控制单元240对测量干涉信号进行诸如傅立叶逆变换处理,以获取沿着扫描线的前段Ec的层析图像。

控制单元240改变检流计扫描仪202的扫描方向,并获取多个截面的层析图像。在本实施例中,通过获取覆盖受检眼E的整个前段的多个截面的层析图像来获取受检眼E的三维图像。检流计扫描仪202的扫描方向可以是不同的。例如,可以通过在Y方向上以规则的间隔设置平行于X和Z方向的多个截面来覆盖待检查的眼睛E的整个前段。此外,假设一个穿过角膜顶点并平行于Z方向的截面,通过将截面与穿过角膜顶点的轴(平行于作为旋转轴的Z方向)以恒定角度旋转,可以覆盖受检眼E的整个前段。

对于截面的每个位置,多个层析图像中的每个根据受检眼E的结构来显示亮度和暗度。因此,控制单元240将多个层析图像的每个位置设置为三维图像数据245b,该三维图像数据245b具有针对OCT坐标系中的每个坐标指示亮度和暗度的单通道信息并将该数据记录在存储介质245中。应当注意的是,由三维图像数据245b指示的坐标仅必须在预定义的坐标系中表示,并且在本实施例中假设了一个示例,其中三维图像数据245b在用于对准的XYZ坐标系中被定义。也就是说,三维图像数据245b是根据受检眼E的结构,为XYZ坐标系中的多个坐标指定灰度值的数据。在本实施例中,XYZ坐标系中的坐标表示为(X,Y,Z)。

在本实施例中,控制单元240使用显示控制单元240d的功能在显示器230上显示捕获的三维图像。即,当获取三维图像数据245b时,控制单元240控制显示器230,使得由三维图像数据245b指示的任意部分的三维图像显示在预定位置。图4示出了在二维图像Ie的右侧显示的垂直层析图像(平行于Y和Z方向的截面)Iov的示例。进一步的,图4示出了在二维图像Ie的下方显示的水平层析图像(平行于X和Z方向的截面)Ioh,且在二维图像Ie的右下侧显示的相对于穿过角膜顶点并平行于Z方向的轴旋转任意角度的截面的层析图像Ior的示例。这些层析图像Iov、Ioh和Ior是截面图,因此是二维的,但由于显示了三维图像数据245b的一部分,因此也可以说提供了三维图像显示。

如上所述,三维图像数据245b是具有XYZ坐标系中的多个坐标中的每一个的单通道灰度值的数据。因此,当基于三维图像数据245b对层析图像Iov、Ioh和Ior进行显示时,它们通常是灰度图像。然而,当使用三维图像进行检查和诊断时,或者当使用三维图像创建人造眼时,优选地,待检查的眼睛E的每个部位的颜色是人视觉可识别的颜色。

因此,本实施例具有这样的配置,其中通过OCT获得的具有三维结构的每个部位基于二维图像被着色。对于着色,在本实施例中生成了对应关系定义数据,其中三维图像的三维坐标与二维图像的二维坐标建立对应关系。具体地,对应关系定义数据生成单元240c是使控制单元240执行生成对应关系定义数据功能的程序模组,在该对应关系定义数据中,当预定部位被拍摄为三维图像时,三维图像中受检眼E的预定部位的位置与当预定部位被拍摄为二维图像时在二维图像中的预定部位的位置建立对应关系。即,在本实施例中,控制单元240生成对应关系定义数据245d,用以将三维图像的三维坐标与二维图像的二维坐标建立对应关系,并通过使用对应关系定义数据245d对三维图像进行着色。

在本实施例中,对应关系定义数据245d是三维图像的三维坐标与二维图像的二维坐标建立对应关系得到的数据。即,在二维图像中,对于形成二维图像的每个像素,为RGB的每个颜色通道定义灰度值,并且每个像素的位置由二维坐标(u,v)指定。因此,当指示二维图像的每个像素的二维坐标(u,v)被指定时,颜色即被指定。因此,当部分三维坐标被拍摄为二维图像时,通过将三维图像的任意三维坐标(X,Y,Z)与二维坐标(u,v)建立对应关系,可以认为任意三维坐标(X,Y,Z)已经被着色。

如上所述,对应关系定义数据245d是三维图像的三维坐标与二维图像的二维坐标建立对应关系得到的数据,且在本实施例中,对应关系定义数据245d是基于通过拍摄待同一受检眼E而获得的二维图像数据245a和三维图像数据245b而生成的。需要注意的是,彩色相机的光学系统中的失真等问题对于每只受检眼E不会改变,但是对于每个受检眼E(对于每个受试者)来说,受检眼E的角膜发生了改变。

因此,在本实施例中,对于通过角膜拍摄的虹膜,通过光线追踪为每只受检眼E定义对应关系。另一方面,对于除虹膜之外的位置(从受检眼E的前方观察时在虹膜之外的位置),基于受检眼E与彩色相机之间的关系以及彩色相机的光学系统的特性来定义对应关系。这种对应关系的定义的细节将在后面描述。在任何情况下,使用对应关系定义数据生成单元240c的功能,控制单元240生成指示三维图像的三维坐标和二维图像的二维坐标之间对应关系的对应关系定义数据245d,并将对应关系定义数据245d与二维图像数据245a和三维图像数据245b相关联地记录于存储介质245中。

当生成对应关系定义数据245d时,对应关系定义数据245d可以用于多种用途。例如,如果二维图像数据245a和三维图像数据245b以及对应关系定义数据245d在其他输出设备(例如,打印机)中按照成套使用,则可以输出用非常接近受检眼E实际颜色的颜色着色的受检眼E的三维图像。

在本实施例中,当三维图像显示在显示器230上时,对应关系定义数据245d用于对受检眼E的每个部分进行着色。也就是说,控制单元240使用显示控制单元240d的功能,从三维图像数据245b中提取存在于任意截面上的三维坐标。控制单元240还参考对应关系定义数据245以指定对应于三维坐标的二维坐标。进一步的,控制单元240参考二维图像数据245a,并将由校准数据245c校正得到的灰度值视为三维坐标中的灰度值。然后,控制单元240将由三维图像数据245b指示的三维坐标的颜色视为灰度值,并控制显示器230,使得三维图像(层析图像Iov、Ioh和Ior)在其上显示。

因此,尽管未在图4中示出,但是层析图像Iov、Ioh和Ior被着色并显示。在对应关系定义数据245d中,不必为用于表达三维图像的所有三维图像定义与二维坐标的对应关系。例如,彩色相机视野之外的位置,透明因而不能着色的位置,位于受检眼E的背面因而彩色相机拍摄不到的位置等,对应关系定义数据245d可以不被定义。在这种情况下,控制单元240可以采用这样的配置,其中对应关系定义数据245d不存在的位置用可以通过三维图像数据245b指示的灰度值表示的颜色显示。进一步的,着色部位(预定部位)是虹膜、除虹膜和角膜之外的前段表面、眼睑等。

三维图像的显示模式可以采用多种模式。截面不限于图4所示的例子,当然,任何截面都可以由检查者指定进行选择。此外,也可以选择平行于Z方向的截面。此外,可以显示从某个方向观看该截面时的投影视图(例如,Z方向上的预定范围的信息被投影在平行于Z方向的部分上的视图)。此外,可以基于三维图像生成三维模型,且从任意方向观看三维模型时的视图可以被着色并显示。一个这样的例子是,通过体绘制或表面绘制显示的三维模型可以被着色并显示。

根据上述配置,通过将基于由OCT获得的三维图像指定的受检眼E的局部结构与眼睛E前部的显色相关联,可以对局部结构进行着色。因此,本实施例可以用于使用颜色观察前段的多种目的,例如,评估受影响区域的颜色和形状、血管的分布等,以便进行鉴别诊断,掌握病情,并进行随访观察。有很多种疾病,包括伴有结膜充血的过敏性结膜疾病、伴有角膜混浊和基因异常的感染性角膜炎相关的角膜营养不良、由干眼等引起的角膜上皮疾病、结膜组织的一部分延伸到带有血管的角膜的翼状胬肉、在虹膜、结膜和眼睑中形成的肿瘤、可从瞳孔观察到的视网膜母细胞瘤、以及在虹膜中出现新血管的血管性青光眼新生血管。

彩色眼前段还便于角膜移植或羊膜移植后的观察、青光眼过滤气泡手术后过滤气泡的功能评估、管分流植入手术的随访观察等。此外,如果如本实施例中那样进行着色,则正确掌握病理状况并且不忽略轻微变化的概率将增加。进一步的,对于每种疾病,可以提供临床评价标准,例如充血程度、受影响区域的颜色和病变的扩散,以作为分类、严重性和恶性程度的指标。然而,在本实施例中,颜色的再现性由校准数据来保证。因此,可以正确地进行严重性/恶性肿瘤的分类和确定,并且可以减少误诊或疏忽的可能性。

进一步的,作为用于严重性/恶性肿瘤分类和测定的检测方法,通常使用将待检查的眼睛E的前段的彩色图像与为每种严重性准备的代表性案例样本的彩色图像、带有注释的模式等进行视觉比较的方法,以判断严重性/恶性程度的分类和测定所属的等级。即使在这种情况下,由于在本实施例中确保了颜色再现性,所以基于各种颜色成分的定量评估是可能的,因此更客观和稳定的评估也是可能的。

此外,近年来,在使用3D打印机生产人造眼睛时,已经开始尝试使用实际眼睛的裂隙灯显微镜彩色图像。为了使印刷在人工眼睛上的虹膜和结膜血管的颜色和纹理与实际眼睛的颜色和纹理相匹配,优选确保彩色图像的颜色再现性。此外,彩色图像可以只捕捉眼睛表面的信息。然而,通过与包括病变深度方向的三维图像或被称为通过OCT的三维非侵入性血管造影技术的光学相干层析血管造影图像相结合,彩色图像可以捕获内部组织的浸润程度、三维形态、血管侵入组织内受影响部位的特征等,从而进行更准确的诊断。

(3)校准数据生成过程:

接下来,将详细描述生成用于确保用彩色相机捕获的二维图像的颜色再现性的校准数据的过程。图5A是校准数据生成过程的流程图。在本实施例中,校准数据生成过程在OCT装置1装运之前进行。当校准数据生成过程开始时,在第一条件下打开白色光源205,205(步骤S100)。也就是说,校准数据生成的操作者经由输入单元(未示出)将发光条件设置为第一条件,并给出打开白光源205,205的指令。因此,控制单元240使得白光源205,205在设定的第一条件下打开。第一条件与当受检眼E被照亮以用彩色相机捕获二维图像数据245a时的条件相同,并且在本实施例中,第一条件是从白色光源205,205输出的在5500K色彩温度下具有预定亮度(发光强度、亮度、照度等)的白光。

接下来,拍摄白平衡调整的目标(步骤S105)。具体地说,操作者在拍摄时将白平衡调节的目标设置在要安排受检眼E的位置。白平衡调整的目标是预先准备的消色差颜色样本,并且在本实施例中是接近白色的浅灰色的颜色样本。操作者通过设置白平衡调整目标的输入单元(未示出)给出拍摄指令。因此,控制单元240利用二维图像获取单元240a的功能,控制扫描对准光学系统200的区域传感器208获取用于白平衡调整目标的图像。

接下来,控制单元240调整彩色相机的白平衡(步骤S110)。也就是说,控制单元240将表示在步骤S105中捕获的用于白平衡调整的目标的颜色的灰度值调整为预定的灰度值。可以使用多种技术作为白平衡调整方法。例如,可以在检测到每个RGB的光强之后调整模拟数字转换的增益,并且可以调整用于检测每个RGB颜色的光电转换元件的输出值的原始数据。在任何情况下,作为白平衡调整目标的颜色的RGB的灰度值是预定的,并且控制单元240调整增益、调整从原始数据到RGB灰度值转换的转换公式等,从而进行白平衡调整。当以这种方式进行白平衡调整时,保持白平衡的设置,直到稍后再次进行白平衡调整。

接下来,拍摄颜色表(步骤S115)。即,操作者在拍摄时在受检眼E安排的位置处设置颜色表(color chart)。颜色表是具有多个色块的颜色样本,并且具有预定的彩色色块和非彩色色块,以便覆盖整个颜色空间上的颜色。操作者通过设置有颜色表的输入单元(未示出)给出拍摄指令。

因此,控制单元240使用二维图像获取单元240a的功能来控制扫描对准光学系统200的区域传感器208,以获取彩色表图像。由于颜色表包括多个色块(例如,24个),所以为每个色块获取了表图像。

在本实施例中,假设在室内照明条件下拍摄颜色表和受检眼E。在这种情况下,室内照明的影响形成了图像的背景。室内照明通常因拍摄环境而异。因此,如果在包括背景的状态下进行处理,颜色的再现性可能恶化。因此,在本实施例中,进行了去除背景的过程。

具体地,控制单元240使用二维图像获取单元240a的功能关闭白色光源205,205(步骤S120)。此时,室内照明保持打开。接下来,拍摄背景(步骤S125)。具体地,控制单元240利用二维图像获取单元240a的功能,控制扫描对准光学系统200的区域传感器208以拍摄在步骤S115中设置的颜色表,并获取结果图像作为背景图像。需要注意的是,当捕获背景图像时,不进行曝光调整,并且要在与步骤S115相同的曝光条件下进行捕获。

接下来,控制单元240从表图像中去除背景图像,以获取校正后的表图像(步骤S130)。也就是说,控制单元240从在步骤S115中获取的表图像的每个灰度值中去除在步骤S125中获取的背景图像的每个灰度值,以获取校正后作为表图像的结果图像。根据上述配置,可以从表图像中去除室内照明的影响。

接下来,控制单元240获取用于转换颜色空间的多项式的系数(步骤S135)。也就是说,在本实施例中,用彩色相机捕获的图像的灰度值指示在设备相关颜色空间中表达的颜色。因此,当使用表图像的灰度值进行显示器230上的输出时,不能确保色块的颜色与实际颜色匹配。因此,在本实施例中,假设通过使用三次多项式将表图像中的色块的灰度值转换成参考颜色空间(sRGB)中的灰度值。

为了能够通过使用这样的三次多项式进行转换,控制单元240基于表图像获得的每个色块的RGB灰度值和已知为每个色块的颜色的sRGB灰度值来获取三次多项式的系数。具体地,三次多项式由以下公式(1)至(3)表示。

[数学公式1]

<IMGSRC="TO19004JPformula-1.bmp">

公式(1)是用二维图像数据245a的RGB灰度值计算sRGB颜色空间中的R灰度值的转换公式,而公式(2)是用二维图像数据245a的RGB灰度值计算sRGB颜色空间中的G灰度值的转换公式。公式(3)是用二维图像数据245a的RGB灰度值计算sRGB颜色空间中的B灰度值的转换公式。此外,每个公式中的符号n表示色块的数量。因此,如果有24个色块,则n是1到24的整数值。

根据上述指示,在每个公式中,(Rn,Gn,Bn)表示通过用彩色相机拍摄第n个色块获得的灰度值。在每个公式中,每个灰度值包括0阶到3阶项,且存在与每个项相乘的系数α0到α9。在本实施例中,这些系数对于R、G和B分别是不同的。因此,符号r、g和b被附加到公式(1)至(3)中的每一个,以便在每个公式中区分彼此的系数。

当有N个色块时,公式(1)至(3)中的每一个都将获得N个公式。例如,如果第一色块的sRGB灰度值的R分量是Rs1,且用彩色相机捕获的灰度值是(R1、G1、B1),则左侧是Rs1,且(R1、G1、B1)被替换到右侧。得到了系数αr0至αr9为未知的一个公式。如果对N个色块进行这种替换,则得到N个公式。因此,控制单元240通过最小二乘法等指定N个公式中的系数αr0至αr9。类似地,如果还为公式(2)和公式(3)确定系数,则获得了将通过用彩色相机拍摄获得的任意灰度值转换成sRGB灰度值的公式(1)至(3)。当以上述方式获得多项式系数时,控制单元240保存校准数据(步骤S140)。具体地,控制单元240使得在步骤S135中获取的系数值被记录为存储介质245c中的校准数据245。

(4)拍摄过程:

接下来,将描述二维图像和三维图像的拍摄过程。在受检眼E被安排在检查窗口的前面并且受检眼E存在于彩色相机的视野中并且处在能够被OCT干涉系统100拍摄到的位置处的状态下,根据来自检查者的指令执行拍摄过程。当拍摄过程开始时,在第二条件下打开白色光源205,205(步骤S200)。即,检查者经由输入单元(未示出)将发光条件设置为第二条件,并给出打开白色光源205,205的指令。因此,控制单元240使得白光源205,205在设定的第二条件下打开。

第二条件是由扫描对准光学系统200进行对准以及用彩色相机捕获的二维图像的实时显示时的发光条件,且是预设的。在本实施例中,色温不受限制,但是优选接近作为二维图像的照明条件的第一条件下的色温,以便使实时显示的图像的颜色与实时显示之后捕获的二维图像的颜色一致。然而,优选白光源205,205的明亮度(发光强度、亮度、照度等)小于第一条件下的值。

即,在步骤S200和随后的步骤中,在一段时间内进行照明,以进行诸如对准或OCT之类的相对耗时的过程。因此,优选亮度(发光强度、亮度、照度等)比第一条件中的小,且也不过度黑暗,以便抑制眨眼的增加、受检眼E的不稳定运动和瞳孔的过度收缩。另外,在第一条件中的照明状态下捕获的二维图像总是处于固定状态,因为必须确保颜色的再现性,并且照明必须在与准备校准数据245c时相同的条件下进行。然而,没有必要严格获得实时显示等的颜色可再现性。因此,在第二条件下,白光的明亮度(发光强度、亮度、照度等)可能小于第一条件下的白光。例如,JIS Z9110为促进形成舒适的工作环境,规定适合会议场所或办公室的照度约为200至2000lx。另外,根据“不同照度引起的眼睑裂隙高度和瞳孔大小的变化”(日本临床眼科杂志50(4):769-722,1999)的记载,当照度为200lx至2000lx时,瞳孔直径随着照度的增加而稳定地减小,但当照度超过2000lx时,瞳孔直径随着照度的增加而产生不稳定的变化。因此,优选第二条件下白光的照度为200lx至2000lx,且在第一条件下的照度大于从该范围中选择的第二条件下的照度。当然,第一条件和第二条件可以是相同的,只要不需要考虑眨眼增加的影响。

接下来,控制单元240开始OCT和彩色图像的实时显示(步骤S205)。即,控制单元240利用二维图像获取单元240a的功能,控制用作彩色相机的前段拍摄系统(区域传感器208等),以获取受检眼E的二维图像。此时,控制单元240可以允许指示捕获的二维图像的二维图像数据245a被记录在存储介质245中或者存储在随机存取存储器(未示出)中。当获取二维图像时,控制单元240使用显示控制单元240d的功能来控制显示器230以显示二维图像。实时显示的模式不受限制,但是可以采用诸如图4所示的二维图像Ie的显示模式。

此外,控制单元240使用三维图像获取单元240b的功能来控制OCT干涉系统100、扫描对准光学系统200(例如检流计扫描仪202)和k-clock发生干涉光学系统400,以获取测量干涉信号。控制单元240对测量干涉信号进行诸如傅里叶逆变换的过程,并且获取沿着扫描线的前段Ec的层析图像。控制单元240将检流计扫描仪202的扫描方向限制为获得显示目标的层析图像的截面,并且获取显示目标的该截面的层析图像。

此时,控制单元240可以允许将捕获的层析图像数据记录在存储介质245中或者存储在随机存取存储器(未示出)中。当获取三维图像时,控制单元240使用显示控制单元240d的功能来控制显示器230显示三维图像。实时显示的模式不受限制,但是例如,可以采取图4中诸如层析图像Iov、Ioh、和Ior的显示模式。在对准完成之前的阶段,开始执行步骤S205中的实时显示。因此,在初始阶段,受检眼E的角膜的中心部分可能不在实时显示图像的中心。

接下来,控制单元240进行对准(步骤S210)。即,控制单元240控制XY位置检测光源216输出用于检测X-Y方向上的位置的对准光。对准光在角膜表面上反射,以便在受检眼E的角膜顶点内形成亮点图像,且反射光由二维位置传感器218检测。控制单元240基于二维位置传感器218的输出信号指定亮点的位置,即角膜顶点的位置(在X和Y方向上的位置)。此外,控制单元240获得在X和Y方向上的位置偏离量,其是将指示角膜顶点的亮点与成像元件的预定位置相匹配所必需的。然后,控制单元240在与位置偏差相反的方向上移动装置主体,使得位置偏差量变为零。

此外,控制单元240控制Z位置检测光源219,以使受检眼E被从倾斜方向照射的检测光(狭缝光或点光)照射。因此,在角膜上反射的反射光经由成像透镜220入射到线传感器221上。控制单元240基于线传感器221的输出信号检测受检眼E的Z方向位置。进一步的,控制单元240获得在Z方向上的位置偏离量,其是将来自角膜的反射光与线传感器221的预定位置相匹配所必需的。然后,控制单元240在与位置偏离相反的方向上移动装置主体,使得位置偏离量变为零。

由于如上所述在XYZ方向上的移动是针对每个预定移动距离进行的,所以对准过程通常需要通过重复对准来完成。因此,由控制单元240确定对准是否完成(步骤S215)。也就是说,当偏离量变为0(或者偏离量的绝对值等于或小于阈值)时,控制单元240确定对准已经完成。当在步骤S215中没有确定对准已经完成时,控制单元240重复步骤S210和后续步骤中的过程。

当在步骤S215中确定对准已经完成时,控制单元240进行眼睛跟踪(步骤S220)。眼睛跟踪是根据受检眼的位置位移来改变三维图像的捕获位置的操作。具体地,通过二维位置传感器218或区域传感器208检测受检眼的特征点(例如,亮点或具有预定特征的部位),以指定对准后受检眼的位置变化。然后,控制单元240进行反馈控制,用于校正检流计扫描器202的扫描位置,使得位置改变被消除。因此,可以获得与对准完成后受检眼的位置没有变化时的三维图像等效的三维图像。

接下来,控制单元240使用三维图像获取单元240b的功能获取三维图像(步骤S225)。即,控制单元240使用三维图像获取单元240b的功能来控制OCT干涉系统100、扫描对准光学系统200(例如检流计扫描仪202)和k-clock发生干涉光学系统400,以获取测量干涉信号。控制单元240对测量干涉信号进行诸如傅立叶逆变换的处理,并且获取沿着扫描线的前段Ec的层析图像。

控制单元240改变检流计扫描仪202的扫描方向,以获取覆盖受检眼E的整个前段的多个截面的层析图像。然后,控制单元240基于获得的多个层析图像生成三维图像,并将指示获得的三维图像的三维图像数据245记录在存储介质245中。当获取三维图像时,控制单元240结束眼睛跟踪过程(步骤S230)。

接下来,在第一条件下打开白色光源205,205(步骤S235)。即,检查者经由输入单元(未示出)将发光条件设置为第一条件,并给出打开白色光源205,205的指令。因此,控制单元240在设定的第一条件(5500K的色温和预定的亮度(发光强度、亮度、照度等))下打开白色光源205,205。

接下来,控制单元240使用二维图像获取单元240a的功能捕获待受检眼E的图像(步骤S240)。即,控制单元240利用二维图像获取单元240a的功能,控制用作彩色相机的前段拍摄系统(区域传感器208等),以获取受检眼E的图像。

接下来,控制单元240进行用于去除背景的过程。具体地,控制单元240使用二维图像获取单元240a的功能关闭白色光源205,205(步骤S245)。此时,室内照明保持在开启状态。接下来,拍摄背景(步骤S250)。具体而言,控制单元240利用二维图像获取单元240a的功能,控制扫描对准光学系统200的区域传感器208拍摄受检眼E,并获取所得图像作为背景图像。需要注意的是,当捕获背景图像时,不进行曝光调整,并且在与步骤S240相同的曝光条件下进行捕获。

接下来,控制单元240使用二维图像获取单元240a的功能,从受检眼E的图像中去除背景图像以获取二维图像(步骤S255)。即,控制单元240从在步骤S240中获取的受检眼E的图像的每个灰度值中去除在步骤S250中获取的背景图像的每个灰度值,以获取校正后作为二维图像的结果图像。然后,控制单元240将指示二维图像的二维图像数据245a记录在存储介质245中。根据上述配置,可以从受检眼E的二维图像中去除室内照明的影响。

接下来,控制单元240使用二维图像获取单元240a的功能来进行颜色校准(步骤S260)。即,控制单元240参考记录在存储介质245中的校准数据245c,并校正由二维图像数据245a指示的各个二维坐标的灰度值。例如,当特定坐标(u,v)处的灰度值是(Ri,Gi,Bi)时,校正的灰度值(Ro,Go,Bo)的红色分量Ro是通过将(Ri,Gi,Bi)代入公式(1)而获得的值。进一步的,校正后的绿色分量Go是通过将(Ri,Gi,Bi)代入公式(2)获得的值,并且校正后的蓝色分量Bo是通过将(Ri,Gi,Bi)代入公式(3)获得的值。当对二维图像的所有像素进行校正时,在校正后控制单元240用指示二维图像的二维图像数据245a更新存储介质245。根据上述过程,可以生成二维图像数据245a,其中在不依赖输出设备的情况下描述颜色,并且确保颜色再现性。

(4-1)对应关系定义数据生成过程:

接下来,控制单元240使用对应关系定义数据生成单元240c的功能来进行对应关系定义数据生成过程(步骤S265)。图5B示出了对应关系定义数据生成过程的流程图。在对应关系定义数据生成过程中,控制单元240在第一条件下打开白色光源(步骤S300)。即,控制单元240在与用彩色相机拍摄二维图像时相同的条件下打开白色光源205,205。

接下来,拍摄校准结构(步骤S305)。对应关系定义数据是定义三维图像的三维坐标和二维图像的二维坐标之间的对应关系的数据。因此,在本实施例中,采用通过用彩色相机实际拍摄校准结构来定义对应关系这样的配置。

校准结构是用于阐明三维图像的三维坐标和二维图像的二维坐标之间的对应关系的三维结构,例如,如图5C所示的结构。图5C中所示的结构具有通过倾斜切割具有变形空腔的长方体而获得的形状,并且还具有内部空腔被多个壁表面分隔开的形状。该结构被布置在设置在装置主体前表面的检查窗口的前面,使得内腔包括在彩色相机的视野内。因此,图2所示的Z方向是图5C中从顶部到底部的方向。

校准结构被配置为具有这样的形状,使得当从这样的方向观看时,校准结构的特定位置在图像中是明显的。例如,在图5C所示的结构中,当该结构被拍摄为三维图像或二维图像时,在各自壁表面交叉点的位置(P1、P2、P3等)可以容易地在图像中被指定。这里,这些点被称为参考点。

在本实施例中,利用设置在装置主体中的校准结构捕获二维图像和三维图像。即,控制单元240利用二维图像获取单元240a的功能,控制用作彩色相机的前段拍摄系统(区域传感器208等),以获取校准结构的二维图像。此外,控制单元240利用三维图像获取单元240b的功能,控制OCT干涉系统100、扫描对准光学系统200(例如检流计扫描仪202)和k时钟产生干涉光学系统400,以获取校准结构的三维图像。

接下来,控制单元240指定参考点(步骤S310)。即,控制单元240基于在步骤S305中捕获的二维图像指定参考点,并且指定参考点的二维坐标。进一步的,控制单元240基于在步骤S305中捕获的三维图像指定参考点,并且指定参考点的三维坐标。需要注意的是,参考点可以通过多种技术来指定。每个参考点可以通过检查者的输入来指定,或者基于分别从二维图像和三维图像获取的指示参考点的特征的特征量来指定。在任何情况下,对于多个参考点中的每一个,相同参考点的二维图像和三维图像彼此相关联。

因此,在拍摄多个参考点的位置,三维图像的三维坐标与二维图像的二维坐标建立对应关系。因此,在本实施例中,从这些对应关系中定义了大量坐标的对应关系。为此,控制单元240获取内部参数和外部参数(步骤S315)。具体地,当彩色相机用于拍摄在视野中的对象从而获得图像时,对象的坐标和图像的坐标之间的关系可以基于已知的关系式(4)来描述。

[数学公式2]

<IMG SRC="TO19004JPformula-2.bmp">

这里,三维坐标(X,Y,Z)是描述三维图像数据245b中的三维位置的坐标,二维坐标(u,v)是描述二维图像数据245a中的二维位置的坐标。在公式(4)中,包括三维坐标(X,Y,Z)的列向量(X,Y,Z,1)乘以两种类型的矩阵。3行3列的矩阵表示彩色摄像机的内部参数;(cx,cy)表示主点(在本实施例中,二维图像的中心);fxfy分别是以像素为单位表示的焦距。另一方面,公式(4)中的3行4列的矩阵表示外部参数,并且表示旋转(r11至r33)和平移(t1至t3),用于将从相机中观察到的三维坐标转换成描述OCT结果的三维坐标。

内部参数是指示彩色相机的光学系统的特性的参数,并且基于彩色相机的光学系统,即前段拍摄系统来确定。在本实施例中,内部参数245e预先记录在存储介质245中(内部参数245e)。外部参数是用于将彩色相机外部的世界坐标系与从彩色相机观察的三维坐标系相关联的参数,并且基于待检查的眼睛E和彩色相机之间的关系来确定。在本实施例中,外部参数是基于彩色相机的光学系统和作为对象的受检眼E被安排的空间之间的关系而预先指定的,使得世界坐标系与通过OCT获得的三维图像中使用的三维坐标系相匹配。在本实施例中,外部参数也预先确定并记录在存储介质245中(外部参数245f)。

根据如上所述的内部参数245e和外部参数245f,通过OCT拍摄的指示受检眼E的每个部位的位置的三维坐标可以与用彩色相机捕获的二维图像上指示受检眼E的位置的二维坐标建立对应关系。然而,由于彩色相机的透镜(物镜204和成像透镜207)具有各种失真问题,所以在本实施例中对公式(4)进行了变形,使得由外部参数245f获得的结果可以包括失真的影响。

具体地,通过外部参数245f转换三维坐标(X,Y,Z)的公式表示为以下公式(5)。

[数学公式3]

<IMG SRC="TO19004JPformula-3.bmp">

在公式中,R表示外部参数245f的旋转(r11至r33)的矩阵,t表示外部参数245f的平移(t1至t3)向量。

然后,将包含失真影响的公式表示为以下公式(6)至(12)。

[数学公式4]

<IMG SRC="TO19004JPformula-4.bmp">

即,当由公式(5)获得的坐标(x,y,z)被代入公式(6)和(7)时,获得坐标(x’,y’)。当获得的坐标(x’,y’)被代入公式(8)和(9),并利用公式(10)时,获得坐标(x″,y″)。然后,将获得的坐标(x″,y″)代入公式(11)和(12),并基于内部参数245e进行计算,获得二维坐标(u,v)。

三维坐标(X,Y,Z)可以按照上述方式转换成二维坐标(u,v)。因此,当指定公式(6)至(12)中的未知系数的失真系数k1、k2、p1和p2时,定义了三维图像的三维坐标和二维图像的二维坐标之间的对应关系。因此,控制单元240基于在步骤S310中指定的多个参考点的二维图像和三维图像之间的对应关系来获取失真系数k1、k2、p1和p2(步骤S320)。例如,控制单元240使用相对于参考点的对应关系从公式(6)至(12)指定用于求解失真系数k1、k2、p1和p2的等式,以指定失真系数。当然,通过利用相对于大量参考点的对应关系,可以计算出接近失真系数k1、k2、p1和p2的真实值的解。

在任何情况下,当获取失真系数时,控制单元240将包括失真系数值的公式(6)至(12)的信息作为对应关系定义数据245d记录在存储介质245中。另外,在本实施例中,待着色的位置(预定位置)是预定的。因此,控制单元240为诸如虹膜、除虹膜和角膜之外的前段表面、眼睑等预定位置生成对应关系定义数据245d。

如上所述,失真系数和公式(6)至(12)可用于定义受检眼E的三维图像的三维坐标及其二维图像的二维坐标之间的对应关系。然而,在这种对应关系中,用作晶状体的受检眼E的角膜并不在考虑范围内。因此,如果不考虑角膜的折射,则受检眼E的三维图像的三维坐标可以与二维图像的二维坐标建立对应关系。

在本实施例中,考虑到角膜的折射,该对应关系被定义为更忠实于受检眼E的实际外观。具体地,对于存在于角膜背面的虹膜,将光线追踪考虑进来以定义对应关系。为此,控制单元240获取用于光线追踪的目标区域(步骤S325)。在本实施例中,受角膜折射影响且不透明的部位即为虹膜,其是光线追踪的目标区域。因此,控制单元240从二维图像数据245a和三维图像数据245b中提取捕获虹膜图像的一部分,并将其设置为用于光线追踪的目标区域。需要注意的是,可以使用多种技术作为提取虹膜图像的技术,例如,控制单元240可以接受检查者的范围指定,或者通过分别从三维图像和二维图像提取指示虹膜特征的特征量来指定目标区域。

当获取目标区域时,控制单元240基于光线追踪获取目标区域的三维坐标和二维坐标之间的对应关系(步骤S330)。也就是说,控制单元240对包括在目标区域中并且不透明的虹膜的任意部分执行光线跟踪。

图7是光线追踪的示例图。在图7中,示出了受检眼E的角膜C及其周边的结构,以穿过角膜中心并平行于Z和Y方向的平面作为截面。需要注意的是,在图7中,通过角膜顶点并且平行于Z方向的光轴AL由点划线表示,且虚拟光线通过双点划线表示。

控制单元240可以通过三维图像数据245b在如图7所示的截面上指定受检眼E的结构。控制单元240基于由三维图像数据245b指定的角膜形状来确定截面上的焦点位置Pf和主点位置Pp。

焦点位置Pf可以被定义为例如通过指定光轴AL和对三维坐标(X1,Y1,Z1)执行光线跟踪时假想的光线之间的交点,该光线从三维坐标(X1,Y1,Z1)延伸到平行于光轴的方向(Z方向),且当到达角膜时,被角膜的屈光力折射,且与光轴AL相交。角膜处的折射可被视为以预定的折射率发生一次。或者,角膜处的折射可以被认为在角膜的后表面和前表面上分别发生一次,各个表面上的折射率是不同的预定值。

主点位置Pp可以被定义为例如光轴AL和角膜前表面(角膜顶点)之间的交点。即,可以认为角膜的主点位置几乎等于角膜前表面(例如,讲座《眼睛光学基础》(日本视觉学会),杂志《视觉》,第1卷第1期(1989年1月))。因此,主点位置Pp可以被定义为例如由三维图像数据245b指示的角膜C的前表面和光轴AL之间指定的交点。

当然,获取焦点位置Pf和主点位置Pp的方法仅为示例,这些点也可以通过其他方法来获取。例如,主点位置Pp可以根据基于光线跟踪指定的主点位置Pp的一般公式来计算。具体而言,可以通过使用以下参数来获取主点位置Pp。角膜前表面曲率半径=r1,角膜后表面曲率半径=r2,空气折射率=n1,角膜基质折射率=n2,前房(anterior chamber)水折射率=n3,角膜中心厚度=d,角膜前表面折射率=D1,角膜后表面折射率=D2,角膜总折射率=Dt

附带的,角膜前表面的曲率半径r1和角膜后表面的曲率半径r2可以通过控制单元240分别指定前表面和后表面来获取,其中控制单元240基于特征量等、基于三维图像数据245b,以及基于各自表面上的至少三个点计算曲率中心并计算到各自表面的距离。角膜中心的厚度d可以例如通过控制单元240指定在光轴AL上角膜前表面和角膜后表面之间的距离来获取。对于空气的折射率n、角膜基质的折射率n2和前房水的折射率n3,可以使用已知的值(例如,分别为1.0、1.376和1.336)。

角膜前表面的折射率D1是D1=(n2-n1)/r1

角膜后表面的折射率D2是D2=(n3-n2)/r2

角膜的总折射率Dt为Dt=D1+D2-(d/N2)D1D2

从角膜前表面到图像侧主点位置的距离为e'+d,如下所示。

e'+d=-d·n3·D1/(N2Dt)+d

基于如此计算的图像侧主点位置,控制单元240可以将角膜前表面和光轴AL之间的交点到图像侧的距离e’+d的位置视为主点位置Pp。

当焦点Pf和主点位置Pp被确定时,通过将光线Lf延伸到受检眼E的后侧而获得的线和线Lp的交点的坐标(Xv,Yv,Zv)可以被定义为虚拟图像的位置。这里,光线Lf是从三维坐标(X1,Y1,Z1)平行于Z方向行进并朝向焦点Pf之后由角膜折射得到的光。线Lp是连接主点位置Pp和三维坐标(X1,Y1,Z1)的线。在图7中,虹膜和晶状体的虚拟图像由虚线示意性示出。

当控制单元240通过上述过程获得表示虚拟图像位置的坐标(Xv,Yv,Zv)时,可以指定当三维坐标(X1,Y1,Z1)的一部分被拍摄为二维图像时的二维坐标(u1,v1)。具体而言,在二维坐标(u1,v1)处,捕捉出现在坐标(Xv,Yv,Zv)处的虚拟图像。因此,控制单元240通过基于对应关系定义数据245d的公式(6)至(12)获取对应于三维坐标(Xv,Yv,Zv)的二维坐标(u1,v1)。然后,控制单元240将三维坐标(X1,Y1,Z1)与二维坐标(u1,v1)建立对应关系。

控制单元240对虹膜的多个部分进行上述过程,以将虹膜多个部位的三维坐标(X,Y,Z)与二维坐标(u,v)建立对应关系。然后,控制单元240将该信息作为对应关系定义数据245d与指示目标区域的信息一起记录在存储介质245中。对应关系定义数据245d与二维图像数据245a和三维图像数据245b相关联地被记录,二维图像数据245a和三维图像数据245b是关于受检眼E的图像的数据。根据上述过程,可以对对应关系定义数据245d进行定义,同时还考虑到了角膜中折射的影响。

当对应关系定义数据245d以如上所述的方式被记录在存储介质245中时,控制单元240返回到图6所示的拍摄过程,并继续该过程。即,控制单元240使用显示控制单元240d的功能,用二维图像对三维图像进行着色,并基于二维图像共同显示三维图像(步骤S275)。即,控制单元240基于记录在存储介质245中的三维图像数据245b生成作为显示目标的截面(例如,由检查者指定的截面)的层析图像。

然后,控制单元240确定层析图像是否包含由对应关系定义数据245d定义的三维坐标。当包含由对应关系定义数据245定义的三维坐标时,控制单元240基于对应关系定义数据245d指定对应的二维坐标,并将二维图像中的灰度值视为对应于三维坐标的颜色。然后,控制单元240控制显示器230以显示层析图像,同时基于对应的二维坐标的灰度值对颜色指定的三维坐标进行着色。

进一步的,控制单元240获取二维图像数据245a,并控制显示器230以显示二维图像。由于上述原因,例如,图4所示的二维图像Ie和层析图像Iov、Ioh和Ior得到了显示。不仅二维图像Ie被彩色显示,而且各个层析图像Iov、Ioh和Ior的预定位置也被彩色显示。

(5)其他实施方式

上述实施方式是用于实现本发明的一个示例,并且也可以采用多种其他实施方式实现本发明。因此,可以省略或替换上述实施例的至少一部分配置,或者可以省略或替换至少一部分过程,或者可以改变其顺序。例如,在对应关系定义数据中,步骤S300至S320可以预先进行,例如,在装运之前。在这种情况下,在拍摄受检眼E之后,进行步骤S300、S325和S330。然后,完成对应关系定义数据245d的生成过程。进一步的,校准数据生成过程可以在OCT装置1装运之后的任何时刻进行。进一步的,校准结构不限于图5C所示的结构。也就是说,校准结构可以是具有多个参考点如交点的结构。因此,例如,它可以具有通过切割具有相对于轴线倾斜的内壁的圆柱体而获得的形状,或者可以具有另一种三维结构。

此外,在实时显示时打开的光源不必是白色光源。例如,可以使用输出红外光的光源或输出绿光的光源。具体地,如果房间照明对于实时显示来说足够亮,或者如果注视目标的亮度对于待检查的眼睛的注视来说足够亮,则可以使用红外光代替白色光源进行照明,以获取实时图像。由于红外光减少了眩光,被检查的眼睛变得更加稳定。此外,在红外光照明下捕获的二维图像中,虹膜的纹理绘制得比在白光照明下捕获的二维图像中更清晰。因此,它可以更容易地用作眼睛跟踪的特征点。进一步的,在红外光照明下捕获的二维图像中,瞳孔和虹膜之间的对比度变得比在白光照明下捕获的二维图像中更清晰。因此,瞳孔等的重心位置也可以用作跟踪的特征点。此外,在红外光照明下捕获的二维图像中,虹膜以及瞳孔和虹膜之间的对比度可以比在白光照明下捕获的二维图像中表达得更清楚。

此外,在绿光照明下捕获的二维图像中,血管比在白光照明下捕获的二维图像中更为明显。因此,血管结构的特征点可以容易地用作眼睛跟踪的特征点。进一步的,在提供白色光源和另一种颜色的光源的构造中,每个光源可以交替开启。在用任意颜色的光照明下捕获的实时显示的二维图像也可以用于除实时显示之外的目的。在这种情况下,实况显示的二维图像也存储在存储介质245中。

二维图像获取单元只需要能够通过用彩色相机拍摄受检眼E的前表面来捕获二维图像。也就是说,彩色相机只需要能够拍摄与作为OCT目标的受检眼E相同的受检眼E的前表面,并且将其图像作为彩色图像输出。该受检眼E的前表面(front surface)是受检眼E的前面(front face),且拍摄受检眼E的前表面的构造示例包括与受检眼E的视线方向匹配的眼轴和彩色相机的光轴匹配的配置。当然,由于受检眼E在注视等过程中由于不自觉的眼睛运动而轻微移动,所以不严格要求眼轴与光轴匹配。在注视状态下受检眼E的眼轴方向和彩色相机的光轴基本上彼此匹配就足够了,从而可以拍摄受检眼E的前段。进一步的,由于彩色相机只需要获取二维图像,所以彩色相机只需要配备能够二维拍摄从受检眼E反射的可见光的传感器(面积传感器、可扫描线传感器等))。当然,光学系统中形成彩色相机的光学元件的数量、形式、布置等不限于图2所示的构造。如果在彩色相机的视野中布置了除受检眼E之外的对象(颜色表等),则可以在与受检眼E相同的条件(照明条件等)下获取对象的二维图像。

三维图像获取单元只需要能够获取待通过OCT检查的眼睛E的三维图像即可。光学相干层析(OCT)是一种涉及将光源的光分支、将测量目标的反射光和参考光产生单元(反射镜等)组合,并测量干涉以获得关于测量目标深度方向(测量光行进方向)上的测量目标的信息的方法,并且可以采用多种方法。因此,OCT的方法不限于上述扫频源OCT(SS-OCT),并且可以是时域OCT(TD-OCT)或傅立叶域OCT的任何其他方法,例如,光谱域OCT(SD-OCT)。

此外,用于执行OCT的光学系统不限于上述实施例的配置,且光学元件的数量、形式、布置等不限于图1所示的构造。当然,当获取层析图像时,检流计扫描仪202中的输入光的扫描方向也可以是多种模式。

对应关系定义数据生成单元只需生成对应关系定义数据,其中当预定部位被拍摄为三维图像时,三维图像中受检眼E的预定部位的位置与当预定部位被拍摄为二维图像时其在二维图像中的位置建立对应关系。也就是说,对应关系定义数据仅用于定义在三维图像中与拍摄受检眼E的相同部位,以及在二维图像中拍摄该部位的位置。预定部位只要是三维图像的三维坐标与二维图像的二维图像相关联的部位即可,并且可以是受检眼的一部分或整个眼睛。由于二维图像由每个像素的灰度值定义,且颜色由灰度值定义,所以对应关系定义数据可以基于二维图像的颜色定义三维图像的颜色。对应关系定义数据只需要定义各个图像中的位置之间的对应关系,其可以以多种模式来定义。本发明不限于如上述实施例中三维图像的三维坐标与二维图像的二维坐标相关联的配置。

例如,通过OCT获得的三维图像通过叠加多个层析图像(二维图像)在三维空间中示出了受检眼E的结构,但是从此信息中生成的信息可以用于生成另一格式的数据,并且将该数据用作对应关系定义数据。更具体地,通过OCT获得的三维图像由多个三维坐标中的每一个单通道灰度值示出。因此,也可以生成表示基于三维坐标的受检眼E的结构表面(受检眼E的表面、虹膜等)的多边形,以定义二维图像中对应每个多边形的位置(二维坐标等),并将该数据用作对应关系定义数据。在这种情况下,每个多边形的颜色和纹理是基于二维图像指定的。这种数据可以以多种模式定义,但是优选采用通用格式(例如,STL(立体光刻)数据等)。

进一步的,在对应关系定义数据中将三维图像的三维坐标与二维图像的二维坐标相关联的技术不限于上述实施例中的模式。例如,在上述实施例中,定义了包括在预定部位中的任意三维坐标和二维坐标之间的对应关系。然而,可以定义包括在预定部位中的代表性点处的三维坐标和二维坐标之间的对应关系。在这种情况下,除了代表性点之外的任意坐标处的三维坐标和二维坐标之间的对应关系可以根据多个代表性点处的对应关系通过插值等来计算。

代表性的点可以通过多种技术来确定。例如,在二维图像中形成与受检眼E中的其他部位具有不同特征的部位的坐标可以表示代表性点。也就是说,代表性点可能是出现在受检眼E的表面上具有特征形状的血管的部位,其中该血管可以与其他区分血管开来,代表性点也可以是具有特征性的虹膜图案并能与其他血管区别开来的部位。

当代表性点是具有特定颜色的位置时,可以执行该过程以突出特定颜色。用于突出的过程可以是通过将其与其他颜色进行比较来突出特定颜色的强度的任何过程,和用于增加二维图像的特定颜色分量的强度的校正或者用于减少除特定颜色分量之外的颜色分量的校正,或者可以调整照明的颜色。例如,为了突出红色血管,可以增加R分量的强度,可以降低G和B分量中的至少一个的强度,或者可以在可被血管吸收的绿色照明下进行拍摄。此外,为了提取三维图像的代表性点,可以构建OCT血管造影图像,其是通过OCT的三维无创血管造影技术,并且可以提取诸如血管结构的特征点并将其用作代表性点。

另外,代表性点可以通过接受检查者的指示来指定,或者通过提取例如二维图像和三维图像中的特征形状或图案的特征量提取算法等自动指定。当指定代表性点时,可以对二维图像或三维图像进行图像处理。例如,可以基于三维图像添加深度方向上的信息(也可能是附加平均),并且可以基于通过在深度方向上的垂直表面上投影信息而获得的Enface图像来指定代表性点。

可以采用多种方法作为基于Enface图像指定代表性点并将三维坐标与二维坐标建立对应关系的方法。例如,如果使用单应变换,则Enface图像和二维图像可以彼此关联,并且三维坐标和二维坐标可以从该对应关系彼此关联。具体地,单应变换由以下公式(13)表示。

[数学公式5]

<IMG SRC="TO19004JPformula-5.bmp">

在公式中,h11、h12、h21和h22用于旋转,包括相对于坐标位置不变的固定放大率的放大/缩小,h13和h23用于平移。h31和h32具有梯形变换效果,其中缩放倍率根据坐标位置而变化,并且s是常数系数。根据上述公式(13),一个平面上的坐标(X,Y)可以投影到另一个平面上的坐标(x,y)上。包括在上述公式(13)中的诸如h11的参数可以通过指定多个代表性点的对应关系来确定。因此,可以通过由检查者的指定或特征量提取算法等提取参数计算所需的代表性点数来指定每个参数,并将代表性点代入公式(13)。因此,三维坐标和二维坐标可以相互关联。坐标(X,Y)和坐标(x,y)中的任一个可以是Enface图像的坐标或二维图像的坐标。

此外,代表性点可以通过机器学习等方法产生。在这种情况下,诸如输入二维图像或三维图像并输出代表性点坐标的神经网络机器学习模型是机器学习方法。当机器学习完成时,二维图像或三维图像可以被输入到机器学习模型以指定代表性点。

此外,机器学习可以用作定义三维坐标和二维坐标之间的对应关系的技术。这种配置可以通过定义机器学习模型来实现,该机器学习模型输入例如三维坐标和二维坐标,并且输出指示三维坐标和二维坐标之间对应关系的信息(例如,上述实施例中的转换公式的系数)。也就是说,当这种机器学习完成时,输入三维坐标和二维坐标以获得指示两个坐标之间的对应关系的信息,并且该信息可以被视为对应关系定义数据。

对应关系定义数据可以是多种种模式。例如,在上述实施例中,对于受检眼E的虹膜部分和除虹膜之外的部分,采用了不同的方法来关联三维坐标和二维坐标。也就是说,为了关联坐标,光线追踪被用于虹膜部分,而彩色照相机的内部和外部参数被用于除虹膜之外的部分。然而,本发明并不限于这种模式,例如,对于受检眼E的所有部分,坐标都可以通过光线追踪或使用彩色相机的内部和外部参数来关联。

至少,参考颜色空间可以是任何颜色空间,只要其在输出受检眼E的颜色时可以抑制由于设备引起的颜色变化即可。因此,如上所述,除了可以在不依赖于设备的情况下表示颜色的颜色空间(sRGB、CIEXYZ、CIELAB等)是参考空间的配置之外,可以根据使用对应关系定义数据的目的来选择参考颜色空间。例如,如果通过使用对应关系定义数据足以确保由特定输出设备表达的颜色是适当的颜色,则在输出设备上表达颜色的颜色空间可以用作参考颜色空间。输出设备可以包括多种设备,例如显示器、打印机(包括三维打印机)和投影仪。

彩色表不限于标准颜色表,只要其具有多个用于颜色校准的色块即可。例如,如果接近目标颜色(包括受检眼E)的色块的数量大于标准颜色表中的数量,则可以增加更准确地执行受检眼E的颜色校准的可能性。

只要白色光源产生与检查者感知的颜色相同的反射光,并照射受检眼E,就可以用彩色相机用该颜色拍摄受检眼E。因此,在上述实施例中,色温不限于5500K,且可以是多种色温。例如,可以选择允许接近环境状态再现的色温,在该环境中,受检眼E的对应关系定义数据被用于显示或打印。

校准数据只需要能够将二维图像中的灰度值转换成表达颜色的灰度值,从而作为参考颜色空间的颜色。因此,转换方法不只限于通过多项式的转换。例如,可以定义指示代表性点处灰度值对应关系的颜色转换表,并可以基于颜色转换表执行插值计算,从而转换灰度值。

在没有背景光的情况下或者背景光影响小的情况下,在关闭白色光源的时候通过移除捕获图像而实现背景移除的过程可以被省略。例如,如果在关闭眼科设备中包括的白色光源之外的光源(例如,房间中的照明器材)的情况下捕获二维图像,则可以省略背景去除过程。

进一步的,本发明不只限于这样的配置,其中当使用射线追踪时,射线追踪的结果以及内部参数245e和外部参数245f被用于将三维坐标与二维坐标建立对应关系。例如,可以追踪从受检眼E经由彩色相机的透镜(物镜204、成像透镜207)到区域传感器208的光线。

进一步的,可以对用二维图像指示的颜色着色的三维图像进行多种处理。例如,通过结合由OCT获得的眼睛前段的三维图像和由OCT血管造影术获得的三维图像而得到的三维图像可以用二维图像指示的颜色着色。

此外,彩色三维图像的显示模式不只限于上述实施例中的模式。例如,可以对从三维图像获得的任意方向上的层析图像进行着色和显示,或者可以对Enface图像(深度方向上的总和)进行着色。此外,虚拟三维模型(受检眼E的至少一部分以透视图表示的状态)可以被着色。需要注意的是,在三维图像的彩色显示中,可以不执行基于校准数据245c的颜色配置,并且可以通过使用由彩色相机捕获的二维图像中的灰度值来进行彩色显示。当然,可以例如通过检查者的选择在不进行着色的状态下显示三维图像(层析图像)。进一步的,使用对应关系定义数据的显示不只限于彩色显示。例如,当指示三维图像的任意位置时,可以基于对应关系定义数据来指定对应的二维图像的位置,并且可以在二维图像上显示该指定位置。另外,当指定二维图像的任意位置时,可以基于对应关系定义数据指定对应的三维图像的位置,并且可以在三维图像上显示该指定位置。

参考符号列表

1 光学相干层析装置

10 波长扫描光源

20 样本

100 光学相干层析(OCT)干涉系统

104 测量侧循环器

105 参考侧循环器

110 平衡探测器

120 偏振控制器

200 校准光学系统

201 准直透镜

202 检流计扫描仪

203 热镜

204 物镜

205 白色光源

206 分束器

207 成像透镜

208 区域传感器

210 固定目标光源

211 可移动变焦透镜

212 冷镜

213 热镜

214 中继透镜

215 分束器

216 XY位置检测光源

217 成像透镜

218 二维位置传感器

219 Z位置检测光源

220 成像透镜

221 线传感器

230 显示器

240 控制单元

240a 二维图像采集单元

240b 三维图像采集单元

240c 对应关系定义数据生成单元

240d 显示控制单元

245 存储介质

245a 二维图像数据

245b 三维图像数据

245c 校准数据

245d 对应关系定义数据

245e 内部参数

245f 外部参数

300 参考光学系统

301 参考单元

400 k-clock发生干涉光学系统

29页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于光电融合的血液参数和电生理参数的检测方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!