图像处理装置、图像处理方法和程序

文档序号:834554 发布日期:2021-03-30 浏览:18次 >En<

阅读说明:本技术 图像处理装置、图像处理方法和程序 (Image processing apparatus, image processing method, and program ) 是由 佐佐木翔也 长永兼一 梶田大树 今西宣晶 相磯贞和 于 2019-03-29 设计创作,主要内容包括:一种图像处理装置,具有:光谱图像获取部件,获取光谱图像,该光谱图像是基于通过对已注入有造影剂的被测体照射具有多个不同波长的光而生成的光声波的、使用与所述多个不同波长对应的光声信号生成的图像;造影剂信息获取部件,获取关于造影剂的信息;区域确定部件,基于关于造影剂的信息来确定光谱图像中的与造影剂对应的区域;以及显示控制部件,显示光谱图像,使得能够区分与造影剂对应的区域和除所述区域以外的区域。(An image processing apparatus has: a spectral image acquisition unit that acquires a spectral image that is an image generated using photoacoustic signals corresponding to a plurality of different wavelengths based on photoacoustic waves generated by irradiating a subject into which a contrast agent has been injected with light having the plurality of different wavelengths; a contrast agent information acquisition section that acquires information on a contrast agent; a region determining section that determines a region corresponding to the contrast agent in the spectral image based on the information on the contrast agent; and a display control section that displays the spectral image so that a region corresponding to the contrast agent and a region other than the region can be distinguished.)

图像处理装置、图像处理方法和程序

技术领域

本发明涉及针对通过光声成像生成的图像的图像处理。

背景技术

在血管和淋巴管等的检查中,已知使用造影剂的光声成像(也称为“光学超声成像”)。专利文献1公开了一种光声图像生成装置,该光声图像生成装置使用用于对淋巴结、淋巴管等进行造影的造影剂作为评价对象,并投射具有被该造影剂吸收而生成光声波的波长的光。

引文列表

专利文献

专利文献1:国际公开号WO 2017/002337

发明内容

技术问题

然而,在专利文献1所公开的光声成像中,存在难以查明被测体中的造影对象的结构(例如,在血管、淋巴管等中行进)的情况。

因此,本发明的目的是提供一种通过光声成像生成容易查明造影对象的结构的图像的图像处理装置。

问题的解决方案

根据本发明的一个方面的图像处理装置包括:光谱图像获取部件,获取光谱图像,该光谱图像是基于通过对已注入有造影剂的被测体照射具有多个不同波长的光而生成的光声波的、使用与所述多个不同波长对应的光声信号生成的图像;造影剂信息获取部件,获取关于造影剂的信息;区域确定部件,基于关于造影剂的信息来确定光谱图像中的与造影剂对应的区域;以及显示控制部件,显示光谱图像,使得能够区分与造影剂对应的区域和除与造影剂对应的区域以外的区域。

发明的有益效果

根据本发明,可以提供一种通过光声成像生成容易查明造影对象的结构的图像的图像处理装置。

附图说明

图1是根据本发明的实施例的系统的框图。

图2是图示根据本发明的实施例的图像处理装置及其外围组件的具体示例的框图。

图3是根据本发明的实施例的光声装置的详细框图。

图4是根据本发明的实施例的探头的示意图。

图5是根据本发明的实施例的图像处理方法的流程图。

图6是示出ICG浓度已经改变时的吸收系数光谱的曲线图。

图7A至图7D是波长组合已经改变时的与造影剂对应的公式(1)的计算值的等高线图。

图8是示出ICG浓度已经改变时的与造影剂对应的公式(1)的计算值的折线图。

图9是示出氧合血红蛋白和脱氧血红蛋白的摩尔吸收系数光谱的曲线图。

图10是图示根据本发明的实施例的GUI的图。

图11A和图11B是ICG浓度已经改变时的右前臂伸侧的光谱图像。

图12A和图12B是ICG浓度已经改变时的左前臂伸侧的光谱图像。

图13A和图13B是ICG浓度已经改变时的右小腿内侧和左小腿内侧的光谱图像。

具体实施方式

在下文中将参考附图描述本发明的合适的实施例。然而,以下描述的组件的尺寸、材料、形状、相对布置等可以根据应用本发明的装置的配置以及各种条件而适当地改变。因此,本发明的范围不限于以下描述。

由根据本发明的系统获取的光声图像反映了光能的吸收量和吸收率。光声图像是表示至少一条被测体信息的空间分布的图像,被测体信息包括光声波的生成声压(初始声压)、光吸收能量密度、光吸收系数等。光声图像可以是表示二维空间分布的图像,或者是表示三维空间分布的图像(体数据)。根据本实施例的系统通过对注入有造影剂的被测体进行成像来生成光声图像。另外,为了查明造影对象的三维结构,光声图像可以是表示从被测体的表面起在深度方向上的二维空间分布的图像或者表示三维空间分布的图像。

此外,根据本发明的系统可以使用与多个波长对应的多个光声图像来生成被测体的光谱图像。本发明的光谱图像是基于通过对被测体照射具有多个不同波长的光而生成的光声波的、使用与多个波长对应的光声信号生成的图像。

另外,光谱图像可以是表示被测体中的特定物质的浓度的图像,该图像是使用与多个波长对应的光声信号生成的。当要使用的造影剂的光吸收系数光谱与特定物质的光吸收系数光谱不同时,光谱图像中的造影剂的图像值与光谱图像中的特定物质的图像值不同。因此,可以根据光谱图像的图像值来区分造影剂的区域与特定物质的区域。另外,作为特定物质,可以想到构成被测体的物质,诸如血红蛋白、葡萄糖、胶原蛋白、黑色素、脂肪或水。在这种情况下,需要选择具有与特定物质的光吸收系数光谱不同的光吸收光谱的造影剂。此外,可以根据特定物质的类型而通过不同的计算方法来计算光谱图像。

在下面将描述的实施例中,将使用氧饱和度计算公式(1)计算出的图像描述为光谱图像。发明人发现,当将使用光吸收系数的波长依赖性趋于与氧合血红蛋白和脱氧血红蛋白的波长依赖性不同的造影剂获取的光声信号的测量值I(r)代入基于与多个波长对应的光声信号计算血液中血红蛋白的氧饱和度(可以是与氧饱和度具有相关性的指标)的公式(1)时,获得从由血红蛋白的氧饱和度取得的数值范围的大幅偏离的计算值Is(r)。因此,如果使用该计算值Is(r)作为图像值来生成光谱图像,则容易在图像上将被测体中的血红蛋白区域(血管区域)与造影剂存在区域(例如,如果造影剂被注入淋巴管中则为淋巴管区域)分离(区分)。

[数学表达式1]

在此,Iλ 1(r)是基于根据具有第一波长λ1的光的照射生成的光声波的测量值,Iλ 2(r)是基于根据具有第二波长λ2的光的照射生成的光声波的测量值。εHb λ 1是与第一波长λ1对应的脱氧血红蛋白的摩尔吸收系数[mm-1mol-1],εHb λ 2是与第二波长λ2对应的脱氧血红蛋白的摩尔吸收系数[mm-1mol-1]。εHbO λ 1是与第一波长λ1对应的氧合血红蛋白的摩尔吸收系数[mm-1mol-1],εHbO λ 2是与第二波长λ2对应的氧合血红蛋白的摩尔吸收系数[mm-1mol-1]。r是位置。另外,作为测量值Iλ 1(r)和Iλ 2(r),可以使用吸收系数μa λ 1(r)和μa λ 2(r),或者可以使用初始声压P0 λ 1(r)和P0 λ 2(r)。

当将基于从血红蛋白存在区域(血管区域)生成的光声波的测量值代入公式(1)时,获取了血红蛋白的氧饱和度(或者与氧饱和度具有相关性的指标)作为计算值Is(r)。另一方面,在注入有造影剂的被测体中,当将基于从造影剂存在区域(例如淋巴管区域)生成的声波的测量值代入公式(1)中时,获取了造影剂的伪浓度分布作为计算值Is(r)。另外,当计算造影剂的浓度分布时,可以在公式(1)中原样使用血红蛋白的摩尔吸收系数的数值。以这种方式获取的光谱图像Is(r)成为在可以彼此分离(区分)被测体中的血红蛋白存在区域(血管)与造影剂存在区域(例如淋巴管)这两者的状态下描绘的图像。

另外,虽然在本实施例中使用计算氧饱和度的公式(1)来计算光谱图像的图像值,但是当计算除氧饱和度以外的指标作为光谱图像的图像值时,可以使用除公式(1)以外的计算方法。由于已知的指标和指标计算方法可以用作指标及其计算方法,因此在此省略其详细描述。

此外,根据本发明的系统可以使用表示基于根据具有第一波长λ1的光的照射生成的光声波的第一光声图像与基于根据具有第二波长λ2的光的照射生成的光声波的第二光声图像的比率的图像作为光谱图像。即,基于第一光声图像与第二光声图像的比率的图像可以用作光谱图像,其中第一光声图像基于根据具有第一波长λ1的光的照射生成的光声波,而第二光声图像基于根据具有第二波长λ2的光的照射生成的光声波。另外,根据公式(1)的变形公式生成的图像也可以由第一光声图像与第二光声图像的比率表示,因此可以说是基于第一光声图像与第二光声图像的比率的图像(光谱图像)。

另外,为了查明造影对象的三维结构,光谱图像可以是表示从被测体的表面起在深度方向上的二维空间分布的图像或者表示三维空间分布的图像。

在下文中,将描述本实施例的系统的配置和图像处理方法。

将使用图1描述根据本实施例的系统。图1是图示根据本实施例的系统的配置的框图。根据本实施例的系统包括光声装置1100、存储装置1200、图像处理装置1300、显示装置1400和输入装置1500。各装置之间的数据的发送和接收可以以有线或无线方式执行。

光声装置1100通过对已注入有造影剂的被测体进行成像来生成光声图像,并且将该光声图像输出到存储装置1200。光声装置1100是使用通过接收根据光的照射生成的光声波而获取的接收信号来生成与被测体中的多个位置对应的特性值的信息的装置。即,光声装置1100是生成从光声波导出的特性值信息的空间分布作为医学图像数据(光声图像)的装置。

存储装置1200可以是诸如只读存储器(ROM)、磁盘或闪存的存储介质。此外,存储装置1200可以是经由诸如图片存档和通信系统(picture archiving and communicationsystem,PACS)的网络的存储服务器。

图像处理装置1300是处理诸如存储在存储装置1200中的光声图像和光声图像的补充信息这样的信息的装置。

执行图像处理装置1300的运算功能的单元可以由诸如CPU或图形处理单元(GPU)的处理器以及诸如现场可编程门阵列(FPGA)的运算电路构成。这些单元不仅可以由单个处理器和单个运算电路构成,而且可以由多个处理器和多个运算电路构成。

执行图像处理装置1300的存储功能的单元可以被配置为诸如只读存储器(ROM)、磁盘或闪存的非暂时性存储介质。此外,执行存储功能的单元可以是诸如随机存取存储器(RAM)的易失性介质。另外,存储有程序的存储介质是非暂时性存储介质。另外,执行存储功能的单元不仅可以被配置为单个存储介质,而且可以被配置为多个存储介质。

执行图像处理装置1300的控制功能的单元被配置为诸如CPU的运算元件。执行控制功能的单元控制系统的每个组件的操作。执行控制功能的单元可以接收来自输入单元的诸如测量开始的各种操作的指示信号并控制系统的每个组件。此外,执行控制功能的单元可以读取存储在计算机150中的程序代码并且控制系统的每个组件的操作。

显示装置1400是诸如液晶显示器或有机电致发光(EL)装置的显示器。此外,显示装置1400可以显示用于操作图像或装置的GUI。

作为输入装置1500,可以使用能够由用户操作的由鼠标、键盘等构成的操作控制台。此外,显示装置1400可以被配置为触摸面板,并且显示装置1400可以用作输入装置1500。

图2图示了根据本实施例的图像处理装置1300的具体的配置示例。根据本实施例的图像处理装置1300包括CPU 1310、GPU 1320、RAM 1330、ROM 1340和外部存储装置1350。此外,作为显示装置1400的液晶显示器1410以及作为输入装置1500的鼠标1510和键盘1520连接到图像处理装置1300。另外,图像处理装置1300连接到诸如图片存档和通信系统(PACS)的作为存储装置1200的图像服务器1210。因此,可以将图像数据存储在图像服务器1210中,或者可以将图像服务器1210中的图像数据显示在液晶显示器1410上。

接下来,将描述根据本实施例的系统中包括的装置的配置示例。图3是根据本实施例的系统中包括的装置的示意性框图。

根据本实施例的光声装置1100包括驱动单元130、信号收集单元140、计算机150、探头180和注入单元190。探头180包括光照射单元110和接收单元120。图4是根据本实施例的探头180的示意图。测量对象是由注入单元190注入了造影剂的被测体100。驱动单元130驱动光照射单元110和接收单元120以执行机械扫描。当光照射单元110将光照射到被测体100时,在被测体100中生成声波。根据由光引起的光声效应生成的声波也被称为光声波。接收单元120在接收到光声波时输出作为模拟信号的电信号(光声信号)。

信号收集单元140将从接收单元120输出的模拟信号转换成数字信号,并将该数字信号输出到计算机150。计算机150存储从信号收集单元140输出的数字信号作为从光声波导出的信号数据。

计算机150通过对存储的数字信号执行信号处理来生成光声图像。此外,计算机150对获得的光声图像执行图像处理,然后将光声图像输出到显示单元160。显示单元160显示基于光声图像的图像。显示图像基于来自用户或计算机150的存储指示而存储在计算机150中的存储器或诸如通过网络连接到模态(modality)的数据管理系统的存储装置1200中。

此外,计算机150还执行光声装置中包括的组件的驱动控制。此外,除了由计算机150生成的图像之外,显示单元160还可以显示GUI等。输入单元170被配置为使得用户可以输入信息。用户可以使用输入单元170来执行诸如测量开始或结束以及生成的图像的存储的指示这样的操作。

在下文中,将详细描述根据本实施例的光声装置1100的每个组件。

(光照射单元110)

光照射单元110包括发射光的光源111和将从光源111投射的光引导至被测体100的光学系统112。另外,光包括诸如所谓的矩形波和三角波的脉冲光。

考虑到热抑制条件和应力抑制条件,优选的是从光源111发射的光的脉冲宽度不大于100ns。此外,可以将大约400nm至1600nm范围内的波长用作光的波长。当以高分辨率对血管进行成像时,可以使用在血管中吸收较多的波长(至少400nm且不大于700nm)。当对活体的深部进行成像时,可以使用通常在活体的背景组织(水、脂肪等)中吸收较少的波长(至少700nm且不大于1100nm)的光。

可以将激光器或发光二极管用作光源111。此外,当使用具有多个波长的光执行测量时,可以使用能够改变波长的光源。另外,在对被测体照射多个波长的情况下,可以设置生成具有不同波长的光的多个光源,并且可以从各光源交替地照射光。在使用多个光源的情况下,将这些光源整体地表示为一个光源。作为激光器,可以使用诸如固体激光器、气体激光器、染料激光器和半导体激光器的各种激光器。例如,可以将诸如Nd:YAG激光器或紫翠宝石激光器(alexandrite laser)的脉冲激光器用作光源。此外,可以将使用Nd:YAG激光作为激励光的Ti:sa激光器或者光学参量振荡器(opticalparametric oscillator,OPO)激光器用作光源。另外,可以将闪光灯或发光二极管用作光源111。此外,可以将微波源用作光源111。

可以将诸如透镜、反射镜和光纤的光学元件用于光学系统112。在将乳房等用作被测体100的情况下,光学系统的光投射部分可以被配置为使光扩散的扩散器等,以扩展脉冲光的光束直径并照射该脉冲光。另一方面,在光声显微镜中,光学系统112的光投射部分可以被配置为透镜等并且对光束进行聚焦并照射,以提高分辨率。

另外,光照射单元110可以不包括光学系统112而从光源111直接对被测体100照射光。

(接收单元120)

接收单元120包括在接收到声波时输出电信号的换能器121以及支撑换能器121的支撑件122。此外,换能器121可以是发送声波的发送部件。作为接收部件的换能器和作为发送部件的换能器可以是单个(共用)的换能器或者分离的组件。

作为构成换能器121的构件,可以使用以锆钛酸铅(PZT)为代表的压电陶瓷材料、以聚偏二氟乙烯(PVDF)为代表的高分子压电膜材料等。此外,可以使用除压电元件以外的元件。例如,可以使用利用电容式微机械超声换能器(CMUT)等的换能器。另外,可以使用任何换能器,只要它能够在接收到声波时输出电信号即可。此外,由换能器获取的信号是时间分辨信号。即,由换能器获取的信号的振幅表示基于每个时刻通过换能器接收到的声压的值(例如,与声压成比例的值)。

构成光声波的频率分量通常为100KHz至100MHz,并且可以采用能够检测这些频率的换能器作为换能器121。

支撑件122可以由机械强度高的金属材料形成。可以在支撑件122的被测体100侧的表面上执行镜面精加工或用于光散射的处理,使得大量的照射光被输入到被测体。在本实施例中,支撑件122具有半球形外壳形状并且被配置为能够在半球形外壳上支撑多个换能器121。在这种情况下,部署在支撑件122中的换能器121的定向轴会聚在半球的曲率中心附近。然后,当使用从多个换能器121输出的信号执行成像时,曲率中心附近的图像质量提高。另外,支撑件122可以采用任何配置,只要它能够支撑换能器121即可。支撑件122可以被配置成使得多个换能器并排布置在被称为1D阵列、1.5D阵列、1.75D阵列或2D阵列的平面或曲面内。多个换能器121对应于多个接收部件。

此外,支撑件122可以用作存储声学匹配材料的容器。即,支撑件122可以用作用于在换能器121和被测体100之间部署声学匹配材料的容器。

此外,接收单元120可以包括对从换能器121输出的时序模拟信号进行放大的放大器。另外,接收单元120可以包括将从换能器121输出的时序模拟信号转换成时序数字信号的A/D转换器。即,接收单元120可以包括稍后描述的信号收集单元140。

接收单元120与被测体100之间的空间填充有能够传播光声波的介质。作为该介质,采用能够传播声波、使得在被测体100与换能器121之间的界面处的声学特性能够匹配并且具有尽可能高的光声波透射率的材料。例如,可以采用水、超声凝胶等作为该介质。

图4示出了探头180的侧视图。根据本实施例的探头180包括接收单元120,在接收单元120中多个换能器121三维地布置在具有开口的半球形支撑件122中。此外,光学系统112的光投射单元部署在支撑件122的底部。

在本实施例中,如图4中所示,当被测体100与保持器200接触时,被测体100的形状被保持。

接收单元120与保持器200之间的空间填充有能够传播光声波的介质。作为该介质,采用能够传播声波、使得在被测体100与换能器121之间的界面处的声学特性能够匹配并且具有尽可能高的光声波透射率的材料。例如,可以采用水、超声凝胶等作为该介质。

作为保持部件的保持器200用于在测量期间保持被测体100的形状。通过利用保持器200保持被测体100,可以抑制被测体100的移动并且将被测体100的位置保持在保持器200内。作为保持器200的材料,可以使用诸如聚碳酸酯、聚乙烯或聚对苯二甲酸乙二醇酯的树脂材料。

保持器200附接到安装部分201。安装部分201可以被配置为使得能够按照被测体的大小来更换多种类型的保持器200。例如,安装部分201可以被配置为使得能够更换具有不同曲率半径和不同曲率中心的保持器。

(驱动单元130)

驱动单元130是改变被测体100与接收单元120的相对位置的部分。驱动单元130包括诸如生成驱动力的步进马达的马达、传递驱动力的驱动机构以及检测接收单元120的位置信息的位置传感器。作为驱动机构,可以使用丝杠机构、连杆机构、齿轮机构、液压机构等。此外,作为位置传感器,可以使用利用编码器、可变电阻器、线性刻度尺、磁传感器、红外线传感器、超声波传感器的电位计等。

另外,驱动单元130不限于在XY方向上(二维地)改变被测体100与接收单元120的相对位置,而可以一维或三维地进行改变。

另外,驱动单元130可以固定接收单元120并移动被测体100,只要它能够改变被测体100与接收单元120的相对位置即可。在移动被测体100的情况下,可以想到通过移动保持被测体100的保持器来移动被测体100的配置等。此外,被测体100和接收单元120这两者都可以被移动。

驱动单元130可以连续地或者以步进重复(step-and-repeat)的方式移动相对位置。驱动单元130可以是使得能够沿着编程的轨迹移动的电动工作台(stage)或者手动工作台。

此外,虽然在本实施例中驱动单元130通过同时驱动光照射单元110和接收单元120来执行扫描,但是驱动单元130可以仅驱动光照射单元110或者仅驱动接收单元120。

另外,在探头180是配备有抓握部分的手持类型的情况下,光声装置1100可以不包括驱动单元130。

(信号收集单元140)

信号收集单元140包括对作为从换能器121输出的模拟信号的电信号进行放大的放大器以及将从放大器输出的模拟信号转换成数字信号的A/D转换器。从信号收集单元140输出的数字信号被存储在计算机150中。信号收集单元140也被称为数据获取系统(dataacquisition system,DAS)。本说明书中的电信号是既包括模拟信号又包括数字信号的概念。另外,诸如光电二极管的光检测传感器可以检测来自光照射单元110的光投射,并且信号收集单元140可以通过使该检测结果与触发同步来开始上述处理。

(计算机150)

作为信息处理装置的计算机150被配置为类似于图像处理装置1300的硬件。即,执行计算机150的运算功能的单元可以由诸如CPU或图形处理单元(GPU)的处理器以及诸如现场可编程门阵列(FPGA)的运算电路构成。这些单元不仅可以由单个处理器和单个运算电路构成,而且可以由多个处理器和多个运算电路构成。

执行计算机150的存储功能的单元可以是诸如随机存取存储器(RAM)的易失性介质。另外,存储有程序的存储介质是非暂时性存储介质。另外,执行计算机150的存储功能的单元不仅可以被配置为单个存储介质,而且可以被配置为多个存储介质。

执行计算机150的控制功能的单元被配置为诸如CPU的运算元件。执行计算机150的控制功能的单元控制光声装置的每个组件的操作。执行计算机150的控制功能的单元可以接收来自输入单元170的诸如测量开始的各种操作的指示信号并控制光声装置的每个组件。此外,执行计算机150的控制功能的单元可以读取存储在执行存储功能的单元中的程序代码并控制光声装置的每个组件的操作。即,计算机150可以用作根据本实施例的系统的控制装置。

另外,计算机150和图像处理装置1300可以被配置为相同的硬件。单个硬件可以执行计算机150和图像处理装置1300这两者的功能。即,计算机150可以执行图像处理装置1300的功能。另外,图像处理装置1300可以执行作为信息处理装置的计算机150的功能。

(显示单元160)

显示单元160是诸如液晶显示器或有机电致发光(EL)装置的显示器。此外,显示单元160可以显示用于操作图像或装置的GUI。

另外,显示单元160和显示装置1400可以是相同的显示器。即,单个显示器可以执行显示单元160和显示装置1400这两者的功能。

(输入单元170)

作为输入单元170,可以采用能够由用户操作的由鼠标、键盘等构成的操作控制台。此外,显示单元160可以被配置为触摸面板,并且显示单元160可以用作输入单元170。

另外,输入单元170和输入装置1500可以是相同的装置。即,单个装置可以执行输入单元170和输入装置1500这两者的功能。

(注入单元190)

注入单元190被配置为使得能够从被测体100的外部将造影剂注入到被测体100中。例如,注入单元190可以包括造影剂容器和刺入被测体的注射针。然而,注入单元190不限于此并且能够适用各种类型,只要它们能够将造影剂注入到被测体100中即可。在这种情况下,例如,注入单元190可以是已知的注射系统或注射器。另外,作为控制装置的计算机150可以通过控制注入单元190的操作来将造影剂注入到被测体100中。此外,用户可以通过操作注入单元190来将造影剂注入到被测体100中。

(被测体100)

虽然被测体100不构成系统,但是下面将对其进行描述。根据本实施例的系统可以用于人或动物的恶性肿瘤、血管疾病等的诊断以及化学治疗的过程观察等目的。因此,作为被测体100,可以想到诊断的对象部分,诸如活体,具体而言人体或动物的乳房、各个器官、血管网、头部、颈部、腹部、包括手指或脚趾在内的四肢等。例如,如果将人体作为测量对象,则可以将氧合血红蛋白或脱氧血红蛋白、包含大量的这些物质的血管、在肿瘤附近形成的新的血管等用作光吸收体的对象。此外,可以将颈动脉壁的斑块等作为光吸收体的对象。此外,可以将皮肤中包含的黑色素、胶原蛋白、脂质等用作光吸收体的对象。另外,可以将注入到被测体100中的造影剂用作光吸收体。作为用于光声成像的造影剂,可以采用诸如吲哚菁绿(ICG)或亚甲基蓝(MB)的染料、金粒子、它们的混合物或者通过整合或化学改性这些材料而获得的从外部引入的物质。此外,可以将模仿活体的体模(phantom)用作被测体100。

另外,光声装置的各组件可以被配置为分离的装置或者被配置为集成的单个装置。此外,光声装置的至少一些组件可以被配置为一体的单个装置。

另外,构成根据本实施例的系统的各装置可以被配置为分离的硬件,或者所有装置可以被配置为单个硬件。根据本实施例的系统的功能可以使用任何硬件来配置。

接下来,将使用图5中所示的流程图来描述根据本实施例的图像生成方法。另外,图5中所示的流程图包括表示根据本实施例的系统的操作的过程和表示诸如医生的用户的操作的过程。

(S100:获取检查单信息的过程)

光声装置1100的计算机150获取从诸如医院信息系统(hospitalinformationsystem,HIS)或放射科信息系统(radiology information system,RIS)的医院内信息系统(in-hospital information system)发送的检查单信息。检查单信息包括诸如用于检查的模态类型和用于检查的造影剂的信息。

(S200:基于用户的指示或检查单信息获取关于造影剂的信息的过程)

作为造影剂信息获取部件的计算机150获取关于造影剂的信息。用户可以使用输入单元170来指示用于检查的造影剂的类型和浓度。在这种情况下,计算机150可以通过输入单元170来获取关于造影剂的信息。此外,在S100中获取的检查单信息包括关于造影剂的信息的情况下,计算机150可以通过从检查单信息中读取关于造影剂的信息来获取关于造影剂的信息。计算机150可以基于用户的指示和检查单信息中的至少一个来获取关于造影剂的信息。例如,作为表示造影剂的条件的关于造影剂的信息,可以想到造影剂的类型、造影剂的浓度等。

图10图示了在显示单元160上显示的GUI的示例。GUI的项目2500显示诸如患者ID、检查ID以及成像日期和时间的检查单信息。项目2500可以包括显示从诸如HIS或RIS的外部装置获取的检查单信息的显示功能以及使得用户能够使用输入单元170输入检查单信息的输入功能。GUI的项目2600显示诸如造影剂的类型和造影剂的浓度这样的关于造影剂的信息。项目2600可以包括显示从诸如HIS或RIS的外部装置获取的关于造影剂的信息的显示功能以及使得用户能够使用输入单元170输入关于造影剂的信息的输入功能。在项目2600中,可以从多个选择中通过诸如下拉列表(pull-down)的方法输入诸如造影剂的类型和浓度的关于造影剂的信息。另外,可以在显示装置1400上显示图10中所示的GUI。

另外,在图像处理装置1300尚未从用户接收到关于造影剂的信息的输入指示的情况下,可以从多条关于造影剂的信息中获取被设置为默认值的关于造影剂的信息。在本实施例的情况下,描述将ICG设置为默认造影剂类型并且将1.0mg/mL设置为默认造影剂浓度的情况。虽然在本实施例中在GUI的项目2600中显示被设置为默认值的造影剂的类型和浓度,但是可以不将关于造影剂的信息设置为默认值。在这种情况下,可以不在初始画面上在GUI的项目2600中显示关于造影剂的信息。

(S300:注入造影剂的过程)

注入单元190将造影剂注入到被测体中。当用户使用注入单元190将造影剂注入到被测体中时,用户可以通过操作输入单元170来将表示已经注入了造影剂的信号从输入单元170发送到作为控制装置的计算机150。此外,注入单元190可以将表示已经将造影剂注入到被测体100中的信号发送到计算机150。另外,可以不使用注入单元190而将造影剂投入被测体中。例如,可以以作为被测体的活体吸入喷雾造影剂的方式将造影剂投入活体中。

在注入造影剂之后,可以在造影剂散布到被测体100中的造影对象的时间之后执行稍后描述的S400。

(S400:确定照射光的波长的过程)

作为波长确定部件的计算机150基于在S200中获取的关于造影剂的信息来确定照射光的波长。在本实施例中,计算机150基于关于造影剂的信息确定多个波长,以生成光谱图像。在下文中,将描述用于容易识别光谱图像中的与造影剂对应的区域的波长的组合。

在本实施例中,设想在稍后描述的S800中生成根据公式(1)的图像作为光谱图像的情况。根据公式(1),对于光谱图像中的血管的区域,计算响应于实际氧饱和度的图像值。然而,对于光谱图像中的造影剂的区域,图像值取决于使用的波长而显著改变。此外,对于光谱图像中的造影剂的区域,图像值还取决于造影剂的吸收系数光谱而显著改变。因此,存在光谱图像中的造影剂的区域的图像值成为无法与血管的区域的图像值区分开的值的情况。另外,为了查明造影剂的三维分布,优选的是光谱图像中的造影剂的区域的图像值是能够与血管的区域的图像值区分开的值。

因此,发明人设想了根据用于检查的造影剂的条件来自适应地改变照射光的波长从而控制光谱图像中的造影剂的区域的图像值的方法。即,发明人设计了信息处理装置基于关于造影剂的信息来确定使得能够将光谱图像中的造影剂的区域与血管的区域区分开的照射光的波长的方法。

具体而言,在生成使用公式(1)的图像作为光谱图像的情况下,可以使用动静脉的氧饱和度落入以百分比表示的大约60%至100%的范围内的事实来确定照射光的波长。即,作为信息处理装置的计算机150可以基于关于造影剂的信息确定使得光谱图像中的与造影剂对应的公式(1)的值变得小于60%或者大于100%的两个波长。此外,计算机150可以基于关于造影剂的信息来确定使得光谱图像中的与造影剂对应的区域的图像值的符号变得与其他区域的图像值的符号相反的两个波长。

接下来,将描述作为关于造影剂的信息的造影剂的浓度已经改变时的与造影剂对应的图像值的改变。图6是图示作为造影剂的ICG的浓度已经改变时的吸收系数光谱的改变的光谱图。图6从底部起依次图示了ICG的浓度为5.04μg/mL、50.4μg/mL、0.5mg/mL和1.0mg/mL的情况下的光谱。如图6中所示,可以理解,随着造影剂的浓度增加,光的吸收程度增加。此外,可以理解,由于与两个波长对应的吸收系数的比率响应于造影剂的浓度而发生改变,因此光谱图像中的与造影剂对应的图像值响应于造影剂的浓度而发生改变。与造影剂的浓度已经改变时的情况一样,当造影剂的类型已经改变时,与两个波长对应的吸收系数的比率也发生改变。因此,可以理解,光谱图像中的与造影剂对应的图像值也响应于造影剂的类型而发生改变。

在此,将描述通过使用光声装置对已注入有ICG的活体进行成像而获得的光谱图像。图11A至图13B图示了当改变浓度而注入ICG时通过成像获得的光谱图像。在所有成像操作中,在手或脚的皮肤下或皮肤内注入了0.1mL的ICG。注入皮肤下或注入皮肤内的ICG选择性地进入淋巴管,因此对淋巴管的管腔进行造影。此外,在所有成像操作中,在从注入ICG起5分钟到60分钟内执行了成像。此外,所有光谱图像都是从通过对活体照射波长为797nm的光和波长为835nm的光而获得的光声图像生成的光谱图像。

图11A图示了尚未注入ICG时的右前臂伸侧的光谱图像。另一方面,图11B图示了以2.5mg/mL的浓度注入ICG时的右前臂伸侧的光谱图像。在图11B中的由点线和箭头表示的区域中描绘了淋巴管。

图12A图示了以1.0mg/mL的浓度注入ICG时的左前臂伸侧的光谱图像。图12B图示了以5.0mg/mL的浓度注入ICG时的左前臂伸侧的光谱图像。在图12B中的由点线和箭头表示的区域中描绘了淋巴管。

图13A图示了以0.5mg/mL的浓度注入ICG时的右小腿内侧的光谱图像。图13B图示了以5.0mg/mL的浓度注入ICG时的左小腿内侧的光谱图像。在图13B中的由点线和箭头表示的区域中描绘了淋巴管。

根据图11A至图13B中所示的光谱图像,可以理解,随着ICG浓度的增加,光谱图像中的淋巴管的可见性得到改善。此外,根据图11A至图13B,可以理解,在ICG的浓度为至少2.5mg/mL的情况下,可以令人满意地描绘淋巴管。即,在ICG的浓度为至少2.5mg/mL的情况下,可以在视觉上清楚地识别线上的淋巴管。因此,在将ICG用作造影剂的情况下,其浓度可以为至少2.5mg/mL。另外,考虑到ICG在活体内的稀释性,ICG的浓度可以大于5.0mg/mL。然而,当考虑吲哚菁绿注射液(Diagnogreen)的溶解度时,难以以至少10.0mg/mL的浓度将其在水溶液中融化。

如上所述,注入到活体的ICG的浓度可以为至少2.5mg/mL且不大于10.0mg/mL,并且优选为至少5.0mg/mL且不大于10.0mg/mL。

因此,计算机150可以被配置为在图10中所示的GUI的项目2600中ICG被输入为造影剂类型的情况下选择性地接收表示上述数值范围内的ICG浓度的来自用户的指示。即,在这种情况下,计算机150可以被配置为使得其不接收表示ICG浓度不在上述数值范围内的来自用户的指示。因此,计算机150可以被配置为使得在获取了表示造影剂类型为ICG的信息的情况下不接收表示ICG浓度小于2.5mg/mL或大于10.0mg/mL的来自用户的指示。此外,计算机150可以被配置为使得在获取了表示造影剂类型为ICG的信息的情况下不接收表示ICG浓度小于5.0mg/mL或大于10.0mg/mL的来自用户的指示。

计算机150可以将GUI配置为使得用户不能在GUI上指示未落入上述数值范围内的ICG浓度。即,计算机150可以使GUI显示为使得用户不能在GUI上指示未落入上述数值范围内的ICG浓度。例如,计算机150可以使能够通过其选择性地指示上述数值范围内的ICG浓度的下拉列表显示在GUI上。计算机150可以将GUI配置为使得未落入下拉列表中的上述数值范围内的ICG浓度显示为灰色并且不能选择灰色的浓度。

此外,当用户已经在GUI上指示了未落入上述数值范围内的ICG浓度时,计算机150可以通知警报。作为通知方法,可以采用诸如显示单元160上的警报的显示、声音以及灯的点亮的任何方法。

此外,当在GUI上已经选择ICG作为造影剂类型时,计算机150可以使显示单元160显示上述数值范围作为要注入到被测体中的ICG的浓度。

另外,注入到被测体中的造影剂的浓度不限于在此表示的数值范围,并且可以使用符合目的的合适的浓度。此外,虽然在此已经描述了造影剂类型为ICG的情况的示例,但是上述配置可以以相同的方式应用于其他造影剂。

通过以这种方式配置GUI,可以支持用户根据预计注入到被测体中的造影剂的类型而将合适浓度的造影剂注入到被测体中。

接下来,将描述波长的组合已经改变时的光谱图像中的与造影剂对应的图像值的改变。图7A至图7D图示了两个波长的组合中的光谱图像中的与造影剂对应的图像值(氧饱和度值)的模拟结果。图7A至图7D的纵轴和横轴表示第一波长和第二波长。在图7A至图7D中图示了光谱图像中的与造影剂对应的图像值的等值线。图7A至7D分别图示了ICG浓度为5.04μg/mL、50.4μg/mL、0.5mg/mL和1.0mg/mL时的光谱图像中与造影剂对应的图像值。如图7A至图7D中所示,存在光谱图像中的与造影剂对应的图像值取决于选择的波长组合而成为60%至100%的情况。如上所述,当选择这样的波长组合时,难以区分光谱图像中的血管的区域与造影剂的区域。因此,优选的是从图7A至图7D中所示的波长组合中选择使得光谱图像中的与造影剂对应的图像值成为小于60%或大于100%的波长组合。此外,优选的是从图7A至图7D所示的波长组合中选择使得光谱图像中的与造影剂对应的图像值成为负值的波长组合。

例如,在此可以设想选择797nm作为第一波长并且选择835nm作为第二波长的情况。图8是示出在选择797nm作为第一波长并且选择835nm作为第二波长的情况下ICG浓度与光谱图像中的与造影剂对应的图像值(公式(1)的值)之间的关系的图。根据图8,在选择797nm作为第一波长并且选择835nm作为第二波长的情况下,对于5.04μg/mL至1.0mg/mL范围内的任何浓度,光谱图像中的与造影剂对应的图像值为负值。因此,在根据这样的波长组合生成光谱图像的情况下,因为血管的氧饱和度在原理上不是负值,所以可以将血管区域与造影剂区域明确地区分开。

另外,虽然已经描述了基于关于造影剂的信息来确定波长,但是在确定波长时可以考虑血红蛋白的吸收系数。图9图示了氧合血红蛋白的摩尔吸收系数(点线)和脱氧血红蛋白的摩尔吸收系数(实线)的光谱。在图9中所示的波长范围内,氧合血红蛋白的摩尔吸收系数与脱氧血红蛋白的摩尔吸收系数之间的大小关系在797nm处反转。即,可以说在短于797nm的波长处容易识别出静脉,而在长于797nm的波长处容易识别出动脉。然而,在淋巴水肿的治疗中,使用在淋巴管和静脉之间制造旁路的淋巴静脉吻合术(lymphatico-venousanastomosis)。对于其术前检查,可以设想使用光声成像对静脉和已经积聚有造影剂淋巴管这两者进行成像。在这种情况下,可以通过将多个波长中的至少一个设置为短于797nm的波长来更清晰地对静脉进行成像。此外,将多个波长中的至少一个设置为脱氧血红蛋白的摩尔吸收系数变得大于氧合血红蛋白的摩尔吸收系数的波长对于静脉的成像是有利的。此外,在从与两个波长对应的光声图像生成光谱图像的情况下,将两个波长都设置为脱氧血红蛋白的摩尔吸收系数变得大于氧合血红蛋白的摩尔吸收系数的波长对于静脉的成像是有利的。通过选择这些波长,可以在淋巴静脉吻合术的术前检查中高精度地对注入有造影剂的淋巴管和静脉这二者进行成像。

然而,如果多个波长中的所有波长都是造影剂的吸收系数大于血液的吸收系数的波长,则血液的氧饱和度精度由于源自造影剂的伪影而降低。因此,为了减少源自造影剂的伪影,多个波长中的至少一个波长可以是造影剂的吸收系数小于血液的吸收系数的波长。

在此,虽然已经描述了根据公式(1)生成光谱图像的情况,但是本发明也可以应用于生成使得光谱图像中的与造影剂对应的图像值响应于造影剂的条件或照射光的波长而改变的光谱图像的情况。

(S500:照射光的过程)

光照射单元110在光源111中设置在S400中确定的波长。光源111发射具有在S400中确定的波长的光。从光源111生成的光通过光学系统112作为脉冲光照射到被测体100。然后,脉冲光在被测体100中被吸收,以根据光声效应生成光声波。在此,注入的造影剂也吸收脉冲光以生成光声波。除了脉冲光的发送之外,光照射单元110还可以将同步信号发送到信号收集单元140。另外,光照射单元110对于多个波长以相同的方式执行光的照射。

用户可以使用输入单元170来指定诸如光照射单元110的照射条件(照射光的重复频率、波长等)和探头180的位置的控制参数。计算机150可以设置基于用户的指示而确定的控制参数。此外,计算机150可以基于指定的控制参数来控制驱动单元130从而将探头180移动到指定位置。在指定了多个位置处的成像的情况下,驱动单元130首先将探头180移动到初始的指定位置。另外,驱动单元130可以在测量开始指示时将探头180移动到预先编程的位置。

(S600:接收光声波的过程)

当接收到从光照射单元110发送的同步信号时,信号收集单元140开始信号收集操作。即,信号收集单元140通过对从接收单元120输出的从光声波导出的模拟电信号执行放大和AD转换来生成放大的数字电信号,并将放大的数字电信号输出到计算机150。计算机150存储从信号收集单元140发送的信号。在指定了多个扫描位置处的成像的情况下,在指定的扫描位置处重复执行S500和S600的过程,以重复进行脉冲光的照射和从声波导出的数字信号的生成。另外,计算机150可以使用光的发射作为触发,基于来自驱动单元130的位置传感器的输出来获取光的发射时的接收单元120的位置信息,并存储该位置信息。

另外,虽然在本实施例中已经描述了以时分方式照射具有多个波长的光的示例,但是照射光的方法不限于此,只要能够获取与多个波长对应的信号数据即可。例如,在使用光的照射执行编码的情况下,可以存在几乎同时照射具有多个波长的光的定时。

(S700:生成光声图像的过程)

作为光声图像获取部件的计算机150基于存储的信号数据来生成光声图像。计算机150将生成的光声图像输出到存储装置1200,使得光声图像被存储在其中。

作为用于将信号数据转换成二维或三维空间分布的重建算法,可以采用诸如时域中的反投影方法和傅立叶域中的反投影方法的分析重建方法或者基于模型的方法(重复计算方法)。例如,作为时域中的反投影方法,可以设想通用反投影(universal back-projection,UBP)、滤波反投影(filtered back-projection,FBP)、延时叠加(delay-and-sum)等。

计算机150通过对信号数据执行重建处理来生成初始声压分布信息(多个位置处的生成声压)作为光声图像。此外,计算机150可以通过计算照射到被测体100的光的被测体100中的光积分通量分布(light fluence distribution)并将初始声压分布除以光积分通量分布来获取吸收系数分布信息作为光声图像。可以将已知方法用作光积分通量分布的计算方法。此外,计算机150可以生成与具有多个波长的各个光对应的光声图像。具体而言,计算机150可以对通过具有第一波长的光的照射获得的信号数据执行重建处理,从而生成与第一波长对应的第一光声图像。此外,计算机150可以对通过具有第二波长的光的照射获取的信号数据执行重建处理,从而生成与第二波长对应的第二光声图像。以这种方式,计算机150可以生成与具有多个波长的光对应的多个光声图像。

在本实施例中,计算机150获取与具有多个波长的光对应的吸收系数分布信息作为光声图像。假设与第一波长对应的吸收系数分布信息是第一光声图像,并且与第二波长对应的吸收系数分布信息是第二光声图像。

另外,虽然在本实施例中已经描述了系统包括生成光声图像的光声装置1100的示例,但是本发明也可以应用于不包括光声装置1100的系统。本发明可以应用于任何系统,只要作为光声图像获取部件的图像处理装置1300能够获取光声图像即可。例如,本发明也可以应用于包括存储装置1200和图像处理装置1300而不包括光声装置1100的系统。在这种情况下,作为光声图像获取部件的图像处理装置1300可以从预先存储在存储装置1200中的光声图像组中读取指定的光声图像来获取光声图像。

(S800:生成光谱图像的过程)

作为光谱图像获取部件的计算机150基于与多个波长对应的多个光声图像来生成光谱图像。计算机150将光谱图像输出到存储装置1200并使存储装置1200存储光谱图像。如上所述,计算机150可以生成表示与构成被测体的物质的浓度(诸如葡萄糖浓度、胶原蛋白浓度、黑色素浓度以及脂肪或水的体积分数)对应的信息的图像作为光谱图像。此外,计算机150可以生成表示与第一波长对应的第一光声图像和与第二波长对应的第二光声图像的比率的图像作为光谱图像。在本实施例中,描述计算机150使用第一光声图像和第二光声图像根据公式(1)生成氧饱和度图像作为光谱图像的示例。

另外,作为光谱图像获取部件的图像处理装置1300可以从预先存储在存储装置1200中的光谱图像组中读取指定的光谱图像来获取光谱图像。此外,作为光声图像获取部件的图像处理装置1300可以从预先存储在存储装置1200中的光声图像组中读取用于生成所读取的光谱图像的多个光声图像中的至少一个来获取光声图像。

(S900:基于光声图像或光谱图像获取关于造影剂的信息的过程)

作为造影剂信息获取部件的图像处理装置1300从存储装置1200读取光声图像或光谱图像,并且基于光声图像或光谱图像获取关于造影剂的信息。

在S200中获取的关于造影剂的信息可能不与实际上已经注入到被测体100中并已经扩散到被测体100中的造影剂的条件对应。因此,图像处理装置1300可以对光声图像或光谱图像执行图像处理,并从光声图像或光谱图像计算关于造影剂的信息。因此,可以从通过捕获已经将造影剂注入到被测体100中的状态下的被测体100而获得的图像中获取关于已经扩散到被测体100中的造影剂的信息。

将描述在将吸收系数分布图像用作光声图像并且将具有公式(1)的值的图像用作光谱图像的情况下根据对光声图像执行的图像处理来估计造影剂浓度的示例。首先,用户指示光声图像或光谱图像中的用户想要获得的造影剂浓度的位置。图像处理装置1300获取指定的位置处的光声图像的图像值。此外,图像处理装置1300参考图6中所示的吸收系数光谱来获取与照射光的波长对应的各个浓度的造影剂的吸收系数。在此,图像处理装置1300可以基于在S200中获取的关于造影剂类型的信息来确定要获取吸收系数的造影剂的类型。然后,图像处理装置1300将各个浓度的造影剂的吸收系数与光声图像的图像值进行比较,并获取与图像值相比具有较小差异的造影剂浓度作为关于造影剂的信息。另外,图像处理装置1300可以根据最小二乘法计算表示造影剂的吸收系数与光声图像的图像值之间的差的范数(norm)小于的预定值的情况下的浓度作为关于造影剂的信息。

此外,将描述根据对光谱图像执行的图像处理来估计造影剂浓度的示例。图像处理装置1300获取指定的位置处的光谱图像的图像值。此外,图像处理装置1300参考图6中所示的吸收系数光谱来获取与照射光的两个波长对应的各个浓度的造影剂的吸收系数。另外,图像处理装置1300基于与各个浓度对应的吸收系数,根据公式(1)计算与各个浓度对应的值。然后,图像处理装置1300将与各个浓度对应的公式(1)的值与光谱图像的图像值进行比较,并且获取与图像值相比具有较小差异的造影剂浓度作为关于造影剂的信息。另外,图像处理装置1300可以根据最小二乘法计算表示计算出的公式(1)的值与光谱图像的图像值之间的差的范数小于的预定值的情况下的浓度作为关于造影剂的信息。

此外,计算机150可以读取作为与光声图像或光谱图像相关联的补充信息而存储的关于造影剂的信息来获取关于造影剂的信息。例如,计算机150可以读取存储在作为DICOM图像的光声图像或光谱图像的标签(tag)中的关于造影剂的信息来读取关于造影剂的信息。根据这个方面,即使在未伴有光声波的测量时,图像处理装置1300也可以从诸如PACS的存储装置1200读取图像,并执行取决于与图像相关联的造影剂的条件的图像显示的设置和波长的设置。

另外,图像处理装置1300可以从与图像相关联的补充信息中读取造影剂类型,并且通过对图像的图像处理来计算造影剂浓度。以这种方式,图像处理装置1300可以通过不同方法的组合来获取关于造影剂的多条信息。

(S1000:确定是否重置波长的过程)

图像处理装置1300确定是否重置波长。如果图像处理装置1300确定重置波长,则过程返回到S400,并且如果图像处理装置1300确定不重置波长,则过程前进到S1100。

例如,在从用户接收到波长的重置的指示的情况下,图像处理装置1300确定重置波长。在此,图像处理装置1300可以使显示装置1400显示在S900中获取的关于造影剂的信息。然后,用户可以确认显示装置1400上显示的信息,并在确定需要重置波长时使用输入装置1500指示波长的重置。在通过输入装置1500接收到波长的重置的指示的情况下,图像处理装置1300可以确定执行波长的重置,并使计算机150执行波长的重置。另外,用户可以指示照射光的波长本身作为波长的重置的指示。

此外,图像处理装置1300可以将在S200中获取的关于造影剂的信息与在S900中获取的关于造影剂的信息进行比较,并且如果在这些信息之间存在差异,则确定重置波长。

此外,图像处理装置1300可以将在S200中获取的关于造影剂的信息与在S900中获取的关于造影剂的信息进行比较,并且如果在这些信息之间存在差异,则使显示装置1400显示这一事实。此外,图像处理装置1300可以使具有差异的关于造影剂的信息被显示。用户可以确认显示装置1400上显示的信息,并在确定需要重置波长时使用输入装置1500指示波长的重置。即,图像处理装置1300可以使显示装置1400显示基于在S900中获取的关于造影剂的信息的信息。

另一方面,在图像处理装置1300未确定重置波长的情况下,过程前进到S1100。例如,在特定时间内尚未从用户接收到波长的重置的指示的情况下,图像处理装置1300可以确定不执行波长的重置。此外,在从用户接收到表示不执行波长的重置的指示的情况下,图像处理装置1300可以确定不执行波长的重置。另外,在S200中获取的关于造影剂的信息与在S900中获取的关于造影剂的信息之间没有差异的情况下,图像处理装置1300可以确定不执行波长的重置。在已经接收到这些条件中的至少一个的情况下,图像处理装置1300可以确定不执行波长的重置。

(S1100:显示光谱图像的过程)

作为显示控制部件的图像处理装置1300基于在S200或S900中获取的关于造影剂的信息来使显示装置1400显示光谱图像,使得能够区分与造影剂对应的区域和其他区域。另外,作为渲染(rendering)方法,可以采用诸如最大密度投影(maximum intensityprojection,MIP)、体积渲染和表面渲染的任何方法。在此,可以根据观察对象来任意地指定诸如二维地渲染三维图像时的显示区域、视线方向的设置条件。

在此,将描述在S400中设置为797nm和835nm并在S800中根据公式(1)生成光谱图像的情况。如图8中所示,在选择这两个波长的情况下,在任何ICG浓度下,根据公式(1)生成的光谱图像中的与造影剂对应的图像值都为负值。

如图10中所示,图像处理装置1300在GUI上显示作为比色刻度尺(color scale)的颜色条(colorbar)2400,该比色刻度尺表示光谱图像的图像值与显示颜色之间的关系。图像处理装置1300可以基于关于造影剂的信息(例如,表示造影剂类型为ICG的信息)和表示照射光的波长的信息来确定分配给比色刻度尺的图像值的数值范围。例如,图像处理装置1300可以确定包括根据公式(1)的动脉的氧饱和度、静脉的氧饱和度以及作为与造影剂对应的负值的图像值的数值范围。图像处理装置1300可以确定-100%至100%的数值范围,并且设置将-100%至100%分配给从蓝色到红色变化的色阶(colorgradation)的颜色条2400。根据这种显示方法,可以识别动静脉并且还识别与造影剂对应的具有负值的区域。此外,图像处理装置1300可以基于关于造影剂的信息和表示照射光的波长的信息来显示指示符2410,该指示符2410表示与造影剂对应的图像值的数值范围。在此,在颜色条2400中,使用指示符2410表示具有负值的区域作为与ICG对应的图像值的数值范围。通过以这种方式显示比色刻度尺使得能够识别与造影剂对应的显示颜色,可以容易地识别光谱图像中的与造影剂对应的区域。

作为区域确定部件的图像处理装置1300可以基于关于造影剂的信息和表示照射光的波长的信息来确定光谱图像中的与造影剂对应的区域。例如,图像处理装置1300可以将光谱图像中的具有负的图像值的区域确定为与造影剂对应的区域。然后,图像处理装置1300可以使显示装置1400显示光谱图像,使得能够区分与造影剂对应的区域和其他区域。图像处理装置1300可以采用识别表示,诸如使与造影剂对应的区域的显示颜色不同于其他区域的显示颜色、使与造影剂对应的区域闪烁或者显示表示与造影剂对应的区域的指示符(例如框)。

另外,可以指示与在图10中所示的GUI上显示的ICG的显示对应的项目2730,以切换到选择性地显示与ICG对应的图像值的显示模式。例如,在用户选择与ICG的显示对应的项目2730的情况下,图像处理装置1300可以通过从光谱图像中选择具有负的图像值的体素(voxel)并选择性地渲染所选择的体素来选择性地显示ICG的区域。同样,用户可以选择与动脉的显示对应的项目2710或者与静脉的显示对应的项目2720。图像处理装置1300可以基于用户的指示来切换到选择性地显示与动脉对应的图像值(例如,至少90%且不超过100%)或与静脉对应的图像值(例如,至少60%且不超过90%)的显示模式。可以基于用户的指示来改变与动脉对应的图像值和与静脉对应的图像值的数值范围。

另外,可以将通过将色相、亮度和色度中的至少一个分配给光谱图像的图像值并将色相、亮度和色度中的其余参数分配给光声图像的图像值而获得的图像显示为光谱图像。例如,可以将通过将色相和色度分配给光谱图像的图像值并将亮度分配给光声图像的图像值而获得的图像显示为光谱图像。在此,当与造影剂对应的光声图像的图像值大于或小于与血管对应的光声图像的图像值时,存在当将亮度分配给光声图像的图像值时难以在视觉上识别血管和造影剂这两者的情况。因此,可以响应于光谱图像的图像值而改变用于从光声图像的图像值转换到亮度的转换表。例如,在光谱图像的图像值被包括在与造影剂对应的图像值的数值范围中的情况下,可以将与光声图像的图像值对应的亮度降低为小于与血管对应的亮度。即,如果在将造影剂的区域与血管的区域进行比较时光声图像的图像值相同,则可以将造影剂的区域的亮度降低为小于血管的区域的亮度。在此,转换表是表示与多个图像值对应的亮度的表。此外,在光谱图像的图像值被包括在与造影剂对应的图像值的数值范围中的情况下,可以将与光声图像的图像值对应的亮度增加为大于与血管对应的亮度。即,如果在将造影剂的区域与血管的区域进行比较时光声图像的图像值相同,则可以将造影剂的区域的亮度增加为大于血管的区域的亮度。此外,不将光声图像的图像值转换成亮度的光声图像的图像值的数值范围可以根据光谱图像的图像值而变化。

转换表可以根据造影剂的类型和浓度或者照射光的波长而改变为合适的表。因此,图像处理装置1300可以基于关于造影剂的信息和表示照射光的波长的信息来确定用于从光声图像的图像值转换到亮度的转换表。在估计与造影剂对应的光声图像的图像值大于与血管对应的光声图像的图像值的情况下,图像处理装置1300可以对应于与造影剂对应的光声图像的图像值的亮度降低为小于对应于与血管对应的光声图像的图像值的亮度。另一方面,在估计与造影剂对应的光声图像的图像值小于与血管对应的光声图像的图像值的情况下,图像处理装置1300可以将对应于与造影剂对应的光声图像的图像值的亮度增加为大于对应于与血管对应的光声图像的图像值的亮度。

图10中所示的GUI显示与波长797nm对应的吸收系数图像(第一光声图像)2100、与波长835nm对应的吸收系数图像(第二光声图像)2200以及氧饱和度图像(光谱图像)2300。GUI可以显示各个图像是根据具有哪个波长的光生成的图像。虽然在本实施例中显示了光声图像和光谱图像这两者,但是可以仅显示光谱图像。此外,图像处理装置1300可以基于用户的指示在光声图像的显示和光谱图像的显示之间进行切换。

另外,显示单元160可以显示运动图像。例如,可以采用图像处理装置1300按时间序列生成第一光声图像2100、第二光声图像2200和光谱图像2300中的至少任何一个、基于生成的时间序列图像来生成运动图像数据并将运动图像数据输出到显示单元160的配置。另外,鉴于淋巴流动的次数相对少,优选的是显示静止图像或经过时间压缩的运动图像,以减少用户的判断时间。此外,在运动图像的显示中,可以重复显示淋巴流动状态。运动图像速度可以是预先定义的预定速度或者由用户指定的预定速度。

此外,在能够显示运动图像的显示单元160中,优选的是运动图像的帧速率是可变的。为了设置可变的帧速率,可以将用于用户手动输入帧速率的窗口、用于改变帧速率的滑动条等添加到图10的GUI。在此,由于淋巴液间歇地在淋巴管中流动,因此仅能够将获取的时间序列体数据的一部分用于确认淋巴液的流动。因此,存在在确认淋巴液的流动的时候执行实时显示时效率降低的情况。因此,通过设置显示单元160上显示的运动图像的可变的帧速率,可以以快进方式显示运动图像,并且用户可以在短时间内确认淋巴管中的流体的状态。

此外,显示单元160可以重复显示预定时间范围内的运动图像。在此,还优选向图10添加诸如用于使得用户能够指定执行重复显示的范围的窗口或滑动条的GUI。因此,用户例如可以容易查明流体在淋巴管中流动的状态。

如上所述,图像处理装置1300和作为信息处理装置的计算机150中的至少一个用作包括光谱图像获取部件、造影剂信息获取部件、区域确定部件、光声图像获取部件和显示控制部件中的至少一个部件的装置。另外,各个部件可以被配置为不同的硬件或者单个硬件。此外,多个部件可以被配置为单个硬件。

虽然在本实施例中可以通过选择使与造影剂对应的根据公式(1)的值成为负值的波长来区分造影剂与血管,但是与造影剂对应的图像值可以是任何值,只要能够使用与造影剂对应的图像值将造影剂与血管区分开即可。例如,在与造影剂对应的光谱图像(氧饱和度图像)的图像值小于60%或大于100%的情况等下,也可以应用本过程中描述的图像处理。

虽然在本实施例中已经描述了将ICG用作造影剂的情况的示例,但是根据本实施例的图像处理也可以应用于除ICG以外的任何造影剂。此外,图像处理装置1300可以基于多种类型的造影剂中的注入到被测体100中的造影剂的类型的信息来执行取决于造影剂类型的图像处理。

在本实施例中已经描述了基于多条关于造影剂的信息中的所获取的关于造影剂的信息来确定图像处理方法的情况。然而,在已经唯一地确定了用于成像的造影剂的条件的情况下,可以预先设置与该造影剂的条件对应的图像处理。在这种情况下,也可以应用上述根据本实施例的图像处理。

虽然在本实施例中已经描述了将图像处理应用于基于与多个波长对应的光声图像的光谱图像的示例,但是也可以将根据本实施例的图像处理应用于与单个波长对应的光声图像。即,图像处理装置1300可以基于关于造影剂的信息来确定光声图像中的与造影剂对应的区域,并且显示光声图像,使得能够区分与造影剂对应的区域和其他区域。此外,图像处理装置1300可以显示光谱图像或光声图像,使得能够将具有预先设置的与造影剂对应的图像值的数值范围的区域与其他区域区分开。

虽然在本实施例中描述了作为信息处理装置的计算机150照射具有多个波长的光以生成光谱图像的示例,但是在仅照射具有单一波长的光以生成光声图像的情况下,也可以通过根据本发明的波长确定方法来确定波长。即,计算机150可以基于关于造影剂的信息来确定照射光的波长。在这种情况下,优选地是计算机150确定使得能够将光声图像中的造影剂区域的图像值与血管区域的图像值区分开的波长。

另外,光照射单元110可以对被测体100照射具有预先设置的波长的光,使得能够将光声图像中的造影剂区域的图像值与血管区域的图像值区分开。此外,光照射单元110可以对被测体100照射具有预先设置的多个波长的光,使得能够将光谱图像中的造影剂区域的图像值与血管区域的图像值区分开。

(其他实施方式)

此外,本发明还通过执行以下处理来实现。即,将用于实现上述实施例的功能的软件(程序)通过网络或各种存储介质提供给系统或装置,并且该系统或装置的计算机(或CPU、MPU等)读取并执行程序。

本发明不限于上述实施例,并且可以在不脱离本发明的精神和范围的情况下以各种方式进行修改和变形。因此,为了公开本发明的范围而附加以下的权利要求。

本发明要求于2018年8月21日提交的日本专利申请号2018-155033的优先权,其内容通过引用合并到本文中。

附图标记列表

1100 光声装置

1200 存储装置

1300 图像处理装置

1400 显示装置

1500 输入装置

36页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:具有改善的闭合构件的外科缝合装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!