诊断支持程序、诊断支持系统和诊断支持方法

文档序号:1942851 发布日期:2021-12-07 浏览:15次 >En<

阅读说明:本技术 诊断支持程序、诊断支持系统和诊断支持方法 (Diagnosis support program, diagnosis support system, and diagnosis support method ) 是由 杉江雄生 于 2020-06-08 设计创作,主要内容包括:该诊断支持程序是用于使计算机执行以下过程的程序:图像处理过程,用于对由成像设备捕获的病理图像进行预定图像处理;以及输出处理过程,用于输出识别信息,该识别信息用于识别病理图像的图像处理完成的部分和病理图像的未处理部分。(The diagnosis support program is a program for causing a computer to execute: an image processing process for performing predetermined image processing on a pathology image captured by an imaging apparatus; and an output processing process for outputting identification information for identifying an image-processed portion of the pathological image and an unprocessed portion of the pathological image.)

诊断支持程序、诊断支持系统和诊断支持方法

技术领域

本公开涉及诊断支持程序、诊断支持系统和诊断支持方法。

背景技术

除了临床医生诊断患者的临床诊断之外,医疗机构中的主要常规诊断方法包括例如病理诊断,其中,病理学家对病理图像进行诊断,病理图像是从患者收集的观察对象(样本)的捕获图像。病理诊断非常重要,因为其诊断结果显著影响患者的治疗计划等。

当在病理诊断中查看病理图像时,病理学家可以根据监视器的性能、病理学家的偏好等对病理图像执行预定的图像处理(例如,颜色校正、边缘增强和对比度校正)。

发明内容

技术问题

然而,一般来说,病理图像具有高分辨率,因此对病理图像的预定图像处理通常不会立即完成。因此,病理学家可以查看混合了预定图像处理的已处理部分和未处理部分的病理图像。人们担心可能会出现错误的诊断,因为病理学家不能可靠地区分病理图像中的已处理部分和未处理部分。

鉴于上述情况而提出本公开,并且提出了一种诊断支持程序、一种诊断支持系统和一种诊断支持方法,其能够提高使用病理图像的病理诊断的准确性。

问题的解决方案

为了解决上述问题,诊断支持程序使计算机执行:图像处理过程,用于对由图像捕获装置捕获的病理图像执行预定的图像处理;以及输出处理过程,用于输出识别信息,该识别信息用于识别对病理图像的图像处理的已处理部分和未处理部分。

附图说明

[图1]是根据第一实施例的诊断支持系统的整体配置图;

[图2]是示出根据第一实施例的观察器的处理的流程图;

[图3]是示意性示出根据第一实施例的病理图像的第一示例的示图;

[图4]是示意性示出根据第一实施例的病理图像的第二示例的示图;

[图5]是示意性示出根据第一实施例的病理图像的第三示例的示图;

[图6]是示意性示出根据第一实施例的病理图像的第四示例的示图;

[图7]是示意性示出根据第一实施例的病理图像的第五示例的示图;

[图8]是示意性示出根据第一实施例的病理图像的第六示例的示图;

[图9]是示意性示出根据第一实施例的用于对病理图像执行预定图像处理的UI的示例的示图;

[图10]是示意性示出根据第一实施例的用于识别病理图像中的未处理部分的显示的示例的示图;

[图11]是根据第二实施例的诊断支持系统的整体配置图;

[图12]是用于示出根据第二实施例的图像捕获处理的示图;

[图13]是用于示出第二实施例中的部分图像(平铺图像)的生成过程的示图;

[图14]是用于示出根据第二实施例的病理图像的示图;

[图15]是用于示出根据第二实施例的病理图像的示图;

[图16]是示意性示出根据第二实施例的显示病理图像的示例的示图;

[图17]是根据第三实施例的诊断支持系统的整体配置图;

[图18]是示出用于实现观察器的功能的计算机的示例的硬件配置图。

具体实施方式

下面将参考附图详细描述本公开的实施例。注意,在下面的实施例中,通过给相同的组件赋予相同的参考字符,将适当地省略重叠的描述。

将按照以下项目顺序描述本公开。

<第一实施例>

1.根据第一实施例的系统的配置

2.根据第一实施例的观察器的处理过程

3.根据第一实施例等的病理图像的第一示例至第六示例

<第二实施例>

4.根据第二实施例的系统的配置

5.第二实施例中的平铺图像的描述

6.根据第二实施例的显示病理图像的示例

<第三实施例>

7.根据第三实施例的系统的配置

<其他实施例>

<第一实施例>

[1.根据第一实施例的系统的配置]

首先,将参考图1描述根据第一实施例的诊断支持系统1。图1是根据第一实施例的诊断支持系统1的整体配置图。如图1所示,诊断支持系统1包括扫描仪2、服务器3(信息处理装置)和观察器4(信息处理装置)。注意,扫描仪2、服务器3和观察器4都包括由NIC(网络接口卡)等实现的通信单元(未示出),以有线或无线方式连接到通信网络(未示出),并且可以经由通信网络彼此发送和接收信息。注意,图中的箭头表示信息的主要流动,并且也可以在没有箭头的部分执行信息的发送和接收。

在传统技术中,在这种病理诊断(数字病理成像(DPI))系统中,当病理图像上的预定图像处理没有立即完成时,例如,已经使用了通过快速显影处理对病理图像的未处理部分进行快速预览显示,以便减少观察者(例如,病理学家,下文中同样适用)经历的等待时间。然而,存在可能发生错误诊断的担忧,因为可能在几秒钟内对一个病理图像做出诊断的病理学家不能可靠地区分病理图像中的已处理部分和未处理部分,其中,混合了这种快速预览显示。因此,下面将描述提供病理图像的技术,其中,病理学家可以可靠地区分已处理部分和未处理部分。

扫描仪2例如是具有光学显微镜功能的图像捕获装置,捕获载玻片中包含的观察对象(样本)的图像,并获取病理图像,该病理图像是数字图像。注意,观察对象是例如从患者收集的组织或细胞,例如,器官的一块肉、唾液或血液。扫描仪2包括图像捕获单元21、图像处理单元22、编码单元23和发送单元24。

图像捕获单元21捕获包含在载玻片中的观察对象的图像,并输出图像捕获信号。图像处理单元22对由图像捕获单元21输出的图像捕获信号执行基本图像处理(例如,去马赛克)。

编码单元23对图像处理单元22对其执行图像处理的病理图像进行编码。发送单元24将由编码单元23编码的病理图像发送到服务器3。

服务器3是对扫描仪2捕获的病理图像执行存储、处理等的计算机装置。此外,当接受来自观察器4的查看病理图像的请求时,服务器3检索病理图像并将检索到的病理图像发送给观察器4。服务器3包括接收单元31、存储单元32、解码单元33、图像处理单元34、编码单元35和发送单元36。

服务器3执行预定的程序来实现每个功能。注意,程序可以存储在服务器3中,或者可以存储在诸如数字多功能盘(DVD)、云计算机等存储介质中。此外,该程序可以由中央处理单元(CPU)或微处理器(MPU)通过使用随机存取存储器(RAM)等作为服务器3中的工作空间来执行,或者可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)等集成电路来执行。

接收单元31接收从扫描仪2发送的病理图像,并将其存储在存储单元32中。存储单元32由例如存储装置实现,例如,半导体存储装置,例如,RAM或闪存、硬盘或光盘。存储单元32存储各种程序、数据、从扫描仪2接收的病理图像等。

解码单元33从存储单元32读取病理图像并对其进行解码。图像处理单元34根据观察器4的显示单元45的性能、病理学家的偏好等,对由解码单元33解码的病理图像执行预定的图像处理(例如,颜色校正、边缘增强或对比度校正,这在下文中也可以简称为“图像处理”)。

编码单元35对图像处理单元34对其执行图像处理的病理图像进行编码。发送单元36向观察器4发送由编码单元35编码的病理图像。

观察器4是主要由病理学家使用的计算机装置,并且显示从查看请求发送到的服务器3接受的病理图像,并且被安装在例如研究所或医院中。观察器4包括接收单元41、解码单元42、图像处理单元43、显示控制单元44、显示单元45、存储单元46和操作单元47。

观察器4执行预定的程序来实现每个功能。注意,程序可以存储在服务器3或观察器4中,或者可以存储在诸如DVD、云计算机等存储介质中。此外,程序可以由CPU或MPU通过使用RAM等作为工作空间来执行,或者可以由诸如ASIC或FPGA等集成电路来执行。

接收单元41接收从服务器3发送的病理图像。解码单元42解码由接收单元41接收的病理图像。

图像处理单元43根据显示单元45的性能、病理学家的偏好等,对由解码单元42解码的病理图像执行用于执行预定图像处理(例如,颜色校正、边缘增强或对比度校正)的图像处理过程。注意,即使当在显示单元45上显示病理图像时,也执行(继续)图像处理单元43的处理。

例如,图像处理过程从病理图像中在显示单元45上显示的区域的中心部分执行图像处理(图3:将在后面描述细节)。

例如,图像处理过程还可以从病理图像中与在显示单元45上显示的光标位置相对应的部分执行图像处理(图6:将在后面描述细节)。

显示控制单元44执行输出识别信息的输出处理过程,用于识别病理图像上的图像处理的已处理部分和未处理部分。注意,即使当在显示单元45上显示病理图像时,也执行(继续)显示控制单元44的处理。

例如,输出处理过程在显示单元45上显示的已处理部分和未处理部分之间的边界处显示边界线,作为识别信息(图3:将在后面描述细节)。

输出处理过程还可以通过围绕其的边界线的颜色、厚度或闪烁中的至少一个来突出显示在显示单元45上显示的已处理部分的新的已处理部分(图5:将在后面描述细节)。

输出处理过程还可以通过位于更靠近已处理部分的第一线类型的线和位于更靠近未处理部分的第二线类型的线来显示边界线(图7:将在后面描述细节)。

输出处理过程还可以在显示单元45的一部分中显示整个病理图像,并且在放大显示单元上的病理图像的一部分时,在所显示的整个病理图像中的已处理部分和未处理部分之间的边界处显示边界线(图8:将在后面描述细节)。

当病理图像的一部分是未处理部分时,输出处理过程还可以突出显示在显示单元45上放大的病理图像的一部分(图8:将在后面描述细节)。

输出处理过程还可以通过显示单元45上的文本显示来指示已处理部分和未处理部分中的至少一个(图8:将在后面描述细节)。

输出处理过程还可以通过显示单元45上的图形显示来指示显示未处理部分(图10:将在后面描述细节)。

在对未处理部分执行预定的图像质量劣化处理之后,输出处理过程还可以在显示单元45上执行显示。例如,通过对未处理部分执行亮度降低或灰度缩放,作为预定的图像质量劣化处理,观察者可以可靠地注意到未处理部分。

显示单元45是用于显示信息的装置,并且具有例如使用液晶、电致发光(EL)、阴极射线管(CRT)等的屏幕。此外,显示单元45可以与4K或8K兼容,并且可以由多个显示装置形成。显示单元45根据显示控制单元44的控制显示信息(例如,图像)。

存储单元46由例如存储装置实现,例如,存储装置,例如,半导体存储装置,例如,RAM或闪存、硬盘或光盘。存储单元46存储各种程序、数据、从服务器3接收的病理图像等。

操作单元47是由观察器4的用户(例如,病理学家,下文中同样适用)操作的装置,并且是例如鼠标、键盘、触摸面板等。

注意,尽管在本实施例中,服务器3的图像处理单元34和观察器4的图像处理单元43都可以执行预定的图像处理,但是在这方面没有限制。例如,如果观察器4具有足够的计算能力,则只有观察器4可以执行预定的图像处理。可选地,例如,如果观察器4不具有足够的计算能力,则只有服务器3可以执行预定的图像处理。此外,尽管将通过假设服务器3和观察器4中的观察器4具有输出用于识别病理图像中的预定图像处理的已处理部分和未处理部分的识别信息的功能来描述本公开,但是在这方面没有限制,并且服务器3可以具有这样的功能。

[2.根据第一实施例的观察器的处理过程]

接下来,将参考图2描述根据第一实施例的观察器4的处理。图2是示出根据第一实施例的观察器4的处理的流程图。注意,在下文中,为了简化描述,可以省略对诸如解码单元42的处理等一些处理的描述。

首先,在步骤S1,观察器4确定是否已经发生了图像显示操作,即病理学家等经由操作单元47进行的用于显示病理图像的操作,如果是,则处理进行到步骤S2,如果否,则处理返回到步骤S1。

在步骤S2,接收单元41从服务器3获取病理图像。

接下来,在步骤S3中,图像处理单元43对病理图像开始预定的图像处理(例如,颜色校正、边缘增强或对比度校正)。

接下来,在步骤S4,显示控制单元44在显示单元45上显示病理图像。

接下来,在步骤S5中,显示控制单元44执行输出识别信息的输出处理过程,用于识别病理图像上的图像处理的已处理部分和未处理部分。

接下来,在步骤S6,图像处理单元43确定预定图像处理是否已经结束,如果是,则处理进行到步骤S7,如果否,则处理返回到步骤S4。即,在步骤S4→步骤S5→步骤S6中的否→步骤S4...的循环处理期间,以混合的方式在显示单元45上显示已处理部分和未处理部分,作为病理图像以及用于识别已处理部分和未处理部分的边界线等。以这种方式,观察者可以可靠地区分病理图像上的图像处理的已处理部分和未处理部分(将在后面描述细节)。

在步骤S7中,观察器4确定是否发生了改变图像显示部分的操作,即,是否已经发生观察者经由操作单元47用于改变在显示单元45上显示的病理图像的区域的操作,如果是,则处理返回到步骤S3,如果否,则处理进行到步骤S8。

在步骤S8中,观察器4确定是否已经发生图像显示结束操作,即病理学家等经由操作单元47进行的用于结束病理图像显示的操作,如果是,则处理进行到步骤S9,如果否,则处理返回到步骤S7。

在步骤S9中,观察器4结束图像显示,即,病理图像在显示单元45上的显示。

[3.根据第一实施例等的病理图像的第一示例至第六示例]

图3是示意性示出根据第一实施例的病理图像的第一示例的示图。图3的(a)至(c)示出了在显示单元45上显示的病理图像。图3的(a)是执行预定图像处理之前的病理图像。图3的(c)是预定图像处理完成后的病理图像。图像处理单元43对图3的(a)中的病理图像执行的图像处理过程从病理图像中在显示单元45上显示的区域的中心部分执行预定的图像处理。因为通常可以认为观察者经常从其中心部分观看病理图像,所以如果预定的图像处理没有立即完成,则以这种方式从病理图像的显示区域的中心部分执行图像处理对于观察者来说是方便的。

由显示控制单元44执行的输出处理过程还在显示单元45上显示的已处理部分和未处理部分之间的边界处显示边界线,作为识别信息。图3的(b)是正在执行的预定图像处理中间的病理图像。区域R1的内部是已处理部分,区域R1的外部是未处理部分。

例如,如果预定图像处理是颜色校正处理,则在不显示这种边界线的情况下,不容易区分病理图像中的已处理部分和未处理部分。具体地,例如,在用苏木精和伊红(HE)染色的观察对象的病理图像的情况下,通过紫色至红紫色的色调来确定病变。在这种情况下,当在没有显示边界线的情况下查看病理图像时,病理学家可能将颜色校正的未处理部分误认为已处理部分,并做出错误的诊断。这同样适用于边缘增强,并且在不执行适当的边缘增强处理的情况下,正常细胞可以被确定为高放大率图像中具有病变的细胞,因此在不显示边界线的情况下,病理图像中的已处理部分和未处理部分的混合会导致错误的诊断。

相反,根据本公开,通过在病理图像中的已处理部分和未处理部分之间的边界处显示边界线,观察者可以可靠地区分病理图像中的已处理部分和未处理部分,并且可以避免错误诊断。

图4是示意性示出根据第一实施例的病理图像的第二示例的示图。图4的(a)至(c)示出了在显示单元45上显示的病理图像。图4的(a)是执行预定图像处理之后的病理图像。在此处,例如,假设观察者已经通过操作操作单元47将在显示单元45上显示的病理图像向左移动(图2中步骤S7中的是)。

因此,如图4的(b)所示,显示单元45左侧的区域R2是已处理部分,右侧的区域R2的外部侧是未处理部分。显示控制单元44执行的输出处理过程显示区域R2内部和外部之间的边界线。以这种方式,根据本公开,通过在病理图像中的已处理部分和未处理部分之间的边界处显示边界线,观察者可以可靠地区分病理图像中的已处理部分和未处理部分,并且可以避免错误诊断。此后,当图4的(b)中对区域R2外部的未处理部分的预定图像处理完成时,预定图像处理完成后的病理图像在整个屏幕上,如图4的(c)所示。

图5是示意性示出根据第一实施例的病理图像的第三示例的示图。图5的(a)至(c)示出了在显示单元45上显示的病理图像。图5的(a)是执行预定图像处理之前的病理图像。图像处理单元43对图5的(a)中的病理图像执行的图像处理过程从病理图像中在显示单元45上显示的区域的中心部分执行图像处理,并且在已处理部分和未处理部分之间的边界处显示边界线。图5的(b)是正在执行的预定图像处理中间的病理图像。区域R3的内部是已处理部分,区域R1的外部是未处理部分。

在此处,图像处理过程进一步对图5的(c)所示的区域R4执行预定的图像处理,并且在该过程中,输出处理过程通过显示包围作为新的已处理部分的区域R4的粗边界线来执行突出显示。以这种方式,通过突出显示新的已处理部分,观察者可靠地识别病理图像中的新的已处理部分(区域R4),并且可以避免错误诊断。注意,这种突出显示的方式不限于相对于另一条边界线增厚边界线,还可以使边界线的颜色不同于另一条边界线的颜色或者使边界线闪烁。

图6是示意性示出根据第一实施例的病理图像的第四示例的示图。图6的(a)至(c)示出了在显示单元45上显示的病理图像。图6的(a)是执行预定图像处理之前的病理图像。图6的(a)中的病理图像的图像处理过程从病理图像中在显示单元45上显示的与光标(图6的(b)中的参考字符C)的位置相对应的部分(以下也称为“光标部分”)执行图像处理。因为可以认为观察者很可能看病理图像的光标部分,所以从光标部分执行图像处理对于观察者来说是方便的。

输出处理过程还在已处理部分和未处理部分之间的边界显示边界线。在图6的(b)中,区域R5的内部是已处理部分,区域R5的外部是未处理部分。注意,在图6的(c)中,包括新的已处理部分的区域R6的边界线以类似于图5的(c)中的区域R4的边界线的方式被突出显示。

图7是示意性示出根据第一实施例的病理图像的第五示例的示图。如图7所示,输出处理过程通过位于更靠近已处理部分(在中央侧)的第一线类型的线L71、位于更靠近未处理部分(在外侧)的第二线类型的线L73以及它们之间的线L72来显示边界线。在此处,线L71、L72和L73具有以此顺序增加的不同程度的颜色暗度。观察者可以通过预先识别已处理部分在较浅颜色侧,而未处理部分在较深颜色侧,来可靠地区分病理图像中的已处理部分和未处理部分,并且可以避免错误诊断。注意,改变线类型的方式不限于改变颜色,还可以在实线和虚线等之间改变。此外,形成边界线的线的数量不限于三条,并且可以是两条或四条或更多条。

图8是示意性示出根据第一实施例的病理图像的第六示例的示图。当病理图像被放大并且已处理部分或未处理部分在显示单元45上显示的整个屏幕上时,观察者可能不能容易地确定已处理部分和未处理部分中的哪一个在整个屏幕上。因此,如图8所示,输出处理过程通过在显示单元45的一部分(区域R9)中显示整个病理图像来放大显示单元45上的病理图像的一部分(区域R8),并且在所显示的整个病理图像中显示已处理部分(区域R9中的区域R10内部)和未处理部分(区域R9中的区域R10外部)之间的边界处的边界线。此外,区域R9中的区域R11对应于放大部分(区域R8)。

以这种方式,观察者可以容易地识别出放大部分(区域R8)对应于整个部分(区域R9)中的区域R11,并且是未处理部分。

输出处理过程还突出显示(例如,用粗框显示)放大部分(区域R8),这是病理图像的一部分。以这种方式,观察者可以进一步容易地识别放大部分(区域R8)是未处理部分。

输出处理程序还通过文本指示(带有参考字符T的“注意!未处理”的指示)指示未处理部分。以这种方式,观察者可以进一步容易地识别放大部分(区域R8)是未处理部分。注意,文本指示不限于被提供给未处理部分,而是可以被提供给已处理部分。此外,尽管文本指示优选地通过在屏显示(OSD)来提供,但是在这方面没有限制,并且可以通过其他方式来提供。

图9是示意性示出根据第一实施例的用于对病理图像执行预定图像处理的用户界面(UI)的示例的示图。在该屏幕上,作为颜色校正的示例的色温校正(色温)、边缘增强(清晰度)和对比度校正(对比度)中的任何一个可以经由用户界面显示UI1中的用于预定图像处理的菜单(图像处理菜单)((a)、(b))来选择。例如,当选择色温校正(色温)时((c)),启用5000K、6000K或7000K的三选选择。然后,如果选择5000K((d)),例如,通过对俯视图像(示出病理图像的一般视图的图像)执行5000K的色温校正而获得的图像以弹出方式显示,作为图9的(a)中的区域R12中的示例。观察者观看该弹出指示,并且如果满足,则执行确认选择的操作,从而在整个显示屏上执行5000K的色温校正。

以这种方式,观察者可以通过使用如上所述的UI容易地选择病理图像上的预定图像处理的细节。注意,在上述示例中,通过对具有较小面积的俯视图像而不是图9的(a)所示的整个显示屏幕执行色温校正来减少所需的处理时间,以用于作为示例的显示。

图10是示意性示出根据第一实施例的用于识别病理图像中的未处理部分的显示的示例的示图。如上所述,输出处理过程还可以通过显示单元45上的图形指示来指示未处理部分的显示。在图10的病理图像中,区域R14的内部是已处理部分,区域R14的外部是未处理部分。此外,区域R13是俯视图像。此外,图标A1是指示通过显示沙漏来显示未处理部分的图标。此外,状态栏SB1是通过显示近似剩余时间来指示显示未处理部分的状态栏。

以这种方式,通过指示除了区域R14的内部和外部之间的边界线之外,还通过图标A1或状态栏SB1的图形指示来显示未处理部分,观察者可以更可靠地识别未处理部分存在于显示的病理图像中。

注意,尽管为了便于创建附图,在图10中显示了图标A1和状态栏SB1,但是在这方面没有限制,并且可以仅显示其中之一。也可以使用另一说明性的指示。

以这种方式,根据第一实施例中的诊断支持系统1,通过输出用于识别病理图像上的图像处理的已处理部分和未处理部分的识别信息,可以提高使用病理图像的病理诊断的准确性。

具体地,通过在显示的病理图像中在已处理部分和未处理部分之间的边界处显示边界线,观察者可以可靠地区分病理图像中的已处理部分和未处理部分,并且可以避免错误诊断。

此外,通过借助于围绕其的边界线的颜色、厚度或闪烁中的至少一个来突出显示新的已处理部分,观察者可靠地识别病理图像中的新的已处理部分,并且可以更好地避免错误诊断。

此外,从显示的病理图像的中心部分执行图像处理对于观察者来说是方便的,因为可以认为观察者经常从中心部分观看病理图像。

此外,当光标与病理图像一起显示时,从对应于光标位置的部分执行图像处理对于观察者来说是方便的,因为可以认为观察者很可能看着光标部分。

此外,通过以多种线类型的线显示边界线,观察者可以更可靠地区分病理图像中的已处理部分和未处理部分。

此外,通过在显示单元45上放大病理图像的一部分时在俯视图像中的已处理部分和未处理部分之间的边界处显示边界线,观察者可以通过观看俯视图像容易地识别已处理部分和未处理部分中的哪一个放大。

此外,通过在该过程中放大部分是未处理部分时突出显示(用粗框等显示)放大部分,观察者可以进一步容易地识别放大部分是未处理部分。

此外,通过借助于文本指示来指示病理图像的已处理部分和未处理部分中的至少一个,观察者可以更可靠地识别已处理部分和未处理部分。

此外,通过借助于图形指示(例如,图10中的图标A1或状态栏SB1)指示显示未处理部分,观察者可以更可靠地识别病理图像中存在未处理部分。

此外,通过在对未处理部分执行预定的图像质量劣化处理(亮度降低或灰度缩放)之后显示病理图像,可以进一步降低由于难以查看未处理部分而出现错误诊断的可能性。

注意,病理图像上的预定图像处理的开始位置不限于如上所述的屏幕中心或光标部分,并且例如如果通过机器学习等的估计来识别病变,则可以是病变。

此外,预定图像处理不限于颜色校正、边缘增强或对比度校正,并且可以是诸如色调曲线校正等其他图像处理。

<第二实施例>

[4.根据第二实施例的系统的配置]

接下来,将描述根据第二实施例的诊断支持系统1。将适当省略与第一实施例中类似的项目的描述。第二实施例与第一实施例的不同之处在于使用了所谓的平铺图像。即,在第二实施例中,病理图像由多个平铺图像组成。此外,当在显示单元45上显示的平铺图像的层改变时,图像处理过程对新层中的平铺图像执行预定的图像处理。将在下面描述细节。

图11是根据第二实施例的诊断支持系统1的整体配置图。与第一实施例的情况相比,平铺图像生成单元37被添加到服务器3。将在后面描述平铺图像生成单元37的细节。

[5.第二实施例中的平铺图像的描述]

图12是用于示出根据第二实施例的图像捕获处理的示图。如上所述,扫描仪2捕获包含在载玻片G10中的观察对象A10的图像,并且获取病理图像,该病理图像是数字图像。在第二实施例中,例如,扫描仪2生成整个图像,然后识别观察对象A10存在于整个图像中的区域,并且通过将观察对象A10存在于其中的区域划分预定尺寸而获得的划分区域的图像被高分辨率图像捕获单元依次捕获。例如,如图12所示,扫描仪2首先捕获区域R11的图像,并生成高分辨率图像I11,作为示出观察对象A10的部分区域的图像。随后,扫描仪2移动载物台,以通过高分辨率图像捕获单元捕获区域R12的图像,并生成对应于区域R12的高分辨率图像I12。扫描仪2以类似的方式生成对应于区域R13、R14、...的高分辨率图像I13、I14、...。尽管在图12中仅示出了直到R18的区域,但是扫描仪2依次移动载物台,以通过高分辨率图像捕获单元捕获对应于观察对象A10的所有划分区域的图像,并且生成对应于各个划分区域的高分辨率图像。

顺便提及,当载物台移动时,载玻片G10可以在载物台上移动。如果载玻片G10移动,则可能出现没有对其执行图像捕获的观察对象A10的区域。扫描仪2通过高分辨率图像捕获单元执行图像捕获,使得相邻的划分区域部分重叠,如图12所示,从而即使当载玻片G10稍微移动时,也可以防止没有执行图像捕获的区域的出现。

注意,尽管上面示出了通过移动载物台来改变图像捕获区域的示例,但是扫描仪2可以通过移动光学系统(例如,高分辨率图像捕获单元)来改变图像捕获区域。此外,在图12中,示出了扫描仪2从其中心部分捕获观察对象A10的图像的示例。然而,扫描仪2也可以以不同于图12所示的图像捕获顺序的顺序捕获观察对象A10的图像。例如,扫描仪2可以从其外围部分捕获观察对象A10的图像。

随后,由扫描仪2生成的每个高分辨率图像被发送到服务器3,并由服务器3中的平铺图像生成单元37划分为预定大小。以这种方式,从高分辨率图像生成部分图像(平铺图像)。这将通过使用图13来描述。图13是用于示出第二实施例中的部分图像(平铺图像)的生成过程的示图。

图13示出了对应于图12所示的区域R11的高分辨率图像I11。注意,将通过假设服务器3从高分辨率图像生成部分图像来进行以下描述。然而,部分图像也可以由除服务器3之外的装置(例如,设置在扫描仪2中的信息处理装置)生成。

在图13所示的示例中,服务器3划分单个高分辨率图像I11,以生成100个平铺图像T11、T12、...。例如,如果高分辨率图像I11的分辨率是2560×2560[像素],则服务器3从高分辨率图像I11生成分辨率为256×256[像素]的100个平铺图像T11、T12、...。类似地,服务器3将其他高分辨率图像划分为相同的大小,以生成平铺图像。

注意,在图13的示例中,区域R111、R112、R113和R114是与其他相邻高分辨率图像重叠的区域(图13中未示出)。服务器3通过诸如模板匹配等技术来执行重叠区域的对齐,以对彼此相邻的高分辨率图像执行拼接处理。在这种情况下,服务器3可以通过在拼接处理之后划分高分辨率图像,来生成平铺图像。可选地,服务器3可以在拼接处理之前生成除了区域R111、R112、R113和R114之外的区域的平铺图像,并且在拼接处理之后生成区域R111、R112、R113和R114的平铺图像。

以这种方式,服务器3生成平铺图像,作为观察对象A10的捕获图像的最小单位。服务器3(或观察器4)然后依次合成最小单位的平铺图像,以生成具有不同层的平铺图像。具体地,服务器3合成预定数量的相邻平铺图像,以生成一个平铺图像。这将通过使用图14和图15来描述。图14和图15是用于示出根据第二实施例的病理图像的示图。

在图14的上部,示出了由服务器3从每个高分辨率图像生成的最小单位的一组平铺图像。在图14的上部的示例中,服务器3合成平铺图像中彼此相邻的四个平铺图像T111、T112、T211和T212,以生成一个平铺图像T110。例如,如果平铺图像T111、T112、T211和T212中的每一个具有256×256的分辨率,则服务器3生成具有256×256的分辨率的平铺图像T110。类似地,服务器3合成彼此相邻的四个平铺图像T113、T114、T213和T214,以生成平铺图像T120。以这种方式,服务器3生成合成预定数量的最小单位的平铺图像的平铺图像。

服务器3还通过进一步合成通过合成最小单位的平铺图像而获得的平铺图像中彼此相邻的平铺图像来生成平铺图像。在图14的示例中,服务器3合成彼此相邻的四个平铺图像T110、T120、T210和T220,以生成一个平铺图像T100。例如,如果平铺图像T110、T120、T210和T220具有256×256的分辨率,则服务器3生成具有256×256的分辨率的平铺图像T100。例如,服务器3通过执行四像素平均、加权滤波(用于增加相对于更远的像素更近的像素的反射的处理)、1/2稀疏处理等,从通过合成彼此相邻的四个平铺图像而获得的分辨率为512×512的图像中生成分辨率为256×256的平铺图像。

服务器3重复这种合成处理,以最终生成具有与最小单位的平铺图像的分辨率相同的分辨率的一个平铺图像。例如,如在上述示例中,如果最小单位的平铺图像具有256×256的分辨率,则服务器3重复上述合成处理,以最终生成具有256×256的分辨率的一个平铺图像T1。

图15示意性地示出了图14所示的平铺图像。在图15所示的示例中,最低层中的平铺图像组是由服务器3生成的最小单位的平铺图像。从底部开始的第二层中的平铺图像组是通过合成最低层中的平铺图像组而获得的平铺图像。最上层的平铺图像T1代表最终生成的一个平铺图像。以这种方式,服务器3生成具有如图15所示的诸如金字塔结构之类的层的平铺图像组,作为病理图像。

注意,图14所示的区域D表示在诸如显示单元45等显示屏上显示的区域的示例。例如,假设显示装置能够显示的分辨率是三个垂直平铺图像乘以四个水平平铺图像。在这种情况下,如图14所示的区域D,在显示装置上显示的观察对象A10的详细程度取决于正在显示的平铺图像所属的层。例如,当使用最低层中的平铺图像时,详细显示观察对象A10的小区域。由于所使用的平铺图像位于更高的层中,因此更粗糙地显示观察对象A10的更大区域。

服务器3在存储单元32中存储如图15所示的每一层中的平铺图像。例如,服务器3将每个平铺图像与能够唯一识别每个平铺图像的平铺识别信息(部分图像信息的示例)一起存储。在这种情况下,当从观察器4接受获取包括平铺识别信息的平铺图像的请求时,服务器3将对应于平铺识别信息的平铺图像发送给观察器4。此外,例如,服务器3可以将每个平铺图像与识别每一层的层识别信息以及能够在同一层内唯一识别的平铺识别信息一起存储。在这种情况下,当从观察器4接受获取包括层识别信息和平铺识别信息的平铺图像的请求时,服务器3向观察器4发送属于与层识别信息对应的层的平铺图像中与平铺识别信息对应的平铺图像。

注意,服务器3也可以在观察器4、云服务器(未示出)等中存储如图15所示的每层中的平铺图像。此外,可以在云服务器等中执行图14和图15所示的平铺图像的生成处理。

此外,服务器3可以不在所有层中存储平铺图像。例如,服务器3可以仅存储最低层中的平铺图像,可以仅存储最低层中的平铺图像和最上层中的平铺图像,或者可以存储预定层(例如,奇数层或偶数层)中的平铺图像。此时,当从另一装置请求未存储的层中的平铺图像时,服务器3动态地合成存储的平铺图像,以生成从另一装置请求的平铺图像。以这种方式,对于服务器3,可以通过减少要存储的平铺图像来防止对存储容量的挤压。

尽管在上述示例中没有提到图像捕获条件,但是服务器3可以针对每个图像捕获条件在每个层中存储如图15所示的平铺图像。图像捕获条件的一个示例是对象(例如,观察对象A10)的焦距。例如,扫描仪2可以在改变同一对象的焦距的同时捕获图像。在这种情况下,服务器3可以针对每个焦距存储如图15所示的每层中的平铺图像。注意,改变焦距的原因是观察对象A10可以是半透明的,因此存在适于捕获观察对象A10的表面的图像的焦距和适于捕获观察对象A10的内部的图像的焦距。换言之,扫描仪2可以通过改变焦距来生成从观察对象A10的表面捕获的病理图像和从观察对象A10的内部捕获的病理图像。

另一示例图像捕获条件是对观察对象A10进行染色的条件。具体地,在病理诊断中,观察对象A10的特定部分(例如,细胞)可以用发光物质染色。发光物质是指例如响应于特定波长的光的照射而发光的物质。同一观察对象A10可能被不同的发光物质染色。在这种情况下,对于用于染色的每个发光物质,服务器3可以存储如图15所示的每层中的平铺图像。

此外,上面描述的平铺图像的数量和分辨率是一个示例,并且可以根据系统适当地改变。例如,由服务器3合成的平铺图像的数量不限于四个。例如,服务器3可以重复合成3×3=9个平铺图像的过程。此外,尽管上面示出了平铺图像的分辨率为256×256的示例,但是平铺图像的分辨率可以不是256×256。

观察器4使用采用能够处理具有上述层结构的平铺图像组的系统的软件,根据用户的输入操作从具有层结构的平铺图像组中提取期望的平铺图像,并在显示单元45上将其输出。具体地,显示单元45在用户选择的具有特定分辨率的图像中显示用户选择的特定部分的图像。这种处理允许用户在改变观察放大率的同时体验观察所述观察对象的感觉。即,观察器4用作虚拟显微镜。此处的虚拟观察放大率实际上对应于分辨率。

[6.根据第二实施例的显示病理图像的示例]

图16是示意性示出根据第二实施例的显示病理图像的示例的示图。图16的(a)所示的病理图像I1由金字塔结构的中间层部分中的一组平铺图像组成。如图16的(b)所示,在显示单元45上显示病理图像I1的区域R15。在图16的(b)的病理图像中,区域R16的内部是已处理部分,区域R16的外部是未处理部分。在它们的边界上显示边界线。

此外,病理图像I2由比病理图像I1更高层的一组平铺图像组成。病理图像I2的区域R17对应于病理图像I1的区域R15。此外,病理图像I3由比病理图像I1更低层的一组平铺图像组成。病理图像I3的区域R18对应于病理图像I1的区域R15。

在这种情况下,例如,当显示病理图像I1的区域R15时,可以对病理图像I2的区域R17和与其对应的病理图像I3的区域R18上的背景执行预定的图像处理,以减少在变焦操作(Z方向移动)期间使用户等待的时间。也可以通过预测用户对X方向和Y方向的操作来预先执行预定的图像处理。

以这种方式,根据第二实施例中的诊断支持系统1,即使对于由多个平铺图像组成的病理图像,通过输出用于识别图像处理的已处理部分和未处理部分的识别信息(例如,显示边界线),可以提高使用病理图像的病理诊断的准确性。

具体地,例如,当显示的平铺图像的层改变时,通过对新层中的平铺图像执行预定的图像处理并执行已处理部分和未处理部分之间的边界线的显示等,观察者可以可靠地区分病理图像中的已处理部分和未处理部分。

<第三实施例>

[7.根据第三实施例的系统的配置]

接下来,将描述根据第三实施例的诊断支持系统1。将适当省略与第一实施例中类似的项目的描述。图17是根据第三实施例的诊断支持系统1的整体配置图。第三实施例与第一实施例的不同之处在于,声音控制单元48和声音输出单元49被添加到观察器4。

声音控制单元48执行输出声音作为识别信息的输出处理过程,用于识别病理图像上的图像处理的已处理部分和未处理部分。声音输出单元49是用于输出声音的装置,并且是例如扬声器。例如,当在显示单元45上显示未处理部分时,声音控制单元48通过声音来通知此情况。

以这种方式,根据第三实施例中的诊断支持系统1,不仅显示而且声音可以用于识别病理图像上的图像处理的已处理部分和未处理部分。因此,观察者可以更可靠地区分病理图像中的已处理部分和未处理部分。

<其他实施例>

根据上述实施例的过程可以以不同于上述实施例的各种不同形式来执行。

[显示装置]

在上述实施例中,假设显示单元45是台式显示装置。然而,在这方面没有限制,并且显示单元45也可以是病理学家等佩戴的可佩戴装置(例如,头戴式显示器)。

[图像捕获装置]

此外,尽管在上述实施例中通过使用扫描仪作为用于捕获观察对象的图像的装置的示例进行了描述,但是在这方面没有限制。例如,用于捕获观察对象的图像的装置可以是医学图像获取装置,例如,内窥镜、计算机断层摄影(CT)或磁共振图像(MRI),用于捕获患者身体内部的图像。在这种情况下,诸如由内窥镜生成的二维静态图像或运动图像或者由CT或MRI生成的三维图像等医学图像被保存在服务器3中。

[服务器]

由诸如内窥镜、CT或MRI等另一医学图像获取装置捕获的其他病理图像也可以与由扫描仪2生成的病理图像相关联地存储在服务器3中。

[硬件配置]

例如,根据上述实施例的诸如服务器3或观察器4等信息设备由具有如图18所示的配置的计算机1000实现。下面将描述根据第一实施例的观察器4的示例。图18是示出用于实现观察器4的功能的计算机的示例的硬件配置图。

计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的组件通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作,并控制组件。例如,CPU 1100将存储在ROM 1300或HDD 1400中的程序开发到RAM 1200上,并执行对应于各种程序的处理。

ROM 1300存储引导程序,例如,在启动计算机1000时由CPU 1100执行的基本输入输出系统(BIOS)、取决于计算机1000的硬件的程序等。

HDD 1400是计算机可读记录介质,其非暂时地记录由CPU 1100执行的程序、程序使用的数据等。具体地,HDD 1400是记录根据本公开的响应生成程序的记录介质,作为程序数据1450的示例。

通信接口1500是用于连接到外部网络1550(例如,互联网)的计算机1000的接口。例如,CPU 1100从其他设备接收数据,并且经由通信接口1500将由CPU 1100生成的数据发送到其他设备。

输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如,CPU 1100经由输入/输出接口1600从诸如键盘或鼠标等输入装置接收数据。CPU 1100还经由输入/输出接口1600向诸如显示器、扬声器或打印机等输出装置发送数据。输入/输出接口1600还可以用作读取记录在预定计算机可读记录介质(介质)等中的程序的介质接口。介质的示例包括光学记录介质,例如,数字多功能盘(DVD)和相变可重写盘(PD),磁光记录介质,例如,磁光盘(MO)、磁带介质、磁记录介质、半导体存储器等。

例如,如果计算机1000用作根据第一实施例的观察器4,则计算机1000的CPU 1100执行加载在RAM 1200上的诊断支持程序,以实现接收单元41、解码单元42、图像处理单元43、显示控制单元44等的功能。

[其他]

在上述实施例中被描述为自动执行的所有或一些过程也可以手动执行,或者被描述为手动执行的所有或一些过程也可以以已知的方法自动执行。此外,除非另有说明,否则可以根据需要修改上述文本和附图中所示的信息,包括处理过程、具体名称、各种数据和参数。例如,附图中所示的各种信息不限于所示的信息。

此外,所示的装置的组件是功能概念,不一定需要如图所示进行物理配置。即,装置的分布和集成的具体形式不限于所示出的那些,并且根据各种负载、使用条件等,其中的全部或一些可以在功能上或物理上分布或集成在任何单元中。

此外,在没有过程的不一致的情况下,上述实施例和变型可以适当地组合。

注意,本文描述的效果仅仅是示例而非限制,并且可以提供其他效果。

注意,本技术可以采用以下配置。

(1)一种诊断支持程序,用于使计算机执行:

图像处理过程,用于对由图像捕获装置捕获的病理图像执行预定的图像处理;以及

输出处理过程,用于输出识别信息,该识别信息用于识别对病理图像的图像处理的已处理部分和未处理部分。

(2)根据(1)所述的诊断支持程序,其中,

所述输出处理过程包括:

在显示单元上显示的已处理部分和未处理部分之间的边界处显示作为识别信息的边界线。

(3)根据(2)所述的诊断支持程序,其中,

所述输出处理过程包括:

对在所述显示单元上显示的所述已处理部分中的新的已处理部分采用其周围的所述边界线的颜色、粗细和闪烁中的至少一个来进行突出显示。

(4)根据(2)或(3)所述的诊断支持程序,其中,

所述图像处理过程包括:

从病理图像中的在显示单元上显示的区域的中心部分执行图像处理。

(5)根据(2)或(3)所述的诊断支持程序,其中,

所述图像处理过程包括:

从病理图像中的与在显示单元上显示的光标位置相对应的部分执行图像处理。

(6)根据(2)或(3)所述的诊断支持程序,其中,

所述输出处理过程包括:

通过位于已处理部分侧的第一线类型的线和位于未处理部分侧的第二线类型的线显示边界线。

(7)根据(2)或(3)所述的诊断支持程序,其中,

所述输出处理过程包括:

在显示单元放大并显示病理图像的一部分时,在显示单元的一部分中显示整个病理图像,并且在所显示的整个病理图像中在已处理部分和未处理部分之间的边界处显示边界线。

(8)根据(7)所述的诊断支持程序,其中,

所述输出处理过程包括:

当在显示单元放大显示的病理图像的一部分是未处理部分时,突出显示病理图像的一部分。

(9)根据(2)或(3)所述的诊断支持程序,其中,

所述输出处理过程包括:

在显示单元中,通过文本显示来指示已处理部分和未处理部分中的至少一个。

(10)根据(2)或(3)所述的诊断支持程序,其中,

所述输出处理过程包括:

在所述显示单元中借助于图像显示指示正在显示所述未处理部分。

(11)根据(2)或(3)所述的诊断支持程序,其中,

所述输出处理过程包括:

在对未处理部分执行预定的图像质量劣化处理之后,在显示单元上执行显示。

(12)根据(2)或(3)所述的诊断支持程序,其中,

所述病理图像由多个平铺图像组成,并且

所述图像处理过程包括:

当在显示单元上显示的平铺图像的层改变时,对新层中的平铺图像执行预定的图像处理。

(13)根据(2)或(3)所述的诊断支持程序,其中,

所述输出处理过程包括:

当在显示单元上显示未处理部分时,通过声音来通知此情况。

(14)一种诊断支持系统,包括:

图像捕获装置;以及

信息处理装置,所述信息处理装置对由图像捕获装置捕获的病理图像执行预定的图像处理,并输出识别信息,该识别信息用于识别对病理图像的图像处理的已处理部分和未处理部分。

(15)一种诊断支持方法,其中,计算机执行:

图像处理过程,用于对由图像捕获装置捕获的病理图像执行预定的图像处理;以及

输出处理过程,用于输出识别信息,该识别信息用于识别对病理图像的图像处理的已处理部分和未处理部分。

(16)一种诊断支持系统,包括图像捕获装置和用于处理由图像捕获装置捕获的病理图像的软件,其中,

所述软件是用于使信息处理装置执行以下处理的软件:图像处理,用于对病理图像执行预定的图像处理;以及输出处理,用于输出识别信息,该识别信息用于识别对病理图像的图像处理的已处理部分和未处理部分。

附图标记列表

1 诊断支持系统

2 扫描仪

3 服务器

4 观察器

21 图像捕获单元

22 图像处理单元

23 编码单元

24 发送单元

31 接收单元

32 存储单元

33 解码单元

34 图像处理单元

35 编码单元

36 发送单元

37 平铺图像生成单元

41 接收单元

42 解码单元

43 图像处理单元

44 显示控制单元

45 显示单元

46 存储单元

47 操作单元

48 声音控制单元

49 声音输出单元。

36页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用于将绝缘层从导线端部分离的方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!