图像处理装置及其工作方法

文档序号:1957439 发布日期:2021-12-10 浏览:14次 >En<

阅读说明:本技术 图像处理装置及其工作方法 (Image processing apparatus and method for operating the same ) 是由 目黑美沙纪 于 2020-03-31 设计创作,主要内容包括:本发明提供一种图像处理装置及其工作方法,所述图像处理装置能够进行以下步骤中的至少一个:不进行活检而计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。疾病相关处理部(66)进行以下步骤中的至少一个:根据从医学图像获得的表层血管的密集、粘膜内出血及粘膜外出血计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。(The invention provides an image processing apparatus and a method for operating the same, wherein the image processing apparatus is capable of performing at least one of the following steps: a step of calculating an index value relating to the stage of ulcerative colitis without performing biopsy; a step of determining the stage of ulcerative colitis; or a step of determining remission or non-remission of ulcerative colitis. A disease-related processing unit (66) performs at least one of the following steps: a step of calculating an index value relating to the stage of ulcerative colitis on the basis of the density of superficial blood vessels, intra-mucosal hemorrhage, and extra-mucosal hemorrhage obtained from the medical image; a step of determining the stage of ulcerative colitis; or a step of determining remission or non-remission of ulcerative colitis.)

图像处理装置及其工作方法

技术领域

本发明涉及一种进行与疾病相关的处理的图像处理装置及其工作方法。

背景技术

在医学领域,使用医学图像进行诊断的步骤正在广泛进行。例如,作为使用医学图像的装置,有具备光源装置、内窥镜、及处理器装置的内窥镜系统。在内窥镜系统中,通过对观察对象照射照明光并拍摄被照明光照明的观察对象,从而获取作为医学图像的内窥镜图像。内窥镜图像显示在监视器上并用于诊断。

并且,近年来,通过根据内窥镜图像进行处理,还向用户提供支持病变部等异常区域的判定等的诊断的信息。例如,在专利文献1中,将粘膜区域中的血管透视图像的血管清晰度降低的区域即清晰度降低区域作为血管透视图像局部消失的异常区域的候补区域而提取后,根据异常区域的候补区域的形状判定候补区域是否为异常区域。

以往技术文献

专利文献

专利文献1:日本特开2016-16185号公报

发明内容

发明要解决的技术课题

作为大肠疾病之一,已知有溃疡性结肠炎(UC(Ulcerative Colitis))。目前通过内窥镜诊断后的活检来进行溃疡性结肠炎是缓解还是未缓解的判断。因此,需要在不进行活检的情况下进行溃疡性结肠炎的缓解或未缓解的判定等。

本发明的目的在于提供一种图像处理装置及其工作方法,所述图像处理装置能够进行以下步骤中的至少一个:不进行活检而计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。

用于解决技术课题的手段

本发明的图像处理装置中,处理器获取通过拍摄观察对象而获得的医学图像,并进行以下步骤中的至少一个:根据从医学图像获得的表层血管的密集、粘膜内出血及粘膜外出血计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。

当判定溃疡性结肠炎的缓解或未缓解时,优选处理器通过从医学图像获得的频率特性或亮度值将表层血管的密集、粘膜内出血及粘膜外出血进行分类,并根据分类来判定溃疡性结肠炎的缓解或未缓解。

优选的是,当由处理器判定溃疡性结肠炎的缓解或未缓解时,处理器从医学图像计算频率分量空间分布,并根据频率分量空间分布提取具有第1频率特性的第1频率特性区域,并提取具有第2频率特性的第2频率特性区域,所述第2频率特性能够具有比第1频率特性高的频率,提取具有第3频率特性的第3频率特性区域,所述第3频率特性具有比第2频率特性高的频率,根据实施使用亮度值的第1区域判别处理的第1频率特性区域、实施使用亮度值的第2区域判别处理的第2频率特性区域及第3频率特性区域检测表层血管的密集、粘膜内出血及粘膜外出血,并根据检测到的表层血管的密集、粘膜内出血及粘膜外出血来判定溃疡性结肠炎的缓解或未缓解。

优选的是,处理器根据频率分量空间分布提取第1频率特性区域,并根据频率分量空间分布提取第3频率特性区域,检测从医学图像除去第1频率特性区域的分析对象区域,并通过从分析对象区域除去第3频率特性区域来提取第2频率特性区域。

优选处理器通过对第1频率特性区域实施第1区域判别处理来检测粘膜外出血,并通过对第2频率特性区域实施第2区域判别处理来检测粘膜内出血,并检测第3频率特性区域作为表层血管的密集。

优选的是,当满足存在表层血管的密集、粘膜内出血的检测量为粘膜内出血用阈值以上、粘膜外出血的检测量为粘膜外出血用阈值以上、及粘膜内出血的检测量与粘膜外出血的检测量的和为粘膜内外出血用阈值以上的条件中的任一个时,处理器判定为溃疡性结肠炎未缓解,当均不满足存在表层血管的密集、粘膜内出血的检测量为粘膜内出血用阈值以上、粘膜外出血的检测量为粘膜外出血用阈值以上、及粘膜内出血的检测量与粘膜外出血的检测量的和为粘膜内外出血用阈值以上的条件时,处理器判定为溃疡性结肠炎缓解。

优选的是,医学图像通过拍摄被包括短波长的光的照明光所照明的观察对象而获得。优选的是,照明光为中心波长或峰值波长包括410nm的紫色光。优选的是,照明光为作为短波长的光的蓝色窄频带光和绿色窄频带光,医学图像通过拍摄交替照明蓝色窄频带光和绿色窄频带光的观察对象而获得。优选的是,照明光为包括短波长的光和通过对荧光体照射激励光而获得的荧光的伪白色光。优选的是,照明光包括作为短波长的光的紫色光、蓝色光、绿色光或红色光。

本发明的图像处理装置的工作方法具备:图像获取步骤,获取拍摄观察对象而获得的医学图像;及判定步骤,其进行以下步骤中的至少一个:根据从医学图像获得的表层血管的密集、粘膜内出血及粘膜外出血计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。

优选的是,在判定步骤中,当由处理器判定溃疡性结肠炎的缓解或未缓解时,在判定步骤中,具有:处理器从医学图像计算频率分量空间分布的步骤;根据频率分量空间分布提取具有第1频率特性的第1频率特性区域,并提取具有第2频率特性的第2频率特性区域,所述第2频率特性能够具有比第1频率特性高的频率,提取具有第3频率特性的第3频率特性区域,所述第3频率特性具有比第2频率特性高的频率的步骤;根据实施使用亮度值的第1区域判别处理的第1频率特性区域、实施使用亮度值的第2区域判别处理的第2频率特性区域及第3频率特性区域检测表层血管的密集、粘膜内出血及粘膜外出血的步骤;及根据检测到的表层血管的密集、粘膜内出血及粘膜外出血来判定溃疡性结肠炎的缓解或未缓解的步骤。

发明效果

根据本发明,能够进行以下步骤中的至少一个:计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。

附图说明

图1是内窥镜系统的外观图。

图2是表示第1实施方式的内窥镜系统的功能的框图。

图3是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。

图4是表示第1实施方式的特殊光的光谱的曲线图。

图5是表示仅包括紫色光V的特殊光的光谱的曲线图。

图6是表示根据溃疡性结肠炎的严重程度而变化的血管结构的图案的说明图。

图7是表示大肠的剖面的剖视图。

图8是表示根据亮度值及空间频率分类的表层血管的密集、粘膜内出血及粘膜外出血的说明图。

图9是表示疾病相关处理部的功能的框图。

图10是表示提取第1频率特性区域、第2频率特性区域及第3频率特性区域的一连串的流程的说明图。

图11是显示与判定相关的信息的监视器的图像图。

图12是表示疾病相关处理模式的一连串的流程的流程图。

图13是表示第2实施方式的内窥镜系统的功能的框图。

图14是旋转滤波器的平面图。

图15是表示第3实施方式的内窥镜系统的功能的框图。

图16是表示第3实施方式的普通光的光谱的曲线图。

图17是表示第3实施方式的特殊光的光谱的曲线图。

图18是表示诊断支持装置的框图。

图19是表示医疗业务支持装置的框图。

具体实施方式

[第1实施方式]

在图1中,内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、监视器18及控制台19。内窥镜12与光源装置14光学连接,且与处理器装置16电连接。内窥镜12具有插入于观察对象的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b的弯角钮12e来进行弯曲动作。前端部12d随着弯曲部12c的弯曲动作而朝向所期望的方向。

并且,操作部12b中除了弯角钮12e以外还设置有用于模式的切换操作的模式切换SW(模式切换开关)12f及用于观察对象的静止图像的获取命令的静止图像获取命令部12g。

另外,内窥镜系统10具有普通光模式、特殊光模式、疾病相关处理模式这3个模式。在普通光模式中,通过将普通光照明到观察对象并进行拍摄而在监视器18上显示自然色彩的普通图像。在特殊光模式中,通过将普通光和不同波长带的特殊光照明到观察对象而进行拍摄而在监视器18上显示强调特定结构的特殊光图像。在疾病相关处理模式中,根据普通图像或特殊图像来判定作为疾病之一的溃疡性结肠炎的缓解或未缓解。另外,在疾病相关处理模式中,也可以进行计算与溃疡性结肠炎的阶段有关的指标值的步骤或判定溃疡性结肠炎的阶段的步骤。

另外,在本实施方式中,在疾病相关处理模式中使用特殊图像(内窥镜图像),但是也可以使用普通图像。并且,作为疾病相关处理模式中使用的图像,除了作为医学图像之一的内窥镜图像的特殊图像以外,还可以使用通过放射线摄影装置获得的放射线图像、通过CT(Computed Tomography:计算机断层扫描)获得的CT图像、通过MRI(Magnetic ResonanceImaging:磁共振成像)获得的MRI图像等医学图像。并且,在连接有内窥镜12的处理器装置16内,执行疾病相关处理模式,但是也可以通过其他方法执行疾病相关处理模式。例如,也可以在与内窥镜系统10不同的外部的图像处理装置中设置疾病相关处理部66的功能,将医学图像输入于外部的图像处理装置并执行疾病相关处理模式,将其执行结果显示于连接于外部的图像处理装置的外部的监视器。

处理器装置16与监视器18及控制台19电连接。监视器18输出并显示观察对象的图像、附带于观察对象的图像的信息等。控制台19作为接受功能设定等的输入操作的用户界面而发挥作用。另外,在处理器装置16中也可以连接记录图像或图像信息等的外置记录部(省略图示)。并且,处理器装置16对应于本发明的图像处理装置。

在图2中,光源装置14具备光源部20、控制光源部20的光源控制部21。光源部20例如具有多个半导体光源,将这些光源分别点亮或熄灭,当点亮时,通过控制各半导体光源的发光量来发出照明观察对象的照明光。在本实施方式中,光源部20具有V-LED(VioletLight Emitting Diode:紫色发光二极管)20a、B-LED(Blue Light Emitting Diode:蓝色发光二极管)20b、G-LED(Green Light Emitting Diode:绿色发光二极管)20c及R-LED(RedLight Emitting Diode:红色发光二极管)20d这4种颜色的LED。

如图3所示,V-LED20a产生中心波长405±10nm、波长范围380~420nm的紫色光V。B-LED20b产生中心波长460±10nm、波长范围420~500nm的蓝色光B。G-LED20c产生波长范围达到480~600nm的绿色光G。R-LED20d产生中心波长620~630nm且波长范围达到600~650nm的红色光R。另外,紫色光V为用于检测疾病相关处理模式中使用的表层血管的密集、粘膜内出血及粘膜外出血的短波长的光,优选在中心波长或峰值波长中包括410nm。

光源控制部21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。并且,当为普通光模式时,光源控制部21以发射紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vc∶Bc∶Gc∶Rc的普通光的方式,控制各LED20a~20d。

并且,光源控制部21为特殊光模式或疾病相关处理模式时,以发射作为短波长的光的紫色光V与蓝色光B、绿色光G及红色光R的光强度比成为Vs∶Bs∶Gs∶Rs的特殊光的方式控制各LED20a~20d。光强度比成为Vs∶Bs∶Gs∶Rs的特殊光,优选强调表层血管等。因此,第1照明光优选使紫色光V的光强度大于蓝色光B的光强度。例如,如图4所示,将紫色光V的光强度Vs与蓝色光B的光强度Bs的比率设为“4∶1”。并且,如图5所示,关于特殊光,可以将紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比设为1∶0∶0∶0,仅发射作为短波长的光的紫色光V。

另外,在本说明书中,光强度比包括至少1个半导体光源的比率为0(零)的情况。因此,包括各半导体光源中的任一个或2个以上未点亮的情况。例如,如紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比为1∶0∶0∶0的情况那样,设为仅点亮半导体光源中的1个,且不点亮其他3个的情况下也具有光强度比。

各LED20a~20e发出的光经由由反射镜、透镜等构成的光路耦合部23入射到光导件25。光导件25内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)。光导件25将来自光路耦合部23的光传播到内窥镜12的前端部12d。

在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜32,通过光导件25传播的照明光经由照明透镜32照射到观察对象。摄像光学系统30b具有物镜42及摄像传感器44。通过照射照明光的来自观察对象的光经由物镜42入射到摄像传感器44。由此,观察对象的图像成像在摄像传感器44中。

作为摄像传感器44,能够利用CCD(ChargeCoupledDevice:电荷耦合元件)摄像传感器或CMOS(ComplementaryMetal-OxideSemiconductor:互补金属氧化物半导体)摄像传感器。并且,代替原色的摄像传感器44,可以使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤波器的补色摄像传感器。当使用补色摄像传感器时,输出CMYG这四个颜色的图像信号,因此通过补色-原色颜颜色转换,将CMYG这四个颜色的图像信号转换为RGB这三个颜色的图像信号,从而能够获得与摄像传感器44相同的RGB各颜色的图像信号。

摄像传感器44由摄像控制部45驱动控制。摄像控制部45中的控制根据各模式而不同。在普通光模式中,摄像控制部45控制摄像传感器44以拍摄被普通光照射的观察对象。由此,从摄像传感器44的B像素输出Bc图像信号,从G像素输出Gc图像信号,从R像素输出Rc图像信号。

在特殊光模式中,摄像控制部45控制摄像传感器44以拍摄被普通光照射的观察对象。由此,从摄像传感器44的B像素输出Bs图像信号,从G像素输出Gs图像信号,从R像素输出Rs图像信号。

CDS/AGC(Correlated Double Sampling(相关双采样)/Automatic Gain Control(自动增益控制))电路46对由摄像传感器44获得的模拟的图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过了CDS/AGC电路46的图像信号通过A/D(Analog/Digital:模拟/数字)变频器48转换为数字图像信号。A/D转换后的数字图像信号输入于处理器装置16。

处理器装置16具备图像获取部50、DSP(Digital Signal Processor:数字信号处理器)52、降噪部54、图像处理切换部56、图像处理部58及视频信号生成部60。图像处理部58具备普通图像生成部62、特殊图像生成部64及疾病相关处理部66。

在处理器装置16中,与指标值的计算、阶段的判定、溃疡性结肠炎的缓解或未缓解的判定等各种处理相关的程序被编入程序用存储器(未图示)。程序用存储器内的程序通过由处理器构成的中央控制部(未图示)而动作,实现图像获取部50、DSP52、降噪部54、图像处理切换部56、图像处理部58及视频信号生成部60的功能。由此,实现普通图像生成部62、特殊图像生成部64及疾病相关处理部66的功能。疾病相关处理部66实现频率分量空间分布计算部70、频率特性区域提取部72、结构检测部74及判定部76的功能(参考图9)。

图像获取部50获取从内窥镜12输入的医学图像之一的内窥镜图像的图像信号。获取的图像信号被发送到DSP52。DSP52对接收的图像信号进行缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽玛转换处理、去马赛克处理及YC转换处理等各种信号处理。在缺陷校正处理中,校正摄像传感器44的缺陷像素的信号。在偏移处理中,从实施了缺陷校正处理的图像信号去除暗电流分量,并设定准确的零电平。增益校正处理通过对偏移处理之后的各颜色的图像信号乘以特定的增益而调整各图像信号的信号电平。对增益校正处理之后的各颜色的图像信号实施提高颜色再现性的线性矩阵处理。

然后,通过伽玛转换处理调整各图像信号的亮度或彩度。对线性矩阵处理之后的图像信号实施去马赛克处理(也被称为各向同性处理、同步化处理),并通过插值生成各像素的缺失的颜色的信号。通过去马赛克处理,变得所有像素具有RGB各颜色的信号。DSP52对去马赛克处理后的各图像信号实施YC转换处理,并将亮度信号Y和色差信号Cb及色差信号Cr输出到降噪部54。

降噪部54对通过DSP56实施去马赛克处理等的图像信号实施例如基于移动平均法和中值滤波法等的降噪处理。降低了噪声的图像信号输入到图像处理切换部56。

图像处理切换部56根据所设定的模式,将来自降噪部54的图像信号的目的地切换到普通图像生成部62、特殊图像生成部64及疾病相关处理部66中的任一个。具体而言,当设置为普通光模式时,将来自降噪部54的图像信号输入到普通图像生成部62。当设置为特殊光模式时,将来自降噪部54的图像信号输入到特殊图像生成部64。当设置为疾病相关处理模式时,将来自降噪部54的图像信号输入到疾病相关处理部66。

普通图像生成部62对输入的相当于1帧的Rc图像信号、Gc图像信号、Bc图像信号实施普通图像用图像处理。普通图像用图像处理包括3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table:查找表)处理等颜色转换处理、色彩强调处理、空间频率强调等结构强调处理。实施普通图像用图像处理的Rc图像信号、Gc图像信号、Bc图像信号作为普通图像输入到视频信号生成部60。

特殊图像生成部64对输入的1帧的Rs图像信号、Gs图像信号、Bs图像信号实施特殊图像用图像处理。特殊图像用图像处理包括3×3的矩阵处理、灰度转换处理、三维LUT(LookUp Table:查找表)处理等颜色转换处理、色彩强调处理、空间频率强调等结构强调处理。被实施特殊图像用图像处理的Rs图像信号、Gs图像信号、Bs图像信号作为特殊图像输入到视频信号生成部60。

疾病相关处理部66进行以下步骤中的至少一个:根据从特殊图像获得的表层血管的密集、粘膜内出血及粘膜外出血计算与溃疡性结肠炎的阶段有关的指标值的步骤;判定溃疡性结肠炎的阶段的步骤;或判定溃疡性结肠炎的缓解或未缓解的步骤。与判定结果相关的信息输入到视频信号生成部60。对疾病相关处理部66的详细内容在后面进行叙述。另外,在第1~第3实施方式中,对疾病相关处理部66判定溃疡性结肠炎的缓解或未缓解的情况进行说明。

视频信号生成部60将从图像处理部58输出的与普通图像、特殊图像或判定结果相关的信息转换成在监视器18中能够以全彩显示的视频信号。转换完的视频信号被输入到监视器18。由此,监视器18中显示与普通图像、特殊图像或判定结果相关的信息。

以下对疾病相关处理部66的详细内容进行说明。发明人等发现了,如图6(A)~(E)所示,在疾病相关处理部66设为判定对象的溃疡性结肠炎每当严重程度恶化时,血管结构的图案改变。当溃疡性结肠炎缓解或不会发生溃疡性结肠炎时,表层血管的图案是规则的(图6(A))或为表层血管的图案的规则性多少产生紊乱的程度(图6(B))。另一方面,当溃疡性结肠炎未缓解且严重程度为轻症时,表层血管的密集是疏密的(图6(C))。并且,当溃疡性结肠炎为未缓解且严重程度为中等症时,发生粘膜内出血(图6(D))。并且,并且,当溃疡性结肠炎为未缓解且严重程度为中等症~重症时,发生粘膜外出血(图6(E))。在疾病相关处理部66中,利用上述血管结构的图案变化,根据医学图像之一的特殊图像,判定溃疡性结肠炎的缓解或未缓解。

在此,“表层血管的密集”是指表层血管蜿蜒且聚集的状态,在图像上的外观上,是指许多表层血管围绕肠腺体积(隐窝)(参考图7)的周围。“粘膜内出血”是指粘膜组织内(参考图7)的出血需要与内腔中的出血进行辨别。“粘膜内出血”是指在图像上的外观上,不在粘膜中且内腔(管腔、褶孔)中的出血。“粘膜外出血”是指进入管腔内的少量的血液、清洗管腔内后也从内窥镜前方的管腔或粘膜渗出而能够视觉辨认的血液、或在出血性粘膜上伴随渗出的管腔内的血液。

疾病相关处理部66根据从特殊图像获得的频率特性或亮度值来分类表层血管的密集、粘膜内出血及粘膜外出血,并根据分类来判定溃疡性结肠炎的缓解或未缓解。具体而言,对表层血管的密集、粘膜内出血及粘膜外出血如图8所示进行分类。表层血管的密集中,以低亮度表示亮度值,并且以高频表示频率特性。粘膜内出血中,以中亮度表示亮度值,并且以中频表示频率特性。粘膜外出血中,以低亮度表示亮度值,并且以低频表示频率特性。另外,当由亮度值及频率特性表示特殊图像的各种结构时,除了上述3个表层血管的密集、粘膜内出血及粘膜外出血以外,还包括特殊图像的模糊暗部或内窥镜影(将内窥镜的前端部12d沿管腔移动时形成于内窥镜图像的中心部分的影)等。在本实施方式中,利用上述分类,从特殊图像提取溃疡性结肠炎的缓解或未缓解的判定所需的表层血管的密集、粘膜内出血及粘膜外出血。

如图9所示,疾病相关处理部66具备频率分量空间分布计算部70、频率特性区域提取部72、结构检测部74及判定部76。频率分量空间分布计算部70通过对特殊图像应用拉普拉斯滤波器来计算频率分量空间分布。

频率特性区域提取部72根据频率分量空间分布提取具有第1频率特性(低频)的第1频率特性区域(低频区域),提取具有持有比第1频率特性高的频率的第2频率特性(中频)的第2频率特性区域(中频区域),提取具有持有比第2频率特性高的频率的第3频率特性(高频)的第3频率特性区域(高频区域)。

具体而言,频率特性区域提取部72具备第1频率特性区域提取部72a、第3频率特性区域提取部72b、分析对象区域检测部72c及第2频率特性区域提取部72d,并沿着图10所示的流程提取第1~第3频率特性区域。第1频率特性区域提取部72a根据频率分量空间分布,当包括特定像素的附近的9个像素的频率的标准偏差为恒定值以下时,将特定像素设为属于第1频率特性的像素。通过进行所有像素的该特定像素的检测来提取第1频率特性区域。第1频率特性区域相当于低频区域。第3频率特性区域提取部72b通过对频率分量空间分布的Hesian分析来提取第3频率特性区域。第3频率特性区域相当于高频区域。另外,在第1频率特性区域提取部72a中,包括特定像素的附近的9个像素的频率的标准偏差为恒定值以下时,将特定像素设为属于第1频率特性的像素,但是当其他统计量、例如与附近的9个像素的频率的最大值或最小值、平均值为恒定值以下时,也可以将特定像素设为属于第1频率特性的像素。

分析对象区域检测部72c检测从特殊图像除去第1频率特性区域的分析对象区域。第2频率特性区域提取部72d通过从分析对象区域除去第3频率特性区域来提取第2频率特性区域。第2频率特性区域相当于中频区域。

结构检测部74根据实施使用亮度值的第1区域判别处理的第1频率特性区域、实施使用亮度值的第2区域判别处理的第2频率特性区域及第3频率特性区域检测表层血管的密集、粘膜内出血及粘膜外出血。具体而言,结构检测部74通过对第1频率特性区域实施第1区域判别处理来检测粘膜外出血,并通过对第2频率特性区域实施第2区域判别处理来检测粘膜内出血,并检测第3频率特性区域作为所述表层血管的密集。

低频的第1频率特性区域中除了低亮度的粘膜外出血以外还包括中亮度的模糊暗部或内窥镜阴影,因此为了区分这些,进行第1区域判别处理。在第1区域判别处理中,将特殊图像的第1频率特性区域中亮度值为亮度值用阈值以下的区域作为粘膜外出血的区域而检测。为了区分中亮度的粘膜内出血而进行第2区域判别处理。在第2区域判别处理中,将特殊图像的第2频率特性区域中亮度值为亮度值用阈值以上的区域作为粘膜内出血的区域而检测。另外,为了区分低亮度的表层血管的密集,可以进行第3区域判别处理。在第3区域判别处理中,将特殊图像的第3频率特性区域中亮度值为亮度值用阈值以下的区域作为表层血管密集的区域而检测。

当满足存在表层血管的密集、粘膜内出血的检测量为粘膜内出血用阈值以上、粘膜外出血的检测量为粘膜外出血用阈值以上及粘膜内出血的检测量与粘膜外出血的检测量的和为粘膜内外出血用阈值以上的步骤中的任一个时,判定部76判定溃疡性结肠炎未缓解。另一方面,当满足存在表层血管的密集、粘膜内出血的检测量为粘膜内出血用阈值以上、粘膜外出血的检测量为粘膜外出血用阈值以上及粘膜内出血的检测量与粘膜外出血的检测量的和为粘膜内外出血用阈值的步骤中的任一个时,判定部76判定溃疡性结肠炎缓解。与通过以上的判定部76的判定相关的信息显示于监视器18上,用于由用户进行的溃疡性结肠炎的缓解或未缓解的判定。在判定部76中当判定为溃疡性结肠炎缓解时,如图11所示,相关消息显示于监视器18上。另外,当显示与判定相关的信息时,优选重叠显示用于判定部76的判定的特殊图像。

另外,在判定部76中,关于粘膜内出血的检测量,优选根据特殊图像中第2频率特性区域所占的比例进行计算。并且,在判定部76中,对于粘膜外出血的检测量,优选根据特殊图像中低亮度的第1频率特性区域(第1区域判别处理后的第1频率特性区域)所占的比例进行计算。并且,在判定部86中,除了或代替溃疡性结肠炎的缓解或未缓解的判定,可以求出将溃疡性结肠炎的严重程度指标化的指标值,根据指标值进行溃疡性结肠炎的缓解或未缓解的判定,并且,将指标值作为判定结果显示于监视器18。

接着,沿着图12所示的流程图对疾病相关处理模式的一连串的流程进行说明。切换到疾病相关处理模式时,特殊光照射到观察对象。内窥镜12通过拍摄由特殊光照明的观察对象来获得内窥镜图像(医学图像)之一的特殊图像。图像获取部50获取来自内窥镜12的特殊图像。

频率分量空间分布计算部70根据特殊图像计算频率分量空间分布。第1频率特性区域提取部72a根据频率分量空间分布来提取低频的第1频率特性区域。并且,第3频率特性区域提取部72b根据频率分量空间分布来提取高频的第3频率特性区域。分析对象区域检测部72c检测从医学图像除去第1频率特性区域的分析对象区域。第2频率特性区域提取部72d通过从分析对象区域除去第3频率特性区域来提取中频的第2频率特性区域。

在结构检测部74中,通过对低频的第1频率特性区域进行第1区域判别处理来检测粘膜外出血。并且,在结构检测部74中,通过对中频的第2频率特性区域进行第2区域判别处理来检测粘膜内出血。并且,在结构检测部74中,将第3频率特性区域作为表层血管的密集而检测。

判定部76根据由结构检测部74检测到的表层血管的密集、粘膜内出血及粘膜外出血来判定溃疡性结肠炎的缓解或未缓解。与由判定部76的判定相关的信息显示于监视器18。

[第2实施方式]

在第2实施方式中,代替上述第1实施方式表示的4色LED20a~20e,使用氙气灯等宽频带光源和旋转滤波器进行观察对象的照明。并且,代替彩色的摄像传感器44,用单色的摄像传感器进行观察对象的摄像。除此之外,与第1实施方式相同。

如图13所示,在第2实施方式的内窥镜系统100中,在光源装置14中,代替4色LED20a~20e,设置有宽频带光源102、旋转滤波器104、滤波器切换部105。并且,摄像光学系统30b中代替彩色的摄像传感器44设置有不带滤色器的单色摄像传感器106。

宽频带光源102为氙气灯、白色LED等,波长区域发出从蓝色到红色的白色光。旋转滤波器104中从内侧依次设置有普通光模式用滤波器107、特殊光模式及疾病相关处理模式用滤波器108(参考图14)。滤波器切换部105沿径向移动旋转滤波器104,通过模式切换SW12f设为普通光模式时,将普通光模式用滤波器107插入到白色光的光路,设为特殊光模式或疾病相关处理模式时,将特殊光模式及疾病相关处理模式用滤波器108插入到白色光的光路。

如图14所示,普通光模式用滤波器107中沿周向设置有白色光中供宽频带蓝色光B透射的B滤波器107a、白色光中供宽频带绿色光G透射的G滤波器107b及白色光中供宽频带红色光R透射的R滤波器107c。因此,普通光模式时,通过使旋转滤波器104旋转,作为普通光,宽频带蓝色光B、宽频带绿色光G、宽频带红色光R交替照射到观察对象。

特殊光模式及疾病相关处理模式用滤波器108中沿周向设置有白色光中供蓝色窄频带光透射的Bn滤波器108a及白色光中供绿色窄频带光透射的Gn滤波器108b。因此,特殊光模式或疾病相关处理模式时,通过使旋转滤波器104旋转,作为特殊光,作为短波长的光的蓝色窄频带光和绿色窄频带光交替照射到观察对象。另外,优选蓝色窄频带光的波长带为400~450nm,绿色窄频带光的波长带为540~560nm。

在内窥镜系统100中,普通光模式时,每当由宽频带蓝色光B、宽频带绿色光G、宽频带红色光R照射观察对象时用单色摄像传感器106拍摄观察对象。由此,获得Bc图像信号、Gc图像信号、Rc图像信号。然后,根据这些3种颜色的图像信号以与上述第1实施方式相同的方法生成普通图像。

在内窥镜系统100中,特殊光模式或疾病相关处理模式时,每当由蓝色窄频带光和绿色窄频带光照射观察对象时,用单色摄像传感器106拍摄观察对象。由此,获得Bs图像信号、Gs图像信号。然后,根据这些2种颜色的图像信号以与上述第1实施方式相同的方法生成特殊图像。

[第3实施方式]

在第3实施方式中,代替上述第1实施方式中所示的4种颜色的LED20a~20e,使用激光光源和荧光体进行观察对象的照明。以下,仅对与第1实施方式不同的部分进行说明,省略对与第1实施方式大致相同的部分的说明。

如图15所示,在第3实施方式的内窥镜系统200中,在光源装置14的光源部20中,代替4种颜色的LED20a~20e,设置有发出相当于短波长的光的中心波长405±10nm的紫色激光束的紫色激光光源部203(标记为“405LD”。LD表示“Laser Diode:激光二极管”)、发出中心波长445±10nm的蓝色激光束的蓝色激光光源(标记为“445LD”)204。来自这些各光源部204、206的半导体发光元件的发光由光源控制部208单独控制。

光源控制部208在普通光模式下点亮蓝色激光光源部204。相对于此,特殊光模式或疾病相关处理模式的情况下,同时点亮紫色激光光源部203和蓝色激光光源部204。

另外,紫色激光束、蓝色激光束或蓝绿色激光束的半峰宽度优选设为±10nm左右。并且,紫色激光光源部203、蓝色激光光源部204及蓝绿色激光光源部206能够利用宽面积型InGaN系激光二极管,并且,也能够使用InGaNAs系激光二极管和GaNAs系激光二极管。并且,作为上述光源,也可以设为使用发光二极管等发光体的结构。

照明光学系统30a中除了照明透镜32以外还设置有来自光导件25的蓝色激光束或蓝绿色激光束所入射的荧光体210。荧光体210被蓝色激光束激发并发出荧光。因此,蓝色激光束相当于激励光。并且,一部分蓝色激光束不激发荧光体210而透射。蓝绿色激光束不激发荧光体210而透射。射出荧光体210的光经由照明透镜32照射观察对象的体内。

在此,在普通光模式中,蓝色激光束主要入射到荧光体210,因此,如图16所示,使蓝色激光束及通过蓝色激光束从荧光体210激发发射的荧光合波的普通光照射到观察对象。通过使用摄像传感器44拍摄由该普通光照射的观察对象而获得由Bc图像信号、Gc图像信号、Rc图像信号构成的普通图像。

并且,在特殊光模式或疾病相关处理模式中,紫色激光束及蓝色激光束同时入射到荧光体210,如图17所示,除了紫色激光束及蓝色激光束以外,还包括通过紫色激光束及蓝色激光束从荧光体210励起发射的荧光的伪白色光作为特殊光而发射。通过使用摄像传感器44拍摄被该特殊光照射的观察对象而获得由Bs图像信号、Gs图像信号、Rs图像信号构成的。另外,伪白色光可以设为将从V-LED20a、B-LED20b、G-LED20c及R-LED20d发出的紫色光V、蓝色光B、绿色光G及红色光组合而成的光。

另外,荧光体210优选使用吸收一部分蓝色激光束,并包含激励发射绿色~黄色的多种荧光体(例如YKG系荧光体或BAM(BaMgAl10O17)等荧光体)而构成的荧光体。如本结构例,若将半导体发光元件用作荧光体210的激励光源,则能够以高的发光效率获得高强度的白色光,并能够容易调整白色光的强度,还能够较小地抑制白色光的颜色温度、色度的变化。

另外,在上述实施方式中,将本发明应用于进行作为医学图像之一的内窥镜图像的处理的内窥镜系统,但是也可以将本发明应用于处理除了内窥镜图像以外的医学图像的医学图像处理系统。并且,本发明还能够应用于使用医学图像供用户进行诊断支持的诊断支持装置。并且,使用医学图像,本发明也能够应用于用于支持诊断报告等医疗工作的医疗业务支持装置。

例如,如图18所示,诊断支持装置600将医学图像处理系统602等医学影像设备和PACS(Picture Archiving and Communication Systems:图像存档与通信系统)604组合使用。并且,如图19所示,医疗业务支持装置610经由任意网络626与第1医学图像处理系统621、第2医学图像处理系统622、……、第N医学图像处理系统623等各种检查装置连接。医疗业务支持装置610接收来自第1~第N医学图像处理系统621、622……、623的医学图像,并根据接收到的医学图像进行医疗业务的支持。

在上述实施方式中,图像处理部58中所包含的普通图像生成部62、特殊图像生成部64、疾病相关处理部66、频率分量空间分布计算部70、频率特性区域提取部72、第1频率特性区域提取部72a、第3频率特性区域提取部72b、分析对象区域检测部72c、第2频率特性区域提取部72d、结构检测部74及判定部76之类的执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit:中央处理单元)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA、CPU与FPGA的组合)构成。并且,也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用将包含多个处理部的整个系统的功能由一个IC(Integrated Cirouit/集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。

而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。

符号说明

10-内窥镜系统,12-内窥镜14,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,12f-模式切换开关,12g-静止图像获取命令部,14-光源装置,16-处理器装置,18-监视器,19-控制台,20-光源部,20a-V-LED,20b-B-LED,20c-G-LED,20d-R-LED,21-光源控制部,23-光路耦合部,25-光导件,30a-照明光学系统,30b-摄像光学系统,32-照明透镜,42-物镜,44-摄像传感器,45-摄像控制部,46-CDS/AGC电路,48-A/D变频器,50-图像获取部,52-DSP,54-降噪部,56-图像处理切换部,58-图像处理部,60-视频信号生成部,62-普通图像生成部,64-特殊图像生成部,66-疾病相关处理部,70-频率分量空间分布计算部,72-频率特性区域提取部,72a-第1频率特性区域提取部,72b-第3频率特性区域提取部,72c-分析对象区域检测部,72d-第2频率特性区域提取部,74-结构检测部,76-判定部,100-内窥镜系统,102-宽频带光源,104-旋转滤波器,105-滤波器切换部,106-摄像传感器,107-普通光模式用滤波器,107a-B滤波器,107b-G滤波器,107c-R滤波器,108-特殊光模式及疾病相关处理模式用滤波器,108a-Bn滤波器,108b-Gn滤波器,200-内窥镜系统,203-紫色激光光源部,204-蓝色激光光源部,208-光源控制部,210-荧光体,600-诊断支持装置,602-医学图像处理系统,604-PACS,610-医疗业务支持装置,621-第1医学图像处理系统,622-第2医学图像处理系统,623-第N医学图像处理系统,626-网络。

29页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:眼科成像方法、装置以及系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!