图像生成方法及装置

文档序号:1849911 发布日期:2021-11-16 浏览:18次 >En<

阅读说明:本技术 图像生成方法及装置 (Image generation method and device ) 是由 蔡鑫 崔亚轩 于 2021-10-19 设计创作,主要内容包括:本申请提供一种图像生成方法及装置,该方法包括:从医学图像序列中获取位于目标位置之前的第一图像和位于目标位置之后的第二图像;对第一图像和第二图像进行小波分解,得到第一图像的低频子图像和高频子图像以及第二图像的低频子图像和高频子图像;基于第一图像和第二图像的低频子图像,计算得到低频插值结果;基于第一图像和第二图像的高频子图像,计算得到高频插值结果;对低频和高频插值结果进行小波重构,得到对应于目标位置的目标图像;将目标图像插入医学图像序列中,获得扩充后的医学图像序列。该方法能够提高医学图像序列在图像排列方向上的分辨率,同时有效防止高频信息在插值过程中受损,实现高精度还原,得到更加准确的目标图像。(The application provides an image generation method and device, and the method comprises the following steps: acquiring a first image located in front of the target position and a second image located behind the target position from the medical image sequence; performing wavelet decomposition on the first image and the second image to obtain a low-frequency sub-image and a high-frequency sub-image of the first image and a low-frequency sub-image and a high-frequency sub-image of the second image; calculating to obtain a low-frequency interpolation result based on the low-frequency sub-images of the first image and the second image; calculating to obtain a high-frequency interpolation result based on the high-frequency sub-images of the first image and the second image; performing wavelet reconstruction on the low-frequency interpolation result and the high-frequency interpolation result to obtain a target image corresponding to a target position; and inserting the target image into the medical image sequence to obtain the expanded medical image sequence. The method can improve the resolution of the medical image sequence in the image arrangement direction, effectively prevent high-frequency information from being damaged in the interpolation process, realize high-precision reduction and obtain more accurate target images.)

图像生成方法及装置

技术领域

本申请涉及图像处理领域,具体涉及一种图像生成方法及装置。

背景技术

通过沿特定方向对某一对象采集多张截面图像的方式,能够获取到该对象(例如,人体、动物、建筑物等)内部的三维信息,这一手段尤其常用于医学场景中。例如,在临床诊断过程中,经常采用CT、MRI等断层成像技术对患者的身体进行逐层扫描,以获取包含有患者体内影像信息的医学图像序列。

然而,由于现实因素的限制,非常密集地采集截面图像是不现实的。例如,在获取患者的CT图像序列时,为了避免成像过程对患者的身体带来过大的伤害,必须尽量减少扫描层数。这就导致了在一个图像序列中,相邻的两张图像对应的空间位置之间的距离较大,其间的影像信息无法被采集到,使得图像序列在特定方向上的分辨率较低。

发明内容

为了解决上述技术问题,本申请提供一种图像生成方法及装置。

第一方面,提供一种图像生成方法,包括:从医学图像序列中获取位于目标位置之前的第一图像和位于目标位置之后的第二图像;对所述第一图像和所述第二图像分别进行小波分解,得到对应于所述第一图像的低频子图像和高频子图像以及对应于所述第二图像的低频子图像和高频子图像;基于所述第一图像的低频子图像和所述第二图像的低频子图像,计算得到低频插值结果;基于所述第一图像的高频子图像和所述第二图像的高频子图像,计算得到高频插值结果;对所述低频插值结果和所述高频插值结果进行小波重构,得到对应于所述目标位置的目标图像;根据所述目标位置,将所述目标图像插入所述医学图像序列中,以获得扩充后的医学图像序列。

在第一方面的某些实施方式中,所述基于所述第一图像的低频子图像和所述第二图像的低频子图像,计算得到低频插值结果,包括:基于所述第一图像的低频子图像和所述第二图像的低频子图像,通过第一插值算法计算得到所述低频插值结果,

所述基于所述第一图像的高频子图像和所述第二图像的高频子图像,计算得到高频插值结果,包括:基于所述第一图像的高频子图像和所述第二图像的高频子图像,通过第二插值算法计算得到所述高频插值结果。

进一步地,在某些实施方式中,所述对所述低频插值结果和所述高频插值结果进行小波重构,得到对应于所述目标位置的目标图像,包括:对所述低频插值结果和所述高频插值结果分别进行滤波处理,得到低频滤波结果和高频滤波结果;对所述低频滤波结果和所述高频滤波结果进行小波重构,得到所述目标图像。

在第一方面的某些实施方式中,所述基于所述第一图像的低频子图像和所述第二图像的低频子图像,计算得到低频插值结果,包括:对所述第一图像的低频子图像和所述第二图像的低频子图像分别进行小波分解,得到每个低频子图像的二次低频子图像和二次高频子图像;基于对应于所述第一图像的二次低频子图像和对应于所述第二图像的二次低频子图像,通过第一插值算法得到二次低频插值结果;基于对应于所述第一图像的二次高频子图像和对应于所述第二图像的二次高频子图像,通过第二插值算法得到二次高频插值结果;对所述二次低频插值结果和所述二次高频插值结果进行小波重构,得到所述低频插值结果。

进一步地,在某些实施方式中,所述对所述二次低频插值结果和所述二次高频插值结果进行小波重构,得到所述低频插值结果,包括:对所述二次低频插值结果和所述二次高频插值结果分别进行滤波处理,得到二次低频滤波结果和二次高频滤波结果;对所述二次低频滤波结果和所述二次高频滤波结果进行小波重构,得到所述低频插值结果。

进一步地,在某些实施方式中,所述对所述低频插值结果和所述高频插值结果进行小波重构,得到对应于所述目标位置的目标图像,包括:对所述高频插值结果进行滤波处理,得到高频滤波结果;对所述低频插值结果和所述高频滤波结果进行小波重构,得到所述目标图像。

在第一方面的某些实施方式中,所述第一图像的数量为N,所述第二图像的数量为M,其中,N大于等于2,M大于等于2。

进一步地,在某些实施方式中,N=M=2。

在第一方面的某些实施方式中,所述第一插值算法为三维插值算法,所述第二插值算法为二维插值算法。

第二方面,提供一种图像生成装置,包括:获取模块,用于从医学图像序列中获取位于目标位置之前的第一图像和位于目标位置之后的第二图像;分解模块,用于对所述第一图像和所述第二图像分别进行小波分解,得到对应于所述第一图像的低频子图像和高频子图像以及对应于所述第二图像的低频子图像和高频子图像;低频计算模块,用于基于所述第一图像的低频子图像和所述第二图像的低频子图像,计算得到低频插值结果;高频计算模块,用于基于所述第一图像的高频子图像和所述第二图像的高频子图像,计算得到高频插值结果;重构模块,用于对所述低频插值结果和所述高频插值结果进行小波重构,得到对应于所述目标位置的目标图像;插入模块,用于根据所述目标位置,将所述目标图像插入所述医学图像序列中,以获得扩充后的医学图像序列。

在第二方面的某些实施方式中,所述低频计算模块用于:基于所述第一图像的低频子图像和所述第二图像的低频子图像,通过第一插值算法计算得到所述低频插值结果;所述高频计算模块用于:基于所述第一图像的高频子图像和所述第二图像的高频子图像,通过第二插值算法计算得到所述高频插值结果。

进一步地,在某些实施方式中,所述重构模块用于:对所述低频插值结果和所述高频插值结果分别进行滤波处理,得到低频滤波结果和高频滤波结果;对所述低频滤波结果和所述高频滤波结果进行小波重构,得到所述目标图像。

在第二方面的某些实施方式中,所述低频计算模块包括:二次分解单元,用于对所述第一图像的低频子图像和所述第二图像的低频子图像分别进行小波分解,得到每个低频子图像的二次低频子图像和二次高频子图像;二次低频计算单元,用于基于对应于所述第一图像的二次低频子图像和对应于所述第二图像的二次低频子图像,通过第一插值算法得到二次低频插值结果;二次高频计算单元,用于基于对应于所述第一图像的二次高频子图像和对应于所述第二图像的二次高频子图像,通过第二插值算法得到二次高频插值结果;二次重构单元,用于对所述二次低频插值结果和所述二次高频插值结果进行小波重构,得到所述低频插值结果。

进一步地,在某些实施方式中,所述二次重构单元用于:对所述二次低频插值结果和所述二次高频插值结果分别进行滤波处理,得到二次低频滤波结果和二次高频滤波结果;对所述二次低频滤波结果和所述二次高频滤波结果进行小波重构,得到所述低频插值结果。

进一步地,在某些实施方式中,所述重构模块用于:对所述高频插值结果进行滤波处理,得到高频滤波结果;对所述低频插值结果和所述高频滤波结果进行小波重构,得到所述目标图像。

在第二方面的某些实施方式中,所述第一图像的数量为N,所述第二图像的数量为M,其中,N大于等于2,M大于等于2。

进一步地,在某些实施方式中,N=M=2。

在第二方面的某些实施方式中,所述第一插值算法为三维插值算法,所述第二插值算法为二维插值算法。

第三方面,提供一种图像生成设备,包括:存储器,用于存储计算机指令;处理器,用于执行所述存储器中存储的计算机指令,当所述存储器存储的计算机指令被执行时,所述处理器用于执行第一方面所提供的图像生成方法。

第四方面,提供一种计算机可读的存储介质,所述存储介质中存储有程序,当所述程序被执行时,实现第一方面所提供的图像生成方法。

第五方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行第一方面所提供的图像生成方法。

根据本申请实施例提供的图像生成方法及装置,能够基于实际采集的医学图像序列中相邻的多张图像,通过插值算法得到对应于目标位置的目标图像,从而提高医学图像序列在图像排列方向上的分辨率。同时,本申请实施例所提供的图像生成方法及装置能够兼顾图像中的高频信息和低频信息,有效防止高频信息在插值过程中受损,从而高精度还原出目标位置上的影像信息,得到更加准确的目标图像。

附图说明

图1为本申请一实施例提供的图像生成方法的流程图。

图2为本申请另一实施例提供的图像生成方法的流程图。

图3为本申请另一实施例提供的图像生成方法的流程图。

图4为本申请另一实施例提供的图像生成方法的流程图。

图5为本申请另一实施例提供的图像生成方法的流程图。

图6为本申请实施例中对二维图像进行小波分解的示意图。

图7为本申请实施例提供的图像生成方法的实施过程的示意图。

图8为一张医学图像示例。

图9为图8所示医学图像示例经二次小波分解后生成的多张子图像的示例。

图10为基于本申请实施例提供的图像生成方法所生成的目标图像的示例。

图11为本申请一实施例提供的图像生成装置的结构示意图。

图12为本申请另一实施例提供的图像生成装置的结构示意图。

图13为本申请一实施例提供的图像生成设备的结构示意图。

具体实施方式

下面将结合附图,对本申请中的技术方案进行描述。

如前所述,在获取特定对象的内部信息时,由于成本、不良影响等现实因素的限制,无法过于密集地采集特定对象的截面图像,导致得到的图像序列在采集方向上的分辨率较低,无法从图像序列中直接得到未被实际采集的位置上的影像信息。

以下,以医学图像序列中的CT图像为例对上述技术问题进行说明。

在许多临床诊断场景中,医生需要通过CT图像对患者的病情进行把握和判断。然而,CT成像的过程会使患者暴露在放射线中,让患者承受细胞损伤甚至癌症诱发的风险。因此,出于维护患者健康的考虑,在拍摄过程中需要尽量减少扫描层数。这使得拍摄得到的CT图像序列在垂直于切面的方向上存在分辨率过低的问题,导致医生有可能无法准确掌握患者的病情。进一步地,这一问题也直接影响了CT图像序列的应用效果,例如在进行3D重建时,低分辨率的图像序列会大大降低重建分辨率。

例如,在利用水平位的DICOM(Digital Image Communications in Medicine)序列(三维图像)进行MPR(Multi Planar Reformation,多平面重建)的过程中,x方向和y方向上的两个像素的间距由Pixel Spacing标签决定,而z方向上的两个像素的间距由两个图像的ImagePositionPatient之间的空间距离决定。也就是说,序列在x、y方向上的分辨率和z方向上的分辨率可能不同。

为解决这一技术问题,可以采用图像插值的方式,基于采集到的图像序列,生成图像序列中相邻两张图像之间的插值图像,通过使该插值图像尽可能地趋近于真实的未进行采集的位置上的影像信息,从而提高图像序列在图像排列方向上的分辨率。

现有的图像插值技术中,通常采用单一的二维插值算法对输入图像直接进行插值处理,以得到插值图像。常用的二维插值算法包括三种:最近邻插值算法、双线性插值算法以及双三次插值算法。

然而,无论采用哪一种二维插值算法,现有的图像插值技术均存在一定的缺陷,无法高精度地还原目标位置上的影像信息。在医学等领域中,如果不能提高图像插值的准确度,不仅无法有效提高图像序列在图像排列方向上的分辨率,反而还会削弱图像序列整体的可信度,影响医生对患者病情的判断,带来较为严重的隐患。

以下对于传统的图像插值技术及其缺陷进行说明。

最近邻插值算法

最近邻插值算法是一种最简单的插值算法,也被称为零阶插值算法,通过获取距离目标像素点位置最近的输入像素点的灰度值作为目标像素点的插值结果。

利用最近邻插值算法针对二维图像进行插值时,首先获取目标像素点周围的4个相邻的输入像素点,并在4个相邻的输入像素点中选取距离目标像素点距离最近的1个输入像素点,取其灰度值作为目标像素点的灰度值。

可以理解,通过这样的插值方法,很可能造成插值生成的图像在灰度上不连续,在图像中灰度发生变化的位置上产生明显的锯齿状,导致图像准确度极低。

双线性插值算法

双线性插值算法也可以称为一阶插值算法,需要经过三次插值运算获得最终的插值结果,与最近邻插值算法相比准确度有所提高。

通过双线性插值算法对二维图像进行插值时,同样需要获取目标像素点周围的4个相邻的输入像素点。首先,沿行方向(或列方向)将4个输入像素点分为2对,基于目标像素点在行方向上的位置,分别对2对输入像素点进行一阶线性插值,得到2个一阶插值结果,其后,再基于目标像素点在列方向(或行方向)上的位置,对2个一阶插值结果进行一阶线性插值,最终得到对应于目标像素点所在位置的插值结果。

可以理解,双线性插值算法的计算过程比最近邻插值算法复杂,不会生成灰度不连续的图像,提高了准确度,基本解决了最近邻插值算法的缺陷。然而,在进行一阶插值的过程中,输入图像中的高频分量与低频分量同时参与运算,导致高频分量被弱化。也就是说,双线性插值算法天然具有低通滤波性质,使得图像中的高频分量受损,其结果就是,图像中的轮廓部分可能会较为模糊。

双三次插值算法

双三次插值算法(Bicubic插值算法)也可以称为立方卷积插值算法,是一种更加复杂的插值方式,与双线性插值算法相比又有了进一步的改进。双三次插值算法中,需要采用目标像素点周围的16个相邻的输入像素点。并且,与单纯考虑输入像素点的灰度值的前两种算法不同,双三次插值算法引入了各输入像素点之间的灰度值变化率,从而能够根据目标像素点的位置,得到对应于目标像素点的灰度值,得到更加准确的插值结果。

在双三次插值算法中,为了获取16个输入像素点的灰度值变化趋势,需要对16 个输入像素点的灰度值进行三次插值运算。具体地,双三次插值算法采用如式1所示的三次多项式s(x)作为基函数,既考虑到各输入像素点的灰度值所带来的影响,还能够考虑到各输入像素点之间的灰度值变化率所带来的影响,从而得到理论上最接近该变化趋势的插值函数。

s(x) = {1-2|x|2+|x|3, 0≤|x|<1 ; 4-8|x|+5|x|2- |x|3, 1 ≤|x|<2 ; 0, |x|≥2} (式1)

不过,虽然双三次插值算法的准确度相对于双线性插值算法有了进一步的提高,但高频分量受损的问题依然没有得到彻底解决。在计算灰度值变化趋势的过程中,高频分量依然会被弱化,图像中的轮廓部分不清晰的问题仍可能存在。

以下,基于本申请的实施例对本申请提供的方案进行详细说明。

为了克服上述现有技术中高频分量受损导致生成的插值图像准确度不高的问题,本申请的实施例提供一种图像生成方法,通过对多张输入图像进行小波分解(小波变换),得到每张输入图像在不同频段的子图像后,再基于对应于多张输入图像的多张子图像,以频段为单位分别进行插值处理,得到各频段的插值结果,最后对各频段的插值结果进行小波重构(小波逆变换),从而得到目标图像。

根据本申请实施例提供的图像生成方法,在提高医学图像序列在图像排列方向上的分辨率的同时,能够兼顾图像中的高频信息和低频信息,有效防止高频信息在插值过程中受损,从而高精度还原出目标位置上的影像信息,得到更加准确的目标图像。

以下,结合附图,对本申请的实施例进行更加详细的说明。

图1为本申请一实施例提供的图像生成方法的流程图。该方法可以由电子设备(例如图13所示的图像生成设备)执行。

如图1所示,本实施例的图像生成方法包括如下步骤:

S110:从医学图像序列中获取位于目标位置之前的第一图像和位于目标位置之后的第二图像。

医学图像序列是通过实际的采集操作得到的图像序列,包括针对特定对象的各个截面采集到的多张图像,其中,每张图像对应的位置即为相应截面所在的位置。

为了提高医学图像序列在图像排列方向上的分辨率,需要获得各截面图像之间的、未进行实际的图像采集的位置(以下称为目标位置)上的影像信息。也就是说,需要获得对应于目标位置的目标图像。

在这里,位于目标位置之前的第一图像是指在医学图像序列中的、对应的位置在目标位置之前的图像。同理,位于目标位置之后的第二图像是指在医学图像序列中的、对应的位置在目标位置之后的图像。应当理解,“之前”和“之后”表示空间中相对的位置关系,仅用于区分空间序列图像中的各图像所对应的位置与目标位置之间的方位关系。

在本申请的实施例中,第一图像可以是1张,也可以是多张,同样的,第二图像可以是1张,也可以是多张。第一图像的数量与第二图像的数量可以相同,也可以不同。

在一优选的实施例中,第一图像的数量为N,第二图像的数量为M,其中,N大于等于2,M大于等于2。也就是说,可以基于多张第一图像和多张第二图像获得目标图像。通过采用目标位置前后的多张图像,并基于前后多张图像中的信息生成目标图像,能够将更多的空间信息引入运算过程,使得到的目标图像更加准确。

在一优选的实施例中,N与M可以相等,从而使计算过程更加简单。例如,N=M=2,也就是说,可以基于位于目标位置之前的两张第一图像和位于目标位置之后的两张第二图像获得对应于目标位置的目标图像。当设定N=M=2时,本申请实施例所提供的图像生成方法能够在确保生成的目标图像具备高准确度的同时,实现降低计算量和计算时间,从而兼顾图像生成的质量和成本。

S120:对第一图像和第二图像分别进行小波分解,得到对应于第一图像的低频子图像和高频子图像以及对应于第二图像的低频子图像和高频子图像。

小波分解也称为小波变换,是指将具有有限长及衰减特性的小波基进行平移和伸缩,以实现信号表示的一种信号分析方法。小波变换主要分为离散小波变换(discretewavelet transform,DWT)和连续小波变换(continuous wavelet transform,CWT)两种,其中,离散小波变换常用于以图像为对象的频域分解处理。在本申请的实施例中,可以采用哈尔小波变换对第一图像和第二图像进行小波分解。哈尔小波变换是一种最简单的小波变换,也是最早被提出的小波变换。

针对二维图像信号,可以通过分别在水平方向和/或垂直方向进行滤波的方式实现二维离散小波分解,从而得到该图像信号的多个子图像。例如,如果对一张二维图像在水平方向上进行滤波,可以得到该二维图像在水平方向上的低频分量和高频分量,即,一张低频子图像和一张高频子图像;如果对一张二维图像在垂直方向上进行滤波,可以得到该二维图像在垂直方向上的一张低频子图像和一张高频子图像。进一步地,如果对二维图像在水平方向和垂直方向均进行滤波,则可以得到该二维图像的四张子图像,包括一张低频子图像和三张高频子图像。小波分解得到的子图像中,低频子图像为原图像的近似表示,高频子图像则保留了原图像的细节特性。

图6为本申请实施例中对二维图像进行小波分解的示意图。在一优选的实施例中,可以采用在水平方向和垂直方向均进行滤波的方式对二维图像进行小波分解,具体公式如式2所示:

fLL r(x, y) = hV∗ (hH∗ fr−1(2x, 2y))

fHL r(x, y) = gV∗ (hH∗fr−1(2x, 2y))

fLH r(x, y) = hV∗ (gH∗fr−1(2x, 2y))

fHH r(x, y) = gV∗ (gH∗ fr−1(2x, 2y)) (式2)

其中,x、y为像素坐标,f为图像函数,r为小波分解尺度,gN为水平方向的高通滤波器,gV为垂直方向的高通滤波器,hH为水平方向的低通滤波器,hV为垂直方向的低通滤波器,*代表卷积运算。

具体地,如图6所示,每一张二维图像对应的四张子图像可以分别用LL、HL、LH、HH表示,其中,LL子图像为低频子图像(表示图像的近似),HL子图像(表示图像的水平方向奇异特性)、LH子图像(表示图像的垂直方向奇异特性)以及HH子图像(表示图像的对角边缘特性)均为高频子图像。

在本申请的实施例中,可以基于上述公式分别对每张第一图像和第二图像进行计算,生成对应于每张图像的四张子图像。例如,如图7所示,当N=M=2时,通过小波分解共计生成16张子图像,包括四张低频子图像(四张LL子图像)和12张高频子图像(四张HL子图像、四张LH子图像以及四张HH子图像)。

S130:基于第一图像的低频子图像和第二图像的低频子图像,计算得到低频插值结果。

S140:基于第一图像的高频子图像和第二图像的高频子图像,计算得到高频插值结果。

在这里,S130和S140可以同时执行,也可以先后执行,本申请的实施例对于S130和S140的先后顺序不进行限定。

依然以N=M=2为例,如图7所示,在得到每一张第一图像和第二图像分别对应的低频子图像和高频子图像之后,将子图像以频段进行重新划分,即,将第一图像的LL子图像和第二图像的LL子图像归为一组,将第一图像的HL子图像和第二图像的HL子图像归为一组,将第一图像的LH子图像和第二图像的LH子图像归为一组,将第一图像的HH子图像和第二图像的HH子图像归为一组。

进一步地,对每一组分别进行图像插值处理,可以得到一个低频插值结果(LL插值结果)和三个高频插值结果(HL插值结果、LH插值结果以及HH插值结果),即,可以得到对应于目标位置的LL子图像、HL子图像、LH子图像以及HH子图像。

在一实施例中,可以采用相同的插值算法进行低频插值结果和高频插值结果的计算。

优选地,如图2所示,在部分实施例中,还可以采用第一插值算法计算低频插值结果,采用第二插值算法计算高频插值结果。即,S130可以包括:

S230:基于第一图像的低频子图像和第二图像的低频子图像,通过第一插值算法计算得到低频插值结果。

同时,S140可以包括:

S240:基于第一图像的高频子图像和第二图像的高频子图像,通过第二插值算法计算得到高频插值结果。

在这里,S230和S240可以同时执行,也可以先后执行,本申请的实施例对于S230和S240的先后顺序不进行限定。

在本实施例中,通过对低频子图像和高频子图像分别采用不同的插值算法进行处理,能够根据低频子图像和高频子图像的不同特性,更加有针对性地进行插值运算,从而得到更加准确的插值结果。

优选地,第一插值算法可以是三维插值算法,例如可以采用Tricubic(三次立方)插值算法、Trilinear(三线性)插值算法等,从而对信息量较大的低频子图像进行更加精确的运算,提高还原准确度;第二插值算法可以是二维插值算法,例如可以采用拉格朗日插值算法、双三次插值算法、双线性插值算法等,对信息量相对较少的高频子图像进行处理,从而减少计算量。

三维插值算法与二维插值算法不同,能够不局限于目标像素点所在平面内的信息,让目标像素点附近的多个平面上的信息均参与到插值运算中,从而使插值结果的准确度得到进一步的提高。

例如,以下对Tricubic插值算法进行简要说明:

简单来说,Tricubic插值算法可以理解为双三次(Bicubic)插值算法的三维模式。如前文所述,双三次插值算法需要利用平面内的16个(4×4个)输入像素点,以三次多项式为基函数,同时考虑到各输入像素点的灰度值影响以及灰度值变化率的影响,从而得到插值函数f(x,y)。以此类推,在三维条件下,Tricubic插值算法需要利用空间内的4个平面上的合计64个(4×4×4个)输入像素点,通过拟合得到插值函数f(x, y, z),从而实现基于目标位置周围的空间信息得到插值结果。

可以理解,在本申请实施例中,采用Tricubic插值算法对低频子图像进行插值处理,不仅能够让目标像素点附近的多个平面上的信息均参与到插值运算中,还能够获取三维空间内的非线性的插值函数,使其更加接近真实的灰度值变化趋势,从而得到更加精准的插值结果。

由于低频子图像中包含的信息量较大,如果采用二维插值算法生成低频子图像的插值图像,则容易忽略三维空间内的像素关系,且容易导致生成的图像中存在伪影。例如,在医疗图像序列中,相邻的两张CT图像中,如果前一张中出现的器官在后一张中没有出现,则说明器官的边缘位于这两张图像之间的某一位置上。也就是说,假设在这两张图像之间的位置上进一步采集10张图像,则10张图像中可能存在5张显示有该器官的图像和5张未显示有该器官的图像。然而,如果基于二维插值算法在两张图像中生成10张插值图像,由于忽略了三维空间内的像素关系,空间信息未参与运算,因此难以判断器官边缘的准确位置,从而可能导致10张图像中包含9张显示有该器官的图像。也就是说,在9张图像中,有4张图像上出现了伪影。

针对上述问题,基于本申请实施例提供的图像生成方法,通过采用三维插值算法对低频子图像进行插值处理,能够综合考虑周围空间信息,有效还原出影像中的边缘信息,从而大大降低了出现伪影的概率,提高了生成图像的真实性。同时,可以采用二维插值算法对信息量相对较少的高频子图像进行插值处理,以避免计算量过大、成本上升的问题。

S150:对低频插值结果和高频插值结果进行小波重构,得到对应于目标位置的目标图像。

小波重构又称为逆小波变换,是为小波分解的逆过程,用于将子图像重新结合以生成完整的图像。

如前所述,低频插值结果和高频插值结果即为对应于目标位置的低频子图像和高频子图像。因此,对低频子图像和高频子图像进行小波重构,即可生成对应于目标位置的目标图像。

依然以N=M=2为例,如图7所示,LL’为四张LL子图像的插值结果,HL’为四张HL子图像的插值结果、LH’为四张LH子图像的插值结果,HH’为四张HH子图像的插值结果。对四个插值结果进行小波重构,生成的图像即为第一图像和第二图像之间的插值图像,即,对应于目标位置的目标图像。

S160:根据目标位置,将目标图像插入医学图像序列中,以获得扩充后的医学图像序列。

可选地,在得到目标图像之后,可以根据其对应的目标位置将目标图像插入医学图像序列中(即第一图像与第二图像之间),从而得到在图像排列方向上具有更高分辨率的扩充后的医学图像序列。扩充后的医学图像序列在后续应用场景中能够提供更加准确全面的信息,例如,采用插入目标图像后的医学图像序列进行3D重建时,能够大大提高重建后的3D模型的分辨率。

根据本申请实施例提供的图像生成方法,在提高医学图像序列在图像排列方向上的分辨率的同时,能够兼顾图像中的高频信息和低频信息,有效防止高频信息在插值过程中受损,从而高精度还原出目标位置上的影像信息,得到更加准确的目标图像。进一步地,本申请实施例提供的图像生成方法能够有效利用目标位置附近的空间信息,降低了生成的目标图像中出现伪影的概率,进一步提高了目标图像的真实性。

图3为本申请另一实施例提供的图像生成方法的流程示意图。该方法可以由电子设备(例如图13所示的图像生成设备)执行。

可选地,如图3所示,在本实施例中,图1或图2所示实施例中的S150具体可以包括:

S351:对低频插值结果和高频插值结果分别进行滤波处理,得到低频滤波结果和高频滤波结果。

S352:对低频滤波结果和高频滤波结果进行小波重构,得到目标图像。

其中,滤波处理可以采用高斯滤波。高斯滤波是一种线性平滑滤波,可以用于对图像进行平滑处理。

在本申请的实施例中,通过对低频插值结果和高频插值结果分别进行滤波处理,并基于低频滤波结果(即滤波后的低频插值结果)和高频滤波结果(即滤波后的高频插值结果)进行小波重构,能够将在低频信号特征和高频信号特征的结合过程中有可能产生的特异值有效滤除,同时使有可能残留在目标图像中的伪影变得平滑,进一步减小伪影的范围。

图4为本申请另一实施例提供的图像生成方法的流程示意图。该方法可以由电子设备(例如图13所示的图像生成设备)执行。

如图4所示,在本实施例中,前述实施例中的S130可以进一步包括:

S431:对第一图像的低频子图像和第二图像的低频子图像分别进行小波分解,得到每个低频子图像的二次低频子图像和二次高频子图像。

如前所述,低频子图像是原图像的近似表示,因此低频子图像中包含了更多的信息。在本实施例中,为了进一步提高目标图像的真实性,可以对第一图像和第二图像的低频子图像再实施一次小波分解处理,从低频子图像中提取出更加丰富的信息用于插值运算。

具体地,通过对第一图像的低频子图像和第二图像的低频子图像分别进行小波分解,可以得到对应于第一图像的低频子图像的二次低频子图像和二次高频子图像,以及对应于第二图像的低频子图像的二次低频子图像和二次高频子图像。

参见图8、图9中的示例。图8所示为一张医学图像示例(例如,可以是一张第一图像),图9为针对图8所示图像进行一次小波分解(水平方向及垂直方向)后,再对得到的低频子图像进一步进行二次小波分解后,最终得到的结果。在这里,一次小波分解得到的低频子图像和高频子图像分别用LL1和HL1、LH1以及HH1表示,对LL1子图像进行二次小波分解得到的二次低频子图像和二次高频子图像分别用LL2和HL2、LH2以及HH2表示。通过两次小波分解,可以得到对应于图8所示图像的7张子图像,包括1张低频子图像LL2和6张高频子图像HL1、LH1、HH1、HL2、LH2以及HH2。

S432:基于对应于第一图像的二次低频子图像和对应于第二图像的二次低频子图像,通过第一插值算法得到二次低频插值结果。

S433:基于对应于第一图像的二次高频子图像和对应于第二图像的二次高频子图像,通过第二插值算法得到二次高频插值结果。

在这里,S432与S433可以同时执行,也可以先后执行,本申请的实施例对于S230和S240的先后顺序不进行限定。

与前述实施例中的S230、S240类似地,在分别得到对应于第一图像的二次低频子图像和对应于第二图像的二次低频子图像之后,可以对二次子图像以频段进行重新划分,并分别进行插值运算,得到对应于目标图像的(一次)低频子图像的二次低频插值结果和二次高频插值结果。

例如,在采用水平方向和垂直方向同时进行小波分解的方案时,可以得到对应于每张第一图像的LL2子图像、HL2子图像、LH2子图像以及HH2子图像,和,对应于第二图像的LL2子图像、HL2子图像、LH2子图像以及HH2子图像。对这些二维子图像进行划分,即,将第一图像的LL2子图像和第二图像的LL2子图像归为一组,将第一图像的HL2子图像和第二图像的HL2子图像归为一组,将第一图像的LH2子图像和第二图像的LH2子图像归为一组,将第一图像的HH2子图像和第二图像的HH2子图像归为一组。进一步地,对每一组分别进行图像插值处理,可以得到一个低频插值结果(LL2插值结果)和三个高频插值结果(HL2插值结果、LH2插值结果以及HH2插值结果),即,可以得到对应于目标图像的LL1子图像的LL2子图像、HL2子图像、LH2子图像以及HH2子图像。

在本实施例中,通过对二次低频子图像和二次高频子图像分别采用不同的插值算法进行处理,能够根据低频和高频的不同特性,更加有针对性地进行插值运算,从而得到更加准确的二次插值结果。优选地,第一插值算法为三维插值算法,第二插值算法为二维插值算法。

S434:对二次低频插值结果和二次高频插值结果进行小波重构,得到低频插值结果。

与S150类似地,在得到对应于目标图像的低频子图像的二次低频子图像和二次高频子图像之后,对二次低频子图像和二次高频子图像进行小波重构,即可得到目标图像的低频插值结果。通过本实施例提供的图像生成方法得到的低频插值结果中保留了更加丰富的信息,能够进一步提高目标图像的准确度。

进一步地,执行S150,将二次分解重构后得到的低频插值结果以及通过S140得到的高频插值结果进行小波重构,得到目标图像。

根据本申请实施例提供的图像生成方法,通过对医学图像序列中的第一图像和第二图像进行二次小波分解,能够获取到目标位置附近的更多信息,从而通过插值处理得到更加精确的目标图像,进一步提高了目标图像的真实性。

可选地,如图5所示,在部分实施例中,S434具体可以包括:

S5341:对二次低频插值结果和二次高频插值结果分别进行滤波处理,得到二次低频滤波结果和二次高频滤波结果。

S5342:对二次低频滤波结果和二次高频滤波结果进行小波重构,得到低频插值结果。

其中,滤波处理可以采用高斯滤波。

在本申请的实施例中,通过对二次低频插值结果和二次高频插值结果分别进行滤波处理,并基于二次低频滤波结果(即滤波后的二次低频插值结果)和二次高频滤波结果(即滤波后的二次高频插值结果)进行小波重构,能够将在低频信号特征和高频信号特征的结合过程中有可能产生的特异值有效滤除,同时使有可能残留在低频插值结果中的伪影变得平滑,进一步减小伪影的范围。

同时,在本实施例中,S150具体可以包括:

S551:对高频插值结果进行滤波处理,得到高频滤波结果。

S552:对低频插值结果和高频滤波结果进行小波重构,得到目标图像。

由于低频插值结果已经在二次重构之前完成了滤波处理,在本实施例中,可以仅对高频插值结果进行滤波处理得到高频滤波结果,并对低频插值结果和高频滤波结果进行小波重构,得到目标图像。

作为一个目标图像的示例,图10为基于本申请实施例所提供的图像生成方法所生成的目标图像。如图10所示,本示例中采用了医疗图像序列中位于目标位置之前的两张第一图像和目标位置之后的两张第二图像,通过实施本申请上述实施例所提供的图像生成方法,得到了对应于目标位置的目标图像。可以看出,在目标图像中,显示对象的边界清晰且不存在伪影,图像中的过渡部分也较为平滑。本示例证实了本申请实施例提供的图像生成方法能够有效获得目标图像,且目标图像具有良好的准确度和真实性。

根据本申请实施例所提供的图像生成方法,通过小波分解的方式将医学图像序列中既有的图像分解为低频子图像和高频子图像,并对低频子图像和高频子图像分别进行插值运算,再对得到的低频插值结果和高频插值结果进行小波重构得到目标图像,从而有效防止了高频分量在插值过程中发生损失导致目标图像准确度低的问题;同时,通过对低频子图像和高频子图像分别采用三维插值算法和二维插值算法,能够有效利用目标位置周围空间内的全局信息,减少伪影的产生,使生成的目标图像具有更高的真实性,同时还可以避免计算成本过高。

应当理解,本申请实施例所提供的图像生成方法可以用于各种空间图像序列的图像插值场景中,尤其在医学图像序列的场景下具有良好的使用前景,例如可以用于MRI、CT等成像技术中,并且在PET-CT融合、3D重建、器官分割、图像配准等应用场景中也能够提供精确的辅助。

下面对本申请的装置实施例进行描述,下述实施例中的图像生成装置可以用于执行上述实施例所提供的图像生成方法,因此,在下述实施例中未详细描述的部分可以参见上述各方法实施例。

图11为本申请一实施例提供的图像生成装置1100的结构示意图。图像生成装置1100可用于执行图1所示的图像生成方法。

如图11所示,本实施例提供的图像生成装置1100可以包括:

获取模块1110,用于从医学图像序列中获取位于目标位置之前的第一图像和位于目标位置之后的第二图像;

分解模块1120,用于对第一图像和第二图像分别进行小波分解,得到对应于第一图像的低频子图像和高频子图像以及对应于第二图像的低频子图像和高频子图像;

低频计算模块1130,用于基于第一图像的低频子图像和第二图像的低频子图像,计算得到低频插值结果;

高频计算模块1140,用于基于第一图像的高频子图像和第二图像的高频子图像,计算得到高频插值结果;

重构模块1150,用于对低频插值结果和高频插值结果进行小波重构,得到对应于目标位置的目标图像;

插入模块1160,用于根据目标位置,将目标图像插入医学图像序列中,以获得扩充后的医学图像序列。

根据本申请实施例提供的图像生成装置,在提高医学图像序列在图像排列方向上的分辨率的同时,能够兼顾图像中的高频信息和低频信息,有效防止高频信息在插值过程中受损,从而高精度还原出目标位置上的影像信息,得到更加准确的目标图像。进一步地,本申请实施例提供的图像生成装置能够有效利用目标位置附近的空间信息,降低了生成的目标图像中出现伪影的概率,进一步提高了目标图像的真实性。

可选地,在一些实施例中,低频计算模块1130具体可以用于:基于第一图像的低频子图像和第二图像的低频子图像,通过第一插值算法计算得到低频插值结果;高频计算模块1140具体可以用于:基于第一图像的高频子图像和第二图像的高频子图像,通过第二插值算法计算得到高频插值结果。

优选地,在部分实施例中,还可以采用第一插值算法计算低频插值结果,采用第二插值算法计算高频插值结果,通过对低频子图像和高频子图像分别采用不同的插值算法进行处理,能够根据低频子图像和高频子图像的不同特性,更加有针对性地进行插值运算,从而得到更加准确的插值结果。

可选地,在一些实施例中,重构模块1150具体可以用于:对低频插值结果和高频插值结果分别进行滤波处理,得到低频滤波结果和高频滤波结果;对低频滤波结果和高频滤波结果进行小波重构,得到目标图像。

图12为本申请另一实施例提供的图像生成装置1200的结构示意图。图像生成装置1200可用于执行图4所示的图像生成方法。

如图12所示,图像生成装置1200与前述实施例的图像生成装置1100的区别在于,低频计算模块1130可以包括:

二次分解单元1231,用于对第一图像的低频子图像和第二图像的低频子图像分别进行小波分解,得到每个低频子图像的二次低频子图像和二次高频子图像;

二次低频计算单元1232,用于基于对应于第一图像的二次低频子图像和对应于第二图像的二次低频子图像,通过第一插值算法得到二次低频插值结果;

二次高频计算单元1233,用于基于对应于第一图像的二次高频子图像和对应于第二图像的二次高频子图像,通过第二插值算法得到二次高频插值结果;

二次重构单元1234,用于对二次低频插值结果和二次高频插值结果进行小波重构,得到低频插值结果。

根据本申请实施例提供的图像生成装置,通过对医学图像序列中的第一图像和第二图像进行二次小波分解,能够获取到目标位置附近的更多信息,从而通过插值处理得到更加精确的目标图像,进一步提高了目标图像的真实性。

可选地,在一些实施例中,二次重构单元1234具体可以用于:对二次低频插值结果和二次高频插值结果分别进行滤波处理,得到二次低频滤波结果和二次高频滤波结果;对二次低频滤波结果和二次高频滤波结果进行小波重构,得到低频插值结果。

可选地,在一些实施例中,重构模块1150具体可以用于:对高频插值结果进行滤波处理,得到高频滤波结果;对低频插值结果和高频滤波结果进行小波重构,得到目标图像。

在本申请的实施例中,通过对二次低频插值结果和二次高频插值结果分别进行滤波处理,并基于二次低频滤波结果(即滤波后的二次低频插值结果)和二次高频滤波结果(即滤波后的二次高频插值结果)进行小波重构,能够将在低频信号特征和高频信号特征的结合过程中有可能产生的特异值有效滤除,同时使有可能残留在低频插值结果中的伪影变得平滑,进一步减小伪影的范围。

图13为本申请一实施例提供的图像生成设备的结构示意图。如图13所示,图像生成设备包括:存储器1310,用于存储计算机指令;处理器1320,用于执行存储器1310中存储的计算机指令,当计算机指令被执行时,处理器1320用于执行上述任一实施例所提供的图像生成方法。

本申请的其他实施例还提供一种计算机可读的存储介质,其上存储有程序,该程序被执行时,实现如上述任一实施例所述的图像生成方法。可以理解,该存储介质可以为任何有形媒介,例如:软盘、CD-ROM、DVD、硬盘驱动器或网络介质等。

本申请的其他实施例还提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行如上述任一实施例所述的图像生成方法。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述的装置、设备、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或模块可以结合,或者可以集成到另一个系统,或一些特征可以忽略,或不执行。装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

还需要指出的是,在本申请的装置、设备和方法中,各模块或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请中涉及的装置、设备、模块和单元的方框图仅作为示例性的例子,并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配制。所属领域的技术人员可以理解,这些装置、设备、系统可以按任意方式进行连接、布置、配制。诸如“包含”、“包括”、“具有”等等的词语是开放性词汇,至“包括但不限于”,且可与其互换使用,除非上下文明确指示不是如此。这里使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。

以上描述旨在使所属领域的任何技术人员能够实现或者使用本申请。针对上述各方面的各种修改对于所属领域的技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请并不意图被限制到上述方面,而是按照与在此公开的原理及新颖的特征一致的最宽范围。

以上说明是为了对本申请的技术方案进行例示和描述。此外,此描述并不意图将本申请的实施例限制在上述公开的形式范围之内。尽管上述内容中已经讨论了多个示例方面和实施例,但是所属领域的技术人员可以基于上述内容轻易得到其他变型、修改、改变、添加和子组合。凡在本申请的精神和原则之内,这些其他变型、修改、改变、添加和子组合等,均应包含在本申请的保护范围之内。

28页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种具有报警和一键求救功能的火电厂巡检对讲系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类