通过高密度元素抑制来合成乳腺组织的图像生成的系统和方法

文档序号:620453 发布日期:2021-05-07 浏览:12次 >En<

阅读说明:本技术 通过高密度元素抑制来合成乳腺组织的图像生成的系统和方法 (System and method for image generation for synthesizing breast tissue by high density elemental suppression ) 是由 刘晓旻 崔海力 张向伟 N·戈卡纳特斯奥斯 于 2019-09-24 设计创作,主要内容包括:一种用于处理乳腺组织图像数据的方法和乳腺成像系统包括将乳腺图像的图像数据输入到图像处理器,识别描绘乳腺组织和高密度元素的图像部分,并对输入图像执行不同的处理方法。第一图像处理方法涉及乳腺组织增强和高密度元素抑制,而第二图像处理方法涉及增强高密度元素。可通过各自的图像处理方法生成各自的三维图像片组,并生成和组合各自的二维合成图像以形成二维复合合成图像,该图像通过乳腺成像系统的显示器呈现。第一和第二图像处理可以在由图像采集部件以相对于患者乳腺的各个角度采集的二维投影图像上或生成的三维图像组上执行。(A method and breast imaging system for processing image data of breast tissue includes inputting image data of a breast image to an image processor, identifying image portions depicting breast tissue and high density elements, and performing different processing methods on the input image. The first image processing method involves breast tissue enhancement and high density element suppression, while the second image processing method involves enhancement of high density elements. Respective sets of three-dimensional image slices may be generated by respective image processing methods, and respective two-dimensional composite images are generated and combined to form a two-dimensional composite image, which is presented by a display of the breast imaging system. The first and second image processing may be performed on two-dimensional projection images acquired by the image acquisition section at various angles with respect to the breast of the patient or on a generated three-dimensional image group.)

通过高密度元素抑制来合成乳腺组织的图像生成的系统和 方法

相关申请数据

本申请根据35U.S.C.§119对2018年9月28日提交的美国临时专利申请序列号62/738,244要求权益,该申请通过引用全部并入本申请。

技术领域

本公开的发明总体上涉及乳腺成像技术,如断层扫描技术,更具体地说,涉及用于处理包括遮挡性高密度元素的乳腺图像的系统和方法。

背景技术

长期以来,乳腺X光照相术一直被用于筛查乳腺癌和其他异常情况。传统上,乳腺X光照片是在X射线胶片上形成的。最近,已经引入了平板数字成像器,它以数字形式采集乳腺X线照片,从而便于分析和存储所采集的图像数据,并且还提供其他好处。此外,利用乳腺断层扫描等方法获得乳腺的三维(3D)图像,也得到了大量的关注和技术发展。与传统的乳腺X光照相术系统产生的二维(2D)图像不同,乳腺断层合成系统从一系列的二维投影图像构建或产生三维图像体积,当X射线源在探测器上扫描时,每个投影图像在X射线源相对于图像探测器的不同角度位移处获得。构建的三维图像体积或堆叠通常以多个图像数据切片的形式呈现,这些切片在通常并行于成像探测器的平面上进行数学重建。重构的断层合成片,通过允许用户如放射科医生或其他医疗专业人员滚动浏览图像切片以仅查看该片中的结构。减少或消除了存在于二维乳腺X光照相术成像中的组织重叠和结构噪声引起的问题。

最近开发了用于乳腺癌筛查和诊断的成像系统,如断层合成系统。特别是,Hologic公司已经开发了一种融合的、多模式的乳腺X光照相术/断层合成系统,该系统可以在乳腺保持固定或在乳腺的不同压迫下采集一种或两种类型的乳腺X光照相术和断层合成图像。其他公司也推出了包括断层合成成像的系统;例如,该系统不包括在同一压迫下采集乳腺X光照片的能力。

在美国专利号7,760,924中描述了利用现有的医学专业知识以可选地促进向断层合成技术过渡的系统和方法的实例,该专利在此通过引用而被全部引入。特别是,美国专利第7,760,924号描述了一种生成合成的二维图像的方法,该图像可任选地与断层合成投影或重建图像一起显示,以协助筛查和诊断。

二维合成图像旨在模拟传统的二维乳腺X光片,同时不丢失来自断层合成片的相关信息,这些信息在传统的二维乳腺X光片中可能不容易看到。二维合成图像包括任何临床上重要和有意义的信息,如异常病变和正常乳腺结构,同时代表传统二维图像的相关部分。有许多不同类型的病变和乳腺结构,可以定义为具有不同特征的不同类型的图像对象。对于三维体积数据中可见的任何给定图像对象,在二维合成图像中尽可能地保持和增强图像特征(如微钙化、建筑变形等)是非常重要的。为了实现目标图像对象的增强,准确识别和表示三维断层合成数据中存在的图像对象非常重要。

同样重要的是,生成代表重构图像切片的三维体积以及代表该三维重构图像切片的二维合成图像,这些图像切片清晰地描绘乳腺组织内的感兴趣的结构,同时减少或消除不需要的图像对象和伪影,这些图像对象和伪影可以阻挡或遮挡感兴趣的对象和临床重要信息。例如,金属活检标记通常被插入患者的乳腺中,以便放射科医生在随后的复查或后续检查过程中可以很容易地识别先前的活检位置。某些已知的活检标记是由生物相容性金属材料如不锈钢、钛或镍钛制成的,并且可以具有各种形状,包括可扩张的网状或网状结构、圆柱体和绞线,这取决于应用和活检属性如大小、方向和位置。活检标记的例子包括TUMARK、SECURMARK、TRIMARK和CELEROMARK活检部位标记,可从马萨诸塞州马尔堡的Hologic公司获得。

然而,在生成三维重构片和随后生成二维合成图像的过程中,高密度物体如金属活检标记或夹子本身可能会遮挡感兴趣的乳腺组织,由这些金属活检标记成像产生的阴影也可能会延伸或穿透到乳腺组织中,以在不同方向上遮挡乳腺组织的图像部分,因为在乳腺周围成像的结果。成像活检标记或夹子和不同形状和尺寸的外部皮肤标记可以在整个三维图像堆叠和由此产生的二维合成图像的不同部分引入不同形状、尺寸和数量的阴影或成像伪影。这些阴影伪影可能难以解决,可能无法查看感兴趣的特定乳腺组织区域。这些干扰区域降低了二维合成图像的质量,并可能降低基于相同的评估的准确性,因为感兴趣的结构可能被高密度物体和/或由此产生的阴影所阻挡或遮挡(并可能从金属物体反射,这取决于所利用的活检标记材料和成像系统的类型)。

发明内容

所公开的发明实施例提供了计算机化图像生成和显示系统及方法,用于消除或减少由乳腺组织中或乳腺组织上的高密度或不透射线物体成像产生的阴影等成像伪影。高密度物体如阴影在合成图像中被抑制,以提供更清晰、更准确的乳腺组织,同时提供更准确、更有效的图像生成和放射科医生审查。

所公开的发明的实施例还提供了对输入的乳腺图像的差分或多流图像处理,以便以不同的方式处理输入图像以产生不同的结果图像,这些图像被组合或合并以产生合成的复合图像。所产生的合成复合图像具有减少或没有因在乳腺组织中或在乳腺组织上成像高密度或不透射线物体而产生的阴影伪影,同时图像的其他元素或方面得到保持或增强。

实施例还提供了基于不同维度格式的图像输入的合成图像的生成。例如,在一个实施例中,共同地基于从乳腺成像系统生成的图像数据描绘乳腺组织以及描绘乳腺组织中以及乳腺组织上的高密度物体的三维图像组被以不同的方式处理以生成不同的中间图像组。高密度物体在第一组中间图像中被抑制,在第二组中间图像中被增强。至少部分地基于第一组中间图像和第二组中间图像的二维(2D)复合合成图像是没有高密度物体的,并通过乳腺成像系统的显示器呈现。在另一个实施例中,二维投影图像组而不是基于二维投影图像组构建的三维图像组是图像处理器的输入,并以不同的方式进行处理,以在一个图像处理流程中用于高密度元素抑制和乳腺增强,而在另一个图像处理流程中用于高密度元素增强。至少部分基于第一组中间图像和第二组中间图像的无高密度物体的二维(2D)复合合成图像,并通过乳腺成像系统的显示器呈现。

乳腺组织的图像数据处理的另一实施例包括:根据乳腺成像系统生成的图像数据,生成共同描绘乳腺组织的第一组图像,第一组图像描绘高密度物体,并对第一组图像进行不同的处理,生成高密度物体被抑制、乳腺组织被增强的第二组图像,并生成高密度物体被增强的第三组图像。对第二组图像进行处理,生成其中高密度物体被抑制的第四组图像,对第三组图像进行处理,生成其中高密度物体被增强的第五组图像。至少部分地基于第四组图像和第五组图像生成且不含高密度物体的复合合成图像,并通过乳腺成像系统的显示器呈现。

在所公开的发明的一个实施例中,图像切片的三维组或堆叠(例如,由乳腺成像系统的X射线成像装置采集的二维投影图像的重建生成)共同描绘乳腺组织,并作为输入馈送到乳腺成像系统的多流图像处理器。将输入的三维图像切片组以不同的方式进行处理,以生成抑制高密度物体并增强乳腺组织的第一组三维图像切片和增强高密度物体的第二组三维图像切片。第一二维合成图像或第一中间图像至少部分基于或体现第一组三维的增强组织图像部分而生成,第二二维合成图像或第二中间图像至少部分基于或体现第二三维组的增强高密度物体图像部分而生成。将第一和第二二维合成图像组合或合并在一起,以生成二维复合合成图像,该图像通过图像生成和显示系统的显示器呈现给放射科医生。

根据另一个实施例,涉及高密度元素抑制的多流或差分图像处理应用于二维采集或投影图像,而不是应用于图像切片的三维堆叠。换句话说,图像处理器的输入可以是不同维度格式的图像数据,并且多流图像处理可以在图像重建之前或之后执行。因此,涉及高密度元素抑制的多流或差分图像处理可以在图像重建之前和已经生成图像切片的三维堆叠之前执行,或者在图像重建之后和已经生成图像切片的三维堆叠之后执行,图像处理器可以接收不同类型和/或组合的图像,这些图像可以涉及或不涉及重建和Tr图像。

在一个实施例中,乳腺图像处理方法涉及通过图像采集部件来采集描绘乳腺组织的多个二维图像,例如,使用以不同角度定位的探测器和辐射源,而乳腺在辐射源和探测器之间。采集的二维图像被作为输入馈送到乳腺成像系统的多流程图像处理器。图像处理器执行第一图像处理方法或流程以生成处理的第一组二维图像,其中处理的第一组二维图像的描绘乳腺组织的部分被增强,而处理的第一组二维图像的其他描绘高密度元素的部分被抑制。图像处理器还执行与第一图像处理方法不同的第二图像处理方法,以生成处理的第二组二维图像,其中,第二处理组的描绘高密度元素的部分被增强,而不增强乳腺组织。为此,在第一图像处理方法或流程中利用的对象增强模块在第二图像处理方法或流程中不执行或停用。在对二维图像进行多流程图像处理以生成新的中间二维图像组后,可以生成合成图像并将其合并或组合以生成二维复合合成图像,该图像通过图像生成和显示系统的显示器呈现。二维合成图像可以从新的二维图像组或从通过重建生成的图像切片的所生成的三维堆叠生成。在这些实施例中,构建了至少部分基于处理的第一组二维图像的第一组中间三维图像切片和至少部分基于处理的第二组二维图像的第二组中间三维图像切片。这些三维组用于至少部分地基于各自的第一组和第二组三维图像切片生成各自的第一和第二二维合成。因此,虽然某些实施例参照用于生成二维合成图像的三维图像切片组或堆叠进行了描述,但实施例并不如此限制,图像合成器可以使用不同类型和组合的图像,包括Tr(断层重建图像)、Tp(断层合成投影图像)和Mp(乳腺X光照相术投影图像)的不同组合。此外,Mp图像可以融合到二维合成图像中,因为Mp图像可以更好地表示某些图像元素,例如钙化。因此,包括金属抑制和金属增强合成器的图像处理器可以使用断层合成重建图像Tr、断层合成投影图像Tp和乳腺X光照相术投影图像Mp的一个或多个和不同组合。

因此,实施例可涉及不同维度的图像格式、从一个维度格式转换到另一个维度格式、在生成二维合成复合图像之前生成的不同类型和数量的中间图像组、以及在不同维度格式的图像上执行的图像处理和涉及不同维度格式的特定图像处理序列。实施例可以涉及多流图像处理器在构造的三维图像切片组上执行,从而多流图像处理可以不在二维采集或投影图像上执行。实施例可以涉及多流图像处理器在二维采集或投影图像上执行,从而多流图像处理可以不在重建的三维图像切片堆叠上执行。此外,二维合成图像的生成可以基于从二维投影图像构建的图像切片的中间或三维堆叠,或者从二维图像生成而不生成三维堆叠。此外,第一图像处理流中的选择性抑制可以应用于其本身是高密度或是不透射线物体形式的高密度元素和/或由高密度物体成像产生的成像伪影或阴影形式的高密度元素。

然而,其他实施例可涉及包括在二维采集或投影图像上执行的高密度元素抑制的多流或差分图像处理,然后包括在构建的三维图像切片组上执行的高密度元素抑制的多流或差分处理。因此,高密度元素抑制和增强可以在重建之前和之后执行,以生成图像切片的三维堆叠,以提供进一步增强的二维复合合成图像。

用于处理乳腺组织的图像的计算机实现的方法的一个实施例包括将患者乳腺的多个图像的图像数据作为输入送入到图像生成和显示系统的多流程图像处理器中。图像处理器识别描绘乳腺组织的乳腺组织的图像的部分和描绘高密度元素的图像的部分,这些图像是通过在患者的乳腺中或在患者的乳腺上成像高密度物体(例如,使用由辐射源产生的辐射冲击位于患者的组织的相对两侧的辐射检测器)而产生的。该方法还包括图像处理器执行不同的图像处理方法,这些方法可以并行执行,并且在相同的图像数据输入上执行。第一图像处理方法增强描绘乳腺组织的图像部分,同时抑制描绘高密度元素的图像部分。例如,诸如不透射线的金属物体或由此产生的阴影等高密度元素可在图像内使用基于测量的对比度和亮度或其他图像标准或滤波器中的一个或多个预先确定的滤波器或标准被识别为高密度元素,该滤波器或标准也可指示高密度元素的辐射性。高密度元素部分可以通过被其他图像背景数据填充或替换,例如通过相互操作或背景采样和复制来检测、分割和抑制。以这种方式,高密度或不透射线元素基本上被消除或修改,并且在处理后的图像中视觉上无法感知。第一三维堆叠的图像切片体现了描绘乳腺组织的增强图像部分和描绘高密度元素的抑制图像部分。例如,第一组三维图像切片可以是重建的图像切片组的形式,其中每个图像代表乳腺的切片,因为它将在任何所需角度出现在该切片的图像中。第一图像处理方法还包括至少部分地基于第一组三维图像切片生成第一二维合成或"人工"图像。第二图像处理方法与第一图像处理方法不同,涉及增强而不是抑制描绘高密度元素的图像部分,这可以在不增强或强调乳腺组织或病变或其感兴趣的物体的情况下进行。可使用一种或多种图像滤波/处理算法来增强已识别的高密度或不透射线元素,这些算法旨在突出具有尖锐对比度的对象,其实例包括用于边缘增强、对比度增强和强度投影(例如,最大/平均强度投影)的算法。生成体现描绘高密度元素的增强图像部分的第二组三维图像切片,以及至少部分地基于第二组三维图像切片生成第二二维合成图像。图像处理器组合或合并由各自的第一和第二图像处理流生成的第一和第二二维合成图像,以生成复合二维图像,该图像被显示给系统的用户。

在单个或多个实施例中,激活采集部件,如图像生成和显示系统的X射线图像采集部件,以采集患者乳腺的多个图像。采集到的图像,例如二维投影图像,可以使用辐射源和检测器进行采集,这些辐射源和检测器以不同的角度定位,而乳腺在辐射源和检测器之间。

在单个或多个实施例中,被馈送入图像处理器并在其上执行第一和第二图像处理流的图像数据是二维投影图像的图像数据。因此,在这些实施例中,第一图像处理流的高密度或不透射线元素抑制在图像重构之前并因此在生成图像切片的三维堆叠之前执行,并且高密度或不透射线元素抑制不在图像切片的三维堆叠上执行。

在单个或多个实施例中,馈送入图像处理器并在其上执行第一和第二第一和第二处理流的图像数据是图像切片的三维组或堆叠。因此,在这些实施例中,第一图像处理流的高密度元素抑制在图像重建之后执行,因此在生成图像切片的三维堆叠之后执行。高密度元素抑制不在二维投影图像上执行。

在单个或多个实施例中,第一图像处理流的金属抑制和第二图像处理流的金属增强直接在相同的输入图像上执行,例如二维投影图像。在其他实施例中,第一图像处理方法的金属抑制和第二图像处理方法的金属增强在中间的三维重建图像切片组上执行,但不在二维投影图像上执行。

在单个或多个实施例中,被抑制的高密度元素图像部分包括金属或不透射线物体本身和/或由此产生的阴影。高密度元素可以跨输入的三维图像切片组的多个切片延伸。金属物体可以是插入乳腺组织中的异物,例如金属活检标记或夹子。高密度元素也可以是由金属活检标记或其他异物的成像产生的阴影。当以钙化图像处理方法的形式处理包括高密度或不透射线物体的图像时,也可以使用本发明的实施例。因此,高密度或不透射线元素可以是源自乳腺组织内的异物或元素。此外,虽然提到这种高密度物体可能是不透射线的,但将理解这种物体确实可能是不透射线的,或者只在一定程度上是不透射线的,以便不完全是不透射线的,但仍然遮盖乳腺组织,并且由金属物体成像产生的阴影伪影可能不是不透射线的。因此,"高密度元素"被解释和定义为包括金属物体,例如活检标记或皮肤标记,不透射线的材料或物体,以及由相同的材料或物体成像产生的阴影或阴影伪影,并且可以执行实施例以抑制图像中的一些或所有高密度元素,例如,抑制阴影但不抑制活检标记。

在实施例中,第一成像处理方法抑制已识别的描绘高密度元素的图像部分,使得高密度元素在第一组三维图像切片或最终生成的二维合成图像中不可见。在单个或多个实施例中,第一二维合成图像没有高密度元素和/或由对高密度元素成像产生的阴影元素。

在单个或多个实施例中,图像处理方法可以涉及分割掩模,该分割掩模用于生成其中高密度元素被增强的第二二维合成图像,并且可以涉及在第二二维合成图像上执行的形态学操作,以扩张或侵蚀描绘高密度元素的增强图像部分的图像边缘以增加其清晰度。例如,第二图像处理方法可以涉及分割被识别为描绘高密度元素的图像部分,以确定分割图像部分的各个像素数据或值,并基于各个像素数据或值生成高密度元素掩模。该掩膜可以是二进制像素级掩膜--对于高密度元素的像素为"1",对于其他像素为"0"。该掩膜可随后被图像处理器利用,以确定在合并或结合第一二维合成图像和第二二维合成图像时,要将第二二维合成图像的哪些部分包括在二维合成图像中,例如,通过利用高密度元素掩膜对第一二维合成图像和第二二维合成图像进行调制组合。

在单个或多个实施例中,通过在描绘高密度元素的图像部分上进行插值,用取样的乳腺组织或未增强的背景像素来替换高密度元素像素,执行第一图像处理方法的高密度元素抑制。

附图说明

图示了所公开的发明的实施例的设计和实用性,其中类似的元素用通用参考数字来指代。这些图不一定是按比例绘制的。为了更好地理解如何获得上述和其它优点和对象,将对实施例进行更具体的描述,这些实施例在附图中进行了说明。这些图示仅描述了所公开的发明的典型实施例,因此不应视为对其范围的限制。

图1是示出根据所公开的发明的实施例的典型乳腺图像采集和处理系统的数据流的框图;

图2是示出根据所公开的发明的实施例通过利用多个对象物体识别/增强模块来识别图像堆叠中的各个对象的二维合成器的数据流的框图;

图3示出了在图像堆叠上应用对象物体识别/增强模块以识别各自的对象并将对象缩减到二维合成图像上的一个实施例;

图4示出了在图像堆叠上应用单个对象物体识别/增强模块时的数据流;

图5示出了在图像堆叠上应用多个对象物体识别/增强模块时的数据流;

图6A和图6B示出了将来自多个对象物体合成模块的数据进行组合的顺序组合技术;

图7A和图7B示出了将来自多个对象物体合成模块的数据进行组合的并行组合技术;

图8A和图8B分别示出了使用顺序组合技术和并行组合技术生成二维合成图像的两个示例流程图;

图9描述了图像切片的三维堆叠,以及高密度元素(例如,在乳腺组织中通过对金属物体成像所产生的阴影)如何遮挡乳腺组织和临床重要信息;

图10是示出根据所公开的发明的实施例的涉及选择性抑制和增强乳腺图像中的高密度元素的示例性乳腺图像采集和处理系统的数据流的框图;

图11示出了根据一个实施例执行的多流或差分图像处理以生成复合二维合成图像的流程图;

图12示出了在输入图像上执行的第一图像处理流的乳腺组织增强和高密度抑制的流程图;

图13示出了在输入图像上执行的第二图像处理流的高密度元素增强的流程图;

图14示出了直接在输入的三维图像切片堆叠上执行的多流或差分图像处理的流程图;

图15示出了示出图14的多流或差分图像处理的实施例的图像流图,其中多流图像处理器接收三维图像切片的输入;

图16示出了第一图像处理流的乳腺组织增强和高密度抑制的图像流程图,其中,高密度元素被抑制,乳腺组织元素被增强;

图17示出了第二图像处理流的高密度元素增强的图像流程图,其中高密度元素被增强;

图18示出了在高密度元素被增强的第二图像处理流中利用的二维图像合成器的图像流程图;

图19示出了组合多个二维合成图像以生成二维复合合成图像的图像流程图;

图20A示出了显示由金属活检标记产生的阴影如何遮挡乳腺组织和临床重要信息的二维合成图像,图20B示出了根据实施例生成的二维合成复合图像,并显示了图20A的阴影如何被抑制或消除,以提供更清晰且无遮挡的乳腺组织和临床重要信息;

图21示出了直接在输入的二维图像上执行的多流或差分图像处理的流程图;

图22示出了示出图21的多流或差分图像处理的实施例的图像流程图,其中多流图像处理器接收二维图像的输入;

图23示出了由多流图像处理器在二维图像输入上执行的第一图像处理流的乳腺组织增强和高密度抑制的图像流图,并且在其中该图像流中高密度元素被抑制,乳腺组织元素被增强;以及

图24示出了在二维图像输入上执行的多级图像处理器的第二图像处理流的高密度元素增强的图像流程图,在该流中,高密度元素被增强。

具体实施方式

此处假设所有数值均由术语"大约"或"大约"修饰,无论是否明确指出,其中术语"大约"和"大约"一般指本技术领域的技术人员认为等同于所叙述的数值的数字范围(即,具有相同的功能或结果)。在某些情况下,术语"大约"和"大约"可以包括四舍五入到最接近的有意义数字的数字。由端点背诵的数字范围包括该范围内的所有数字(例如,1至5包括1、1.5、2、2.75、3、3.80、4和5)。

如本说明书和所附权利要求书中所使用的,单数形式"a"、"an"和"the"包括复数指代,除非内容明确规定了其他内容。如本说明书和所附权利要求书中所使用的,除非内容明确规定,否则术语"或"一般按其含义包括"和/或"使用。在描述附图中所示的所公开的发明的描述性实施例时,为了清楚和便于描述,采用了特定的术语。然而,本专利说明书的公开并不打算局限于如此选择的特定术语,应当理解的是,每个特定要素包括所有以类似方式操作的技术等同物。还要理解的是,不同说明性实施例的各种要素和/或特征可以在本公开和所附权利要求的范围内尽可能地相互组合和/或相互替代。

下面参照图来描述所公开的发明的各种实施例。应当注意的是,图中没有按比例绘制,并且在整个图中,类似结构或功能的元素由类似的参考数字表示。还应注意的是,这些图只是为了便于描述实施例。它们并不打算作为对发明的详尽描述,也不打算作为对所公开的发明范围的限制,所公开的发明范围仅由所附的权利要求书及其等价物定义。此外,所公开的发明的图示实施例不需要具有所示的所有方面或优点。例如,结合所公开的发明的特定实施例描述的方面或优点不一定局限于该实施例,即使没有如此图示,也可以在任何其他实施例中实施。

对于以下定义的术语和缩写,除非在权利要求书中或本说明书的其他地方给出了不同的定义,否则这些定义应适用于整个本专利说明书和所附权利要求书。

"采集的图像"是指在可视化患者组织时生成的图像。获得的图像可以由来自辐射源的辐射冲击位于患者组织的相对侧的辐射检测器而产生,如传统的乳腺X光检查。

"重构图像"是指从多个采集的图像衍生的数据生成的图像。重构图像模拟未包括在多个采集图像中的采集图像。

"合成图像"是指从源自多个采集的和/或重建的图像的数据生成的人工图像。合成图像包括来自采集的和/或重建的图像的元素(例如,物体和区域),但不一定对应于可在可视化期间采集的图像。合成图像是构造的分析工具。

"Mp"图像是常规的乳腺X光片或对比度增强的乳腺X光片,它们是乳腺的二维(2D)投影图像,并包括由平板探测器或另一成像设备采集的数字图像,以及经过常规处理后的图像,以准备将其显示(例如,向卫生专业人员)、存储(例如,在医院的PACS系统中)和/或其他用途。

"Tp"图像是类似于二维(2D)的图像,但在乳腺与成像X射线的原点(通常是X射线管的焦点)之间的各自断层角处采集,并包含所采集的图像,以及经处理后用于显示、存储和/或其他用途的图像数据。

"Tr"图像是重建图像的类型(或子集),该图像由断层投影图像Tp重建,例如,以美国专利No.7,577,282、7,606,801、7,760,924和8,571,289中的一项或多项所描述的方式,其公开的内容通过引用而完全并入本文,其中Tr图像表示乳腺的切片,因为它将在该切片的投影X射线图像中以任何所需角度出现,而不仅仅是在用于采集Tp或Mp图像的角度出现。

"Ms"图像是合成图像的类型(或子集),特别是模拟乳腺摄影图像的合成二维投影图像,如颅尾(CC)或纵隔斜面(MLO)图像,并使用断层投影图像Tp、断层重建图像Tr或其组合构建。可以提供Ms图像用于向卫生专业人员显示或用于存储在医院或其他机构的PACS系统中。可用于生成Ms图像的方法的实例描述在上述美国专利号7,760,924和8,571,289中,还描述了美国申请号15/120,911,该申请以美国公开No.2016/0367120,于2016年12月22日发布,题为"System and Method for Generating and Displaying Tomosynthesis ImageSlabs",2018年3月28日提交的PCT申请号为PCT/US2018/024911,题为"System and Methodfor Hierarchical Multi-Level Feature Image Synthesis and Representation",2018年3月28日提交的PCT申请号为PCT/US2018/024912,并题为System and Method forSynthesizing Low-Dimensional Image Data From High-Dimensional Image DataUsing an Object Grid Enhancement,以及2018年3月28日提交的PCT申请号为PCT/US018/0249132,并题为System and Method for Targeted Object Enhancement to GenerateSynthetic Breast Tissue Images,所有这些申请的内容均以引用的方式并入本文。

应当理解的是,Tp、Tr、Ms和Mp图像数据包含足以描述各自图像以用于显示、进一步处理或存储的无论何种形式的信息。各自的Mp、Ms、Tp和Tr图像,包括那些经过高密度元素抑制和增强的图像,通常在被显示之前以数字形式提供,每个图像由识别二维像素阵列中每个像素的属性的信息定义。像素值通常与乳腺中相应体积(即组织的体素或列)对X射线的各自测量、估计或计算的响应有关。在优选的实施例中,断层合成图像(Tr和Tp)和乳腺X线摄影图像(Ms和Mp)的几何形状与共同的坐标系统匹配,如美国专利号7,702,142所述。除非另有说明,否则假设这种坐标系匹配是针对本专利说明书的后续详细描述中所述的实施例来实现的。

术语"生成图像"和"传输图像"分别指生成和传输足以描述用于显示的图像的信息。生成和传输的信息通常是数字信息。

术语"高密度元素"被定义为当与乳腺组织一起成像时,部分或完全遮挡成像的乳腺组织或乳腺组织的临床重要信息如恶性乳腺肿块、肿瘤等的元素。高密度元素可以基于涉及对比度、亮度、辐射率或其他属性中的一个或多个的预先确定的标准或滤波器来检测。高密度元素可以是异物或自然存在于乳腺组织内,并且可以是部分或完全不透射线的。例如,一种类型的高密度元素是金属物体,如插入乳腺组织中的金属活检标记。这样的标记物被设计成不透射线的,从而当使用X射线时,它们是清晰可见的。高密度元素的另一个例子是乳腺组织内的钙化。高密度元素也可以是非金属或非钙化元素,例如由对金属标记物成像产生的阴影伪影,其可能不被认为是不透射线的。因此,"高密度元素"被定义为包括金属物体,如活检标记或皮肤标记、不透射线的材料或物体以及由相同的成像产生的阴影或阴影伪影。

术语"差分"或"多流"图像处理被定义为指以不同的方式处理输入图像以产生不同的图像结果,并且被定义为包括涉及抑制成像的高密度元素和涉及增强成像的高密度元素的一个流。不同的图像处理流可以并行地同时执行,并且输入到图像处理器的实施例的图像可以是不同的维度格式。

为了确保显示给审阅者或终端用户的合成的二维图像(例如,Ms图像)包括最临床相关的信息,有必要检测和识别乳腺组织内的三维物体,例如恶性乳腺肿块、肿瘤等。为此,根据本公开的发明实施例,可以使用多个对象物体识别/合成模块来识别三维物体,其中每个对象识别/合成模块可以被配置为识别和重建特定类型的物体。这些多个对象合成模块可以一起工作,在生成一个或多个合成的二维图像的重建过程中结合与各自物体相关的信息,确保每个物体被准确地表示,并且在显示给终端用户的二维合成图像上保留临床重要信息。

显示给终端用户的合成的二维图像也应该是清晰的,以便临床相关信息和物体不被不希望的图像元素或伪影遮挡,这些元素或伪影可以包括高密度元素,如活检标记和/或在乳腺成像过程中由相同的成像产生的阴影。为此,根据本公开的发明的实施例,利用多流图像处理器通过在一种图像处理方法中抑制高密度元素和在另一种图像处理方法中增强高密度元素来生成二维合成图像,从而当组合由不同图像处理流生成的不同二维合成图像时,高密度元素(例如,阴影)被减少或消除,从而生成复合二维合成图像,该复合二维合成图像更清晰和更准确地描绘乳腺组织和乳腺组织物体,同时提供更准确和有效的放射科医生审查。

参考图1-8B描述了旨在生成保持和增强临床有趣特征的二维合成图像的实施例,并参考图9-24描述了利用多流图像处理方法减少例如阴影的高密度元素并生成更清晰的二维复合合成图像的实施例。

图1示出了示例性图像生成和显示系统100中的数据流,该系统包含了合成图像生成、物体识别和显示技术中的每一个。应当理解的是,虽然图1示出了具有某些过程以特定的串行顺序或并行方式进行的流程图的特定实施例,但本文所述的权利要求和各种其它实施例不限于以任何特定顺序执行图像处理步骤,除非如此说明。

更特别地,图像生成和显示系统100包括图像采集系统101,该系统采集用于生成患者乳腺的Tp图像的断层图像数据,可选择使用目前可用的任何系统中各自的三维和/或断层采集方法。如果采集系统是断层合成/乳腺摄影组合系统,也可以生成Mp图像。一些专用的断层合成系统或组合断层合成/乳腺X线照相系统可以被适应以在存储设备102中接受和存储遗留的乳腺X光图像,(在图1中由虚线和图例"Mplegacy"表示),该存储设备最好是符合DICOM标准的图片存档和通信系统(PACS)存储设备。在采集之后,断层合成投影图像Tp也可以被传送到存储设备102中(如图1所示)。存储设备102还可以存储已知的三维物体库,该三维物体库可用于向终端用户识别重要的三维图像图案。在其它实施例中,可使用单独的专用存储设备(未示出)来存储已知三维物体库,用其来识别三维图像图案或物体。

Tp图像从采集系统101,或从存储设备102,或从两者传输到配置为重建引擎103的计算机系统,该重建引擎103将Tp图像重建为重建的图像“切片”Tr,代表具有选定厚度和选定方向的乳腺切片,如上述专利和应用中公开的。

模式滤波器107位于图像采集和图像显示之间。滤波器107可另外包括针对每种类型的图像(即,Tp、Mp和Tr图像)的自定义滤波器,其布置为识别和突出或增强各自图像类型的某些方面。以这种方式,可以针对特定目的以最佳方式调整或配置每个成像模式。例如,为了检测可能属于特定高维物体的图像图案,可以应用被编程为识别跨各种二维图像切片的物体的滤波器。调整或配置可以是自动的,基于图像的类型,或者可以通过手动输入来定义,例如通过耦合到显示器的用户界面。在图1的说明性实施例中,模式滤波器107被选择为突出在各自的成像模式中最好显示的图像的特定特征,例如,针对识别物体、突出块状物或钙化、识别可构造成三维物体的某些图像图案,或用于创建二维合成图像(如下所述)。虽然图1仅示出了一个模式滤波器107,但应当理解的是,为了识别乳腺组织中感兴趣的结构,可以利用任何数量的模式滤波器。

成像和显示系统100还包括二维图像合成器104,该二维图像合成器104与重建引擎103基本上并行操作,用于使用一个或多个输入的Tp(断层合成投影)、Mp(乳腺X光照相术投影)和/或Tr(断层合成重建)图像的组合生成二维合成图像。二维图像合成器104消耗一组输入图像,从每个输入图像中确定一组最相关的特征,并且输出一个或多个合成的二维图像。合成的2D图像表示合并的合成图像,该合并的合成图像将各种切片的重要部分浓缩到一个图像上。这以有效的方式向终端用户(例如,医疗人员、放射科医生等)提供了与临床相关度最高的图像数据,并且减少了花费在其他可能没有重要数据的图像上的时间。

在合成的二维图像中要突出显示的一种类型的相关图像数据将是在一个或多个Mp、Tr和/或Tp图像中发现的相关物体。不是简单地评估每个2D图像切片中感兴趣的图像图案,确定任何感兴趣的二维图像图案是否属于更大的高维结构是有帮助的,并且如果是,则将确定的二维图像图案组合成更高维结构。这种方法有几个优点,但特别是,通过跨乳腺组织的不同切片/深度识别高维结构,终端用户可以更好地了解潜在的重要结构的存在,这些结构可能不容易在乳腺的各种二维切片中看到。

此外,与其识别两个二维切片(可能彼此相邻)中的相似图像图案,并决定是否突出显示一个或两个二维切片中的图像数据,不如将两个图像图案识别为属于同一高维结构,可使系统对结构的性质做出更准确的评估,并因此向终端用户提供显著更有价值的信息。此外,通过识别高维结构,该结构可以更准确地被描绘在合成的二维图像上。然而,在各种捕获的乳腺组织的二维切片内识别高维结构的另一个优点涉及识别所识别的高维结构的可能尺寸/范围。例如,一旦结构被识别,以前与高维结构有些接近的不显著的图像图案现在可以被识别为属于同一结构。这可向终端用户提供高维结构的尺寸/范围正在增加的指示。

为此,二维图像合成器104采用多个对象物体识别/增强模块(也称为对象物体合成模块),这些模块被配置为识别和重建不同类型的物体。每个对象图像识别/合成模块可应用(或"运行")在患者乳腺组织的二维图像切片的堆叠(例如,断层合成图像堆叠)上,并致力于识别可能在乳腺组织中的特定类型的物体,并确保这样的物体(s)在呈现给终端用户的结果二维合成图像中以具有临床意义的方式表示。例如,第一对象图像合成模块可以被配置为识别乳腺组织中的钙化。另一个对象图像合成模块可以被配置为识别和重建乳腺组织中的棘状病变。然而另一个目标图像合成模块可以被配置为识别和重建乳腺组织中的球形肿块。在一个或多个实施例中,多个目标图像合成模块处理图像切片数据,并将各自的物体填充到包括存在于乳腺组织中的各自的高维结构(例如,三维物体)的高维网格(例如,三维网格)中。然后,可利用该高维网格来准确地描绘二维合成图像中的各种结构。

高维物体可以指包含至少三个或更多维度的任何物体,例如,三维或更高维度的物体,或三维或更高维度的物体和时间维度等。此类物体或结构的例子包括但不限于钙化、棘状病变、良性肿瘤、不规则肿块、致密物体等。图像物体可以被定义为存在于图像数据中的某种类型的图像图案。该物体可以是三维空间中的简单圆形物体,也可以是二维空间中相应的平面圆形物体。它可以是具有复杂图案和复杂形状的物体,它可以是任何大小或尺寸的物体。物体的概念可以超越局部约束的几何物体。相反,图像物体可以指可以存在于任何尺寸形状的抽象图案或结构。应当理解的是,本文所公开的发明并不限于三维物体和/或结构,并且可以包括更高维的结构。应当理解的是,对象图像合成模块中的每一个都被配置为识别和重建各自类型的物体。这些"物体"可以指二维形状、二维图像图案、三维物体或任何其他高维度物体,但无论如何,为了简单起见,这里将全部称为"物体"或"三维物体",但这种说明性使用不应理解为限制权利要求的范围。

在图示的实施例中,二维合成器104包括多个对象物体识别/增强模块(例如,110a、110b......110n),每个模块被配置为识别和增强特定类型的物体。对象物体识别/增强模块110中的每一个可以在二维图像堆叠(例如,Tr图像堆叠)上运行,并且被配置为识别其中的各自物体(如果有任何物体是存在的话)。通过识别二维图像堆叠中分配的物体,每个对象物体识别/增强模块110工作以确保各自的物体在呈现给终端用户的所产生的二维合成图像中被保存和准确地描绘。

在一些实施例中,可以利用分层模型根据分配给对象物体识别/增强模块的权重或优先级来决定在二维合成图像中强调或去强调哪些对象。在其他实施例中,所有物体可以被同等对待,并且如果在z方向上存在重叠,则不同物体可以融合在一起,这将在下文中进一步详细讨论。这些重建技术允许创建包含临床重要信息的二维合成图像,同时消除或减少不必要的或视觉上混乱的信息。

合成的二维图像可在显示系统105处查看。重建引擎103和二维图像合成器104优选通过快速传输链路连接到显示系统105。显示系统105可以是标准采集工作站(例如,采集系统101的)的一部分,或者是与采集系统101物理上相距较远的标准(多显示器)复核站(未示出)的一部分。在一些实施例中,可以使用通过通信网络连接的显示器,例如,个人计算机或所谓的平板电脑、智能手机或其他手持设备的显示器。在任何情况下,系统的显示器105优选能够同时显示各自的Ms、Mp、Tr和/或Tp图像,例如,在审查工作站的单独的并排显示器中显示,尽管本发明仍然可以通过在图像之间切换而使用单个显示器来实现。

因此,为了说明而非限制的目的,所描述的成像和显示系统100能够接收并选择性地显示断层合成投影图像Tp、断层合成重建图像Tr、合成的乳腺X光图像Ms和/或乳腺X光(包括对比度乳腺X光)图像Mp,或这些图像类型的任何一种或子组合。系统100采用将断层合成图像Tp转换为(即,重建)图像Tr的软件、用于合成乳腺X光检查图像Ms的软件、用于分解三维物体的软件、用于创建特征图和物体图的软件。源图像中的感兴趣的物体或特征可被认为是"最相关的"特征,以便基于物体图与一个或多个算法和/或启发式方法的应用而包含在二维合成图像中,其中算法基于在各区域内或特征之间识别/检测到的感兴趣的物体和特征,将数值、权重或阈值分配给各个源图像的像素或区域。感兴趣的物体和特征可以包括,例如,尖状病变、钙化等。

图2进一步详细说明了二维图像合成器104。如上所述,三维断层合成数据组或"堆叠"200的各种图像切片218(例如,患者乳腺组织的经滤波和/或未经滤波的Tr和/或Tp图像)被输入到二维图像合成器104中,然后进行处理以确定在将显示在显示器105上的合成的二维图像中要突出显示的图像的部分。图像切片218可以是连续捕获的患者乳腺组织的横截面。或者,图像切片218可以是以已知间隔捕获的患者乳腺组织的横截面图像。包含图像切片218的三维断层合成堆叠202可以被转发到二维图像合成器104,该二维图像合成器104评估每个源图像,以便(1)识别可能包含在一个或多个二维合成图像中的各种类型的对象(Tr),和/或(2)识别图像中包含所识别物体的各个像素区域。

如图示的实施例中所示,三维断层合成堆叠202包括在患者乳腺组织的不同深度/横断面处拍摄的多个图像218。三维断层合成堆叠202中的一些图像218包括二维图像图案。因此,断层合成堆叠202包括大量的输入图像,所述输入图像在堆叠的图像中包含各种图像图案。

更特别地,如图2所示,三个对象物体识别/增强模块210a、210b和210c被配置为在三维断层合成堆叠202上运行,其中,对象物体识别和增强模块210中的每一个都对应于各自的程序/规则和参数组,该程序/规则和参数组定义了特定的物体,以及如何在由三维断层合成堆叠202所描绘的乳腺组织中可能存在的其他物体中识别该特定物体。例如,可以在三维断层合成堆叠202上运行滤波/图像识别技术和各种算法/启发式方法,以识别分配到特定对象物体识别/增强模块210的物体。将会理解,有许多方法使用图像处理/滤波技术的组合来识别物体。

为了说明的目的,将假设对象物体识别/增强模块210中的每一个都识别至少一个各自的物体,但应当理解的是,在许多情况下,将不识别任何物体。然而,即使是健康的乳腺组织也可能具有一个或多个可疑物体或结构,并且对象物体识别/增强模块可能会无意中识别出乳腺背景物体。例如,所有乳腺线性组织和密度组织结构可以被显示为乳腺背景物体。在其他实施例中,"健康"物体,例如球形、椭圆形等,可以简单地由一个或多个对象物体识别/增强模块210识别。然后,可将识别的三维物体显示在二维合成图像206上;当然,在所有识别的二维物体中,当在二维合成图像上显示各自的物体时,可优先考虑/增强更多具有临床意义的物体,下文将进一步详细讨论。

在图示的实施例中,第一对象物体识别/增强模块210a被配置为识别三维断层合成堆叠202的图像218中(例如,Tr、Tp等)的圆形和/或球形形状。第二对象物体合成模块210b被配置为识别叶状形状。第三对象物体合成模块210c被配置为识别钙化图案。特别是,对象物体合成模块210a、210b和210c中的每一个都在Tr图像堆叠202上运行,其中,一组特征/物体被各自物体合成模块识别。

例如,对象物体识别/增强模块210a可以识别一个或多个圆形形状,并将这些形状存储为"识别物体"220a。将会理解的是,三维断层合成堆叠202的多个图像切片218可能包含圆形形状,并且这些形状可能与同一球形物体相关联,或者可能属于不同的球形物体。在图示的实施例中,至少两个不同的圆形物体被目标物体识别/增强模块210a识别。

类似地,对象物体识别/增强模块210b可以识别一个或多个叶状形状并将这些存储为被识别的物体220b。在图示的实施例中,对象物体识别/增强模块210b已经在三维断层合成堆叠202中识别了一个叶状物体。可以看出,三维断层合成堆叠202中的两个不同的图像切片218描绘了叶状物体的部分,但各自的部分被识别/增强模块210b识别为属于单个叶状物体,并存储为单个识别物体220b。

最后,对象物体识别/增强模块210c可以识别一个或多个钙化形状,并将这些钙化形状存储为识别物体220c。在图示的实施例中,一个(单个)钙化群已被对象物体识别/增强模块210c识别并存储为识别物体220c。识别物体220a、220b和220c可以存储在对应于各自的对象物体识别/增强模块210a、210b和210c的存储设施中,或者备选地存储在单独的(即,单个)存储设施中,该存储设施可以由每个对象物体识别/增强模块访问。

现在参考图3,对象物体识别/增强模块210中的每一个可被配置为识别和合成(例如,将其还原为二维)各自的三维物体,以在一个或多个二维合成图像上显示。换句话说,一旦三维物体被各自的对象物体识别/增强模块210a、210b或210c识别,对象物体识别/增强模块此后将识别的三维物体转换为二维格式,以便识别的物体可以显示在二维合成图像上。在图示的实施例中,对象物体识别/增强模块210a、21b和210c识别各自的物体,并将识别的物体转换为各自的二维格式。作为转换过程的一部分,识别的物体中的某些物体可以针对显示的图像进行较大或较小程度的增强,这将在下文中进一步详细讨论。假设认为所有三个对象物体识别/增强模块210a、210b和210c对二维图像合成器104同样重要,则在二维合成图像302上描绘的所有识别物体(例如,两个球形物体、一个小叶状物体和一个钙化团)的各自二维格式。

图4示出了如何在三维断层合成堆叠上运行单个对象物体识别/增强模块210以生成二维合成图像的一部分。在图示的实施例中,三维断层合成堆叠的图像切片402被馈送入通过单个对象物体识别/增强模块404,该模块被配置为识别图像402堆叠中的星形物体。结果,单个对象物体合成模块将从图像切片的不同深度获得的与识别的星形相关的信息还原到单个二维合成图像406上。

图5示出了用于使多个对象物体识别/增强模块共同工作以产生二维合成图像的示例性实施例。在图示的实施例中,(各自的三维断层合成堆叠的)图像切片502通过配置为识别和重建圆形和/或球形形状的第一对象物体识别/增强模块504a、配置为识别和重建星形形状的第二对象物体识别/增强模块504b、以及配置为识别和重建钙化结构的第三对象物体识别/增强模块504c馈送入。应当理解的是,可以为任意数量的物体类型编程任意数量的对象物体识别/增强模块。

对象物体识别/增强模块504a、504b和504c中的每一个都对应于各自的算法,这些算法配置有各种预定的规则和属性,使得这些程序能够成功地识别各自的物体,并将识别的物体还原为二维格式。通过将所有三个对象物体识别/合成模块504a、504b和504c应用于图像切片502,生成二维合成图像506。特别是,二维合成图像506不是简单地显示单一类型的物体,而是包括由三个对象物体识别/增强模块504a、504b和504c识别和合成的所有三种对象类型,并且每个识别的对象被同等地强调。虽然如果所有物体类型具有同等的重要性,这可能是可取的,但根据不同物体类型的权重/优先级以不同的程度增强/强调不同的物体类型可能是有益的。这种技术可能更有效地提醒终端用户注意潜在的重要物体,同时去掉较不重要的物体。

现在参考图6A,示出了用于组合来自多个对象物体识别/增强模块的数据的分层序列方法。特别是,如果各种物体类型具有与它们相关联的明确定义的层次结构,则可应用顺序组合技术。例如,一种类型的物体(例如,棘状病变)可被认为比另一种类型的物体(例如,乳腺组织中的球形肿块)更具临床意义。这种类型的物体(和相应的对象物体模块)可被分配特定的高权重/优先级。在这种情况下,如果两个物体在二维合成图像上竞争空间,则与较高优先级相关联的物体类型可以在二维合成图像上被强调/显示,而另一个物体类型可以被去强调,或者根本不显示。类似地,在这样的方法中,对象物体识别/增强模块中的每一个可以基于各自的重要性分配各自的权重。

在图示的实施例中,三维断层合成堆叠的图像切片602被依次馈送通过三个不同的目标物体识别/增强模块(604、606和608)以生成二维合成图像610,其中每个目标物体合成模块被配置为识别和重建特定类型的物体。第一对象物体识别/增强模块604(与方形物体相关联)首先在重建图像切片602上运行,其次是第二对象物体识别/增强模块606(与菱形物体相关联),然后是第三对象物体识别/增强模块608(与圆形物体相关联)。应当理解的是,由于对象物体识别/增强模块是依次应用(或"运行")的,因此,与第一对象物体识别/增强模块604相比,第二对象物体识别/增强模块606可被认为具有更高的优先级对象,并且与第二对象物体识别/增强模块606相比,第三对象物体识别/增强模块608可被认为具有更高的优先级。因此,第三对象物体类型可以覆盖(或强调于)第二物体类型,并且第二对象物体类型可以覆盖(或强调于)第一物体类型。

图6B示出了这种依次组合各种物体类型的分层方法。特别是,三维断层合成图像堆叠652包括可在各种图像切片中识别的物体656、658和660。如图所示,物体658和660在z方向上有些重叠,这意味着它们很可能在二维合成图像654中竞争表示。当使用图6A的顺序方法来组合来自多个对象物体识别/增强模块604、606和608的数据时,程序化的层次结构被保存下来。因此,由于配置为识别和重建圆型物体的目标物体识别/增强模块608与配置为识别和重建方型物体的目标物体识别/增强模块604相比具有更高的优先级,因此,在两个物体之间重叠的情况下(如图6B中的情况),圆型物体658在二维合成图像654中覆盖方型物体660。当然,应当理解的是,由于菱形物体656与其他两个物体在z方向上不重叠,所以菱形物体656也显示在二维合成图像654中。在其他实施例中,不是完成覆盖低优先级物体,而是可以相对于低优先级物体强调具有高优先级的物体(而不是省略显示)。

图7A中示出了在一组图像切片上运行多个对象物体合成模块的另一种方法。如可以看到的,与其依次运行多个对象物体识别/增强模块,最后运行的对象物体合成模块具有最高优先级,不如并行应用所有对象物体识别/增强模块。特别是,可以利用一个或多个增强或融合模块712来确保在二维合成图像上适当地组合各种对象。这种方法可以不遵循层次化的方法,并且所有的对象可以被赋予同等的权重。

图像切片702被并行地馈送通过三个不同的对象物体识别/增强模块704、706和708。第一对象物体识别/增强模块604(与方形物体相关联)、第二对象物体识别/增强模块606(与菱形物体相关联)和第三对象物体识别/增强模块608(与圆形物体相关联)都并行地运行在图像切片702上。在一些实施例中,可以利用增强和融合模块712来确保在多个对象之间重叠的情况下适当地将不同的对象融合在一起。并行运行的对象物体识别/增强模块704、706和708可以生成二维合成图像710。

图7B中示出了这种并行组合各种物体类型的方法。特别是,断层堆叠752在不同的图像切片处描绘与图6B相同的物体(例如,物体756、758和760)。如图所示,物体758和760在z方向上有些重叠,这意味着它们很可能在二维合成图像754中竞争表示和/或重叠。在这里,由于多个对象物体识别/增强模块是并行运行的,而不是像图6B中的情况那样,一个物体类型覆盖另一个物体类型,因此,正方形物体760和圆形物体758都在二维合成图像754中融合在一起。因此,这种方法不假设物体之间的先天优先/等级,而是所有物体可以在二维合成图像754中适当地融合在一起。

图8A描绘了流程图800,该流程图示出了在根据上文结合图6A和6B概述的顺序组合方法进行的图像合并过程中可以执行的示例性步骤。在步骤802,采集图像数据组。图像数据组可以由断层合成采集系统、断层合成/乳腺X光系统的组合,或者通过从存储设备中检索预先存在的图像数据采集,无论该存储设备是本地的还是相对于图像显示设备远程的,例如通过通信网络。在步骤804和806,对于一系列二维图像(例如,Tr堆叠),运行第一对象物体识别/增强模块,以便识别与第一对象物体识别/增强模块相关联的第一物体。任何被识别的物体可以存储在与第一对象物体识别/增强模块相关联的存储模块中。在步骤808,运行第二对象物体识别/增强模块,以便识别与第二对象物体识别/增强模块相关联的第二物体。在步骤810处,可以确定第一识别物体和第二识别物体在z方向上是否相互重叠。如果确定两个物体重叠,则可以在步骤812处仅将第二物体显示(或以其他方式强调在第一物体之上)在二维合成图像上。另一方面,如果确定两个物体不重叠,则在步骤814将两个物体显示在二维合成图像上。

图8B描绘了流程图850,该流程图示出了在根据上面结合图7A和7B概述的并行组合方法进行的图像合成过程中可以执行的示例性步骤。在步骤852,采集图像数据组。该图像数据组可以由断层合成采集系统、断层合成/乳腺X光系统,或者通过从存储设备中检索预先存在的图像数据采集,无论该存储设备是本地的还是相对于图像显示设备远程的。在步骤854和856,对于一系列二维图像(例如,Tr堆叠),运行所有编程的对象物体识别/增强模块以识别Tr图像堆叠中的各自物体。在步骤858,还可以运行一个或多个增强模块以确定是否需要发生融合过程。在步骤860,可以确定是否有任何所识别的物体在z方向上重叠。如果确定任何两个(或多个)物体重叠,则在步骤862处,可将重叠的物体融合在一起。另一方面,如果确定没有物体重叠,则在步骤814处将所有物体按原样显示在二维合成图像上。

在描述了如何由包含对象物体识别/增强模块的二维合成器生成和处理三维图像切片堆叠以确保向审查者或终端用户显示的合成二维图像包括最临床相关的信息之后,参照图9-24描述了与生成更清晰、减少阴影或无阴影的二维合成图像相关的实施例。参照图9-24描述的实施例消除或减少高密度元素,例如描绘金属物体或阴影的图像部分,所述阴影由对二维采集的或投影图像和/或基于二维投影图像重建的三维切片或堆叠中由对相同物体的成像所产生。通过实施例,消除或减少高密度元素(例如,阴影),从而产生更清晰的二维合成图像,该图像更准确地描绘被分析的乳腺组织,并允许放射科医生进行更准确和有效的放射性检查,因为临床相关信息不会被二维合成图像内的阴影所阻挡或遮挡。

参照图9,并再次参考图1-2,重建图像Tr形成图像切片918的三维断层合成堆叠902。作为非限制性示例,三维断层合成堆叠902可包括约30至约120个图像切片Tr(例如,约60个图像切片Tr),其来源于或基于由X射线图像采集部件101(例如共同地围绕被分析的患者或乳腺旋转的X射线源和检测器)采集的约15或更多的二维投影图像Tp。图9描述了包括图像切片918的三维断层合成堆叠902,例如,类似于在图2中示出的堆叠202。图9还描述了在乳腺组织910中并且跨多个图像切片918延伸的三维断层合成堆叠920。图9示出了高密度元素920跨两个切片918延伸,但将理解,高密度元素可以延伸到各种深度。

高密度元件920的例子是金属活检标记或夹子,其可由不锈钢或钛或其它不透射线或密度材料制成。高密度元件920的另一个例子是外部皮肤标记物。高密度元素920也可以是乳腺组织910内的生物或组织成分,例如钙化或阻挡了乳腺组织910中的其他临床相关信息或感兴趣物体的其他致密的生物或组织结构。高密度元素920还被定义为包括由此产生的图像伪影,包括在乳腺成像期间由高密度元素900成像或辐射产生的阴影922。因此,"高密度元素"可以是插入到乳腺组织910中或者附接到外部乳腺表面910的"外来的"或"外部的"物体,或者是乳腺组织910的天然存在的材料或成分,其具有足够的密度以阻挡具有乳腺组织910的临床相关信息的其他乳腺组织。为了便于解释而非限制,参考高密度元素920,以及金属活检标记和对金属活检标记920成像所产生的阴影922的具体例子,但将理解,实施例并不如此限制。

高密度元件920被示出为跨多个图像切片918延伸。如图9中一般示出的那样,高密度元件920比乳腺组织910更密集,从而当成像时,产生阴影922,并且阴影922(以及金属活检标记920)阻挡了底层和/或相邻的乳腺组织910和关于相同的临床相关信息。

在图9中一般示出的示例中,由于阴影922围绕着金属活检标记920,因此由金属活检标记920成像产生的阴影922是"完整的"、"周向的"或"全局的"阴影。阴影可能是由图像采集的各个方面引起的。例如,图9中一般描绘的阴影922的类型可以来自断层合成采集和重建的有限角度(也称为重建伪影)和图像处理和增强(也称为增强伪影)中的一个或多个。图9中描绘的说明性阴影922重叠或阻挡924乳腺组织910的感兴趣的物体或临床相关信息,例如病变和尖锐。由对高密度元素920成像所产生的三维断层合成堆叠902中(或在二维投影图像Tp中)所描绘的阴影922的深度和尺寸可基于一个成像和/或材料属性而变化,该成像和/或材料属性包括所利用的X射线源的角度和所采集的投影图像Tp的数量、金属活检标记920材料以及被成像的金属活检标记920的尺寸、形状和方向。因此,图9是为了一般说明而非限制的目的而提供的,以说明在一个或多个图像中描绘的金属活检标记920和/或阴影922形式的高密度元素可能会阻挡临床相关信息。此外,图9示出了三维断层合成堆叠902中的单个高密度元素920,但可能存在多个高密度元素920,其中每个元素可以产生它们自己的阴影922,并且它们可以彼此不同和独立,或者与其他阴影922重叠。因此,多个标记920和阴影922可以进一步使合成图像的生成和审查复杂化,因为它们可能从多个视点阻挡相关信息。

参照图10,发明实施例提供了乳腺图像采集和处理系统100s和多流图像处理方法1000,其解决了如上文参照图9所讨论的在乳腺图像内成像高密度元素920的复杂问题,并提供了更清晰和更准确的图像,这些图像已减少或没有阴影,以进行更准确和有效的放射科医生审查。图10示出了根据一个实施例构造的乳腺图像生成和显示系统100s("s"指的是"抑制"高密度元素的乳腺图像生成和显示系统),并配置成执行多流或差分图像处理方法1000,用于在乳腺图像中选择性地抑制高密度元素和高密度增强。各种系统100s组件及其互操作性的细节,例如采集系统101、存储系统102、重建引擎103、二维图像合成器104和显示器105,上面参照图1-8B讨论,不再重复。由此产生或处理的不同图像包括采集的图像、重建的图像、合成的图像、Tp图像(在各断层合成投影角度处采集的二维图像)、Tr图像(由断层合成投影图像Tp重建的重建图像的类型(或子集))和Ms图像(合成图像的类型(或子集),特别是模拟乳腺X射线图像的合成二维投影图像),以上也参照图1-8B进行了说明。为了便于解释,参照二维采集的图像如二维投影图像(例如,Tp)、重建的图像(例如,Tr)或图像切片918和二维合成图像的三维堆叠902来描述发明实施例。

在图示的实施例中,乳腺图像生成和显示系统100s包括与重建引擎103和显示器105通信的多流图像处理器1000。图像处理器1000接收一种或多种图像类型的输入图像或数字图像数据1001。输入图像数据1001(一般来说,输入数据1001)可以是针对不同维度格式的图像,例如二维投影图像和/或图像Tp切片218的三维断层合成堆叠902。根据第一图像处理流或方法1010对输入数据1001进行处理,并且用不同于第一处理流或方法1010的第二图像处理流或方法1020处理相同的输入数据1001。所产生的二维合成图像至少部分基于高密度元素抑制,并且至少部分基于高密度元素增强,并且图像融合或合并元件1030将由各自的图像处理流或方法1010和1020产生的二维合成图像合并以产生新的二维合成图像1032,该图像被传送给显示器105。

因此,利用乳腺图像生成和显示系统100s,根据不同的图像处理流,以不同的方式对同一输入数据1001进行处理,生成不同的二维合成图像,其被合并以生成单一的二维合成复合图像1034。

在图示的实施例中,多流图像处理器1000以不同的方式处理相同的输入数据1001,可以通过并行和同步的图像处理流来完成。在一个实施例中,输入数据1001是二维投影图像(Tp)的数据。在另一个实施例中,输入数据1001是图像切片908的堆叠902的三维图像的数据。下面将进一步详细描述根据所接收的输入数据的类型而执行的不同的图像处理方法。

首先,从一个或多个图像检测器1011、1021开始,以不同的方式处理由图像处理器接收的输入数据1001。两个图像检测器1011、1021被示出为各自的第一和第二图像处理流1010、1020的开始。图像检测器1011识别并区分高密度元素920和其他元素,例如乳腺组织/背景910。图像检测器1021识别高密度元素920。

图像检测器1011、1021可操作以基于涉及例如图像对比度、亮度和辐射率属性中的一个或多个的预先确定的滤波器或标准,将高密度元素920与乳腺组织910或其他图像部分区分开来。例如,高密度元素920可与乳腺组织或背景910相比具有高对比度和亮度属性,因此被识别为高密度元素。检测标准可以涉及具有共同特征的一组像素或相邻像素,例如,在一定范围内的对比度或亮度,从而该组被识别为高密度元素。图像检测器还可以基于形状、方向和/或位置数据将高密度元素920与最佳组织区分开来。例如,图像处理器1000可以提供已知金属活检标记的规格。该数据可与图像或像素数据一起使用,从而具有类似属性的图像部分也形成与已知的活检标记的形状相似的形状,这些像素被识别为描绘高密度元素920。作为另一个例子,另一个可用于区分高密度元素920的因素是,皮肤标记通常附着在乳腺的外表面,而不是插入到乳腺组织中。因此,具有类似属性并且位于指示外部皮肤标记的外表面的像素被识别为高密度元素920。位置数据也可以是一个因素,例如,如果某个标记被插入到特定的乳腺组织区域中。因此,将理解,对应于高密度元素的图像部分和对应于乳腺组织或背景910的图像部分可以使用各种滤波器、标准和/或更复杂的算法,例如基于特征的机器学习算法,或深度卷积神经网络算法,以各种方式区分或检测。

图像检测器1011与高密度元素抑制模块1012通信,并且图像检测器1012与高密度增强模块1024通信,从而各自的检测结果被提供给各自的抑制和增强模块1012、1022。各自高密度元素抑制和增强模块1012、1022的各自输出被提供给各自的二维图像合成器1014、1024作为输入。

根据一个实施例,在第一图像处理流1010中使用的并且在高密度元素抑制图像部分上执行的二维图像合成器1014的操作方式与上面参照图1-8B讨论的执行对象增强和识别模块110a-n的二维图像合成器104的操作方式相同,只是二维图像合成器1014接收高密度抑制图像数据。因此,第一图像处理流1010的二维图像合成器被称为二维图像合成器104supp("supp"指高密度元素"被抑制")。因此,二维图像合成器1014被配置为处理高密度元素抑制数据,同时通过模块110a-n提供乳腺组织物体增强和识别。

相比之下,二维图像合成器1024不涉及高密度元素抑制或高密度元素抑制数据,而是处理高密度元素增强的图像数据,同时不增强乳腺组织。以这种方式,二维图像合成器1024的重点是高密度元素920增强的图像数据,而不是乳腺组织910增强,这样,二维图像合成器1024也可称为二维图像合成器104enh("enh"指高密度元素"增强")。为此,二维图像合成器1024可以不包括物体增强和识别模块110a-n,或者这些物体增强和识别模块110a-n可以被去激活。因此,二维图像合成器1024被配置为处理高密度元素增强数据,而乳腺组织未被增强。

二维图像合成器1014/104supp输出体现高密度元素抑制和乳腺组织增强数据的二维合成图像1016,二维图像合成器1024/104enh输出体现高密度元素增强数据的不同的二维合成图像1026。这些不同的二维合成图像1016、1026被提供给图像融合或合并元件1030作为输入,其与二维合成图像1014、1024组合或合并,以生成包含二维合成图像1014、1024中的两种元素的二维合成图像1032。涉及不同类型的输入数据1001和中间图像以及涉及不同维度格式和图像或切片配置的相关处理的多流图像处理方法将参照图11-24进一步详细描述。

参照图11,在根据一个实施例由乳腺图像采集和处理系统100s执行的多流图像处理方法1100中,在1102处,将一个或多个乳腺组织的图像的数字输入数据1001作为输入馈送入图像生成和显示系统100s的多流或差分图像处理器1000,例如断层合成系统。在1104处,识别或检测描绘乳腺组织910的图像的部分和描绘高密度元素920的图像的部分。在输入数据上执行第一图像处理流1010,以生成第一二维合成图像1016。

参照图12,第一图像处理流或方法1010或金属抑制流包括在1202处增强描绘乳腺组织910的图像部分,而在1204处抑制、替换或消除描绘高密度元素920如金属活检标记920和/或阴影922的图像部分。在1206处,构建体现增强的乳腺组织和抑制的高密度元素的图像部分的三维图像切片的第一组或堆叠(例如Tr切片),并且在1208处,至少部分地基于第一三维图像切片堆叠生成第一二维合成图像1016。

参照图13,第二图像处理方法1020与第一图像处理方法1010不同,并且在相同的输入数据1001上执行。第二图像处理方法1020生成不同的、第二二维合成图像1026。在1302处,强调描绘高密度元素920的图像部分(没有乳腺组织增强,或通过去强调乳腺组织),在1304处,至少部分地基于描绘高密度元素的增强图像部分生成第二组三维图像切片。在1306处,至少部分地基于第二组三维图像切片生成第二二维合成图像1026。

再次参考图11,在1110处,将第一和第二二维合成图像1016、1026组合或合并以生成复合合成图像1032,并且在1112处,通过图像生成和显示系统100s的显示器105将复合合成图像1032呈现给放射科医生或终端用户。

参照图14并进一步参考图15,描述了用于使用图10中所示的系统100s配置并如参考图11-13所描述的处理乳腺图像的方法1400的一个实施例。在方法1400中,多流式图像处理方法1000在重建的三维图像切片堆叠的输入上执行,其中乳腺组织910和高密度元素920都是可见的。因此,在本实施例中,将三维图像切片堆叠1506而不是二维投影图像1502作为输入1501提供给图像处理器1500,从而多流式图像处理方法1500不在二维投影图像1502上执行。

在1402处,启动图像采集部件101(例如,数字断层合成系统的X射线装置)),并在1404处,采集患者乳腺的多个二维图像1502。例如,在断层合成系统中,可以在乳腺和X射线源-探测器之间的各自角度采集大约15个二维投影图像Tp 1502。将理解,15个二维投影图像是作为可以获得多少投影图像的例子提供的,并且也可以利用大于和小于15的其他数字。在1406处,如果需要的话,采集部件101将采集的或投影图像1502存储到数据存储器102,以便随后检索,其可以来自相对于图像处理器1000远程的数据存储器102,并且通过通信网络。

在1408处,执行二维投影图像重建1504,以生成图像切片Tr1506的三维堆叠1508(例如,在说明性示例中,约60个图像切片)。在1410处,第一图像处理流1510的第一检测器1511识别输入三维图像切片1506的描绘乳腺组织910的部分和输入三维图像切片1506的描绘高密度元素920(例如,金属物体或钙化,或阴影)的部分,描绘高密度元素920的部分通过对乳腺中或乳腺上成像产生。第二检测器1521识别高密度元素920。为了这些目的,图像处理器1500可以利用如上所述的一个或多个标准或滤波器来识别和区分三维堆叠1506中的乳腺组织或背景910和高密度元素图像部分920。

继续参考图14-15,在1412处,第一图像处理流1510涉及输入堆叠1508的高密度元素抑制1512,其结果是生成第一处理三维堆叠1513,其中高密度元素920被抑制或消除。

图16进一步详细地示出了在输入三维堆叠1508上执行高密度元素抑制1512的一种方式,还示出了如何生成可选的掩膜以用于后续生成二维合成复合图像1032。在图示的实施例中,在三维图像切片1506的输入1501上的第一图像处理流1510涉及检测图像切片1506中描绘高密度元素920的部分,例如在1602处的金属活检标记,在1604处对检测到的高密度元素部分920进行分割或像素识别,并且在1606处,可以基于分割结果生成分割掩膜。随后可在生成二维合成复合图像1032时利用该掩膜。在1608处,从三维堆叠的图像切片中抑制或消除分割部分,以进行高密度元素抑制。这可以通过插值或用图像切片背景的其他采样部分替换分割部分来完成。高密度元素抑制的结果是将高密度元素920图像部分从图像切片的三维堆叠1508中消除,使得高密度元素920不会被放射科医生视觉感知,或者视觉感知程度较低。因此,抑制过程的最终结果1610是经过处理的重建图像切片的三维堆叠1610,或金属抑制的乳腺组织切片,其中乳腺组织的图像部分910在抑制或消除高密度元素920的图像部分的同时被保持,同时还生成一个单独的"高密度掩模"。

图17进一步详细说明了在输入三维堆叠1508内执行高密度元素增强1522的一种方式,并且还说明了如何生成可选的分割或像素掩模以用于随后生成二维合成复合图像1032。在图示的实施例中,输入三维图像切片1501上的第二图像处理流1520涉及在1702处检测描绘高密度元素920诸如金属活检标记的图像切片的部分,在1704处对检测到的高密度元素部分进行分割,并且在1706处,可以生成分割掩模,并且可以随后在生成二维合成复合图像1032时利用。金属分割1704信息可以被记录为金属分割掩模1706,并且来自不同切片的掩模可以被组合成单个二维金属掩模,该掩模是来自金属合成器模块1524的侧面输出。作为一个例子,在使用二进制掩模的情况下,在该二维金属掩模图像内,高密度元素区域被标记为1,而背景或乳腺组织区域被标记为0。也可以通过利用其他或多个标签而不是仅利用二进制"0"和"1"标签来实现这些目的的不同掩模配置或设计。在1708处,分割的部分在三维堆叠的图像切片中被隔离和强调或增强。高密度元素增强1708可以使用例如最大强度投影或"MIP"来执行。由金属增强模块生成的最终结果1710是三维重建图像切片的堆叠1523,其中乳腺组织的图像部分910未被处理或未被增强,而高密度元素920被增强或强调。

再次参考图10和14-15,在1414处,多流图像处理器1000执行第一二维图像合成器1514,该第一二维图像合成器1514接收经过处理或金属抑制的三维图像切片的堆叠1513作为输入。第一二维图像合成器1514基于金属抑制三维堆叠的抑制高密度图像部分生成二维合成图像1515,同时通过使用对象物体识别/增强模块(例如,110a,110b......110n)增强或强调乳腺组织的图像部分,每个模块被配置为识别和增强特定类型的物体。第一二维图像合成器1514可以以与上面讨论的二维图像合成器104相同的方式操作,除了二维图像合成器接收由高密度元素抑制1512产生的图像数据。如上文参照图1-8B讨论的那样,对象物体识别/增强模块110a-n被配置为识别其中的各自物体(如果有任何物体是存在的),从而使产生的二维合成图像包括临床重要信息。

继续参考图14-15并进一步参考图18,多流图像处理器1000执行第二二维图像合成器1524/1801,该第二二维图像合成器接收经过处理的或金属增强的三维图像切片堆叠1523作为输入,以基于金属增强的三维堆叠的增强的高密度图像部分生成二维合成图像1525/1802,而其他背景或乳腺组织部分保持或不增强,甚至去强调,例如通过降低其亮度。为此,第二二维图像合成器1524不包括或去激活对象物体识别/增强模块(例如,110a、110b......110n),从而不执行这些乳腺组织分析和增强,并且鉴于高密度元素920结构而不需要。例如,金属活检标记可以具有不太复杂的几何形状(例如,圆柱体),或者通常比乳腺组织更不复杂。例如,而不是采用更复杂的对象物体识别/增强110a-n,其中高密度元素920被增强的第二图像处理流可以部署简单的图像处理算法,例如平均强度投影或最大强度投影作为基础方法,以将金属物体切片的三维堆叠组合成单个金属物体二维合成图像1810,该图像可以被存储到缓冲器中。由第二二维合成器1524/1801生成的结果一般由图18中的二维合成图像1525 1802中出现的高密度物体作为"点"来说明。

图18还示出了包括由金属检测和分割过程中的不完美所导致的各种伪影1810的二维合成图像1802。可以在二维合成图像1802上执行形态学操作1803(例如像素扩张和/或侵蚀),以通过平滑高密度物体边界来清理这些伪影1810,以使生成的二维图像1525/1804中的边界更精确和更具有视觉吸引力。

再次参考图14-15,在1420处至少部分基于第一三维图像切片堆叠生成第一二维合成图像1515和至少部分基于第二三维图像切片堆叠生成第二二维合成图像1525,由各自的第一和第二图像处理流1510、1520产生的这些中间的第一和第二二维合成图像1515、1525被合并或结合1530以产生二维最终或复合合成图像1532,该图像通过显示器105在1422处呈现给放射科医生或终端用户。根据一个实施例,图像组合1530可涉及从每个合成图像缓冲区选择二维合成图像数据的最佳信号,并确保乳腺组织910和高密度元件920之间的过渡是无缝的。二维复合合成图像1532在视觉上没有阴影伪影920,使得不需要的阴影伪影不会阻挡临床重要信息,同时还包括增强的乳腺组织或背景以及乳腺组织910和高密度元素920之间的清晰划分。

参照图19,根据结合1030第一和第二二维合成图像1515、1525的一个实施例,可利用如上文所讨论的由分割生成的二维金属掩模1900对中间的第一和第二二维合成图像1515、1525进行调制组合1902或最大强度投影或"MIP"组合,以生成二维复合合成图像1532。本实施例基本上从每个二维合成图像1515、1525缓冲器中提取信号或图像部分,用于乳腺组织910和高密度元素920之间的无缝过渡,从而使生成的二维合成图像1032在视觉上是锐利的,没有高密度阴影元素,同时提供最佳乳腺组织背景。

图20A-B示出了如何执行多流式图像处理实施例以生成视觉上锐利和清晰的二维合成图像1032,其减少或消除阴影922伪影。图21B示出了根据多流图像处理实施例构建的二维合成图像1032,与图21A相比,该图像消除了阻挡性阴影伪影922,其包括金属活检标记920周围的各种阴影伪影922。根据实施例生成的二维合成复合图像1032的最终结果是锐利和无阴影922,同时乳腺组织或背景910也得到增强。

上面参照图10-20B描述的某些实施例涉及多流图像处理器1500接收重建的或生成的图像或图像切片1506的三维堆叠1508(例如,约60个重建的切片)作为输入1001,从而在同一三维堆叠1508上执行多流图像处理。三维堆叠1508是基于采集的二维投影图像1502生成的,在这些实施例中,二维投影图像1502不作为输入1001提供给图像处理器1000。因此,在这些实施例中,多流式图像处理不在二维投影图像1502上执行。换句话说,多流图像处理直接在图像切片的三维堆叠1508上执行,而不是在图像切片的三维堆叠1508所基于的二维投影图像1502上执行,并且多流图像处理在重建1504之后执行。其他实施例可以涉及图像处理器1000接收不同图像类型和尺寸格式的输入。

例如,在其他实施例中,多流图像处理器接收二维投影图像的输入,使得多流图像处理直接在二维投影图像上执行,而不是在重建后最终生成的图像切片的三维堆叠上执行。在对二维投影图像执行了抑制和增强处理之后,不同的三维图像切片堆叠被作为各自的输入提供给各自的二维图像合成器。因此,在某些实施例中,高密度元素抑制和增强发生在图像切片1506的三维堆叠1508的重建1504之后,而在其他实施例中,高密度元素抑制和增强发生在图像切片的三维堆叠的重建之前。涉及使用二维投影图像作为图像处理器的输入来执行图像处理实施例的多流图像处理的替代实施例参照图21-24进行描述。以上描述的系统组件及其互操作性不再重复。

参考图21-22,在根据另一个实施例的图像处理方法2100中,在2102处,激活图像生成和显示系统100s的图像采集部件101(例如,X射线装置),并且在2104处,采集患者乳腺的多个二维图像2201(例如,在乳腺和X射线源-探测器之间的各自角度的约15个投影图像)。在2106处,将二维投影图像2201存储到数据存储器102,在2108处,从数据存储器102接收二维投影图像2201的数字图像数据,并作为输入提供给图像生成和显示系统100s的多流图像处理器2200。在2210处,第一检测模块2211识别描绘乳腺组织910的各个二维投影图像2201的部分,以及描绘通过对金属活检标记进行成像而产生的高密度元素920(例如,金属活检标记或阴影)的各个二维投影图像2201的部分,并且第二检测模块2221识别描绘通过对乳腺内或乳腺上的高密度物体进行成像而产生的高密度元素920(例如,金属物体或阴影)的各个二维投影图像2201的部分。

在2212处,在输入的二维投影图像2201上执行包括高密度元素抑制2212的第一图像处理方法或流2210,以生成经过处理的/高密度元素抑制的二维投影图像2213,并且在2214处,在输入的二维投影图像2201上执行包括高密度元素增强2222的第二图像处理方法或流2220,以生成经过处理的/高密度元素增强的二维投影图像2223。

在某些实施例中,所有的输入二维投影图像2201以某种方式被抑制,而在其他实施例中,仅对某些输入二维投影图像2201进行高密度抑制2212,例如,仅对那些确定为包括高密度元素920的至少一部分的图像进行高密度抑制。因此,在某些实施例中,高密度抑制2212和高密度增强2222都在任何图像重建成图像切片的三维堆叠之前执行。此外,在一个实施例中,对每个输入的二维投影图像2201进行处理,使得二维投影图像2213、2223的处理的组与输入的二维投影图像2201的数量相同,但将理解,实施例并不如此限制。例如,如果只处理那些被确定为包括高密度元素920的输入二维投影图像2201,则进行高密度元素抑制2212和增强2213的输入二维投影图像2201的数量可以少于输入二维投影图像2201的数量。因此,例如,图像采集可能导致15个输入二维投影图像2201,其中只有8个包含高密度元素920的至少一部分,在这种情况下,只有这8个输入二维投影图像2201被处理为高密度元素抑制2212和增强2222。针对一组15个投影图像,其余的7个输入二维投影图像2201可与在重建和生成三维堆叠之前与被处理的8个图像重新结合。

因此,高密度元素抑制2212和增强2222可以在任何三维图像重建之前,在输入组的所有二维投影图像2201上,或在输入组的选定二维投影图像2201上执行,例如,由检测器2211确定为包含高密度元素的那些图像,因为由此产生的金属物体或阴影920可能不存在于某些图像中,这取决于高密度元素的尺寸、位置和相对于用于成像的辐射源和检测器的方向和地点。此外,在抑制2212和增强2222之后的处理后的二维投影图像2213、2223的数量可以与输入二维投影图像2201的数量相同,即使只处理了部分输入二维投影图像2201,因为未处理的输入二维投影图像2201可以被添加到处理组。

继续参考图21-22,在2216处生成处理过的二维投影图像2213、2223的处理组后,至少部分地基于涉及高密度元素抑制2212的处理过的二维投影图像2213的第一组(例如~60个图像切片),生成三维图像切片的第一堆叠2214(例如~60个图像切片),并且在2218处,至少部分地基于涉及高密度元素增强2222的处理过的二维投影图像2223的第二组生成第二三维图像切片堆叠2224。

在构建了三维图像2214、2224的第一和第二堆叠之后,然后在2120、2122处由各自的二维图像合成器2215、2225处理这些堆叠,以至少部分地基于各自的第一和第二堆叠2214、2224生成各自的第一和第二二维合成图像2216、2226。在2124处,可根据需要在第二二维合成图像2226上执行形态学操作,以根据需要扩张或侵蚀描绘高密度元素的增强图像部分的图像边缘,并在2226处将第一和第二二维合成图像2216、2226合并或结合2230,以在2232处生成二维合成图像,该图像通过显示器105呈现给放射科医生或终端用户。

图23-24进一步说明了如何执行各自的抑制2212和增强2222处理,并且除了检测、分割和抑制(图16)和抑制(图17)是基于单个输入的二维投影图像1502的输入,而不是基于输入的三维堆叠图像切片的输入之外,与上述参照图15-17描述的处理类似。如图23-24所示,通过分割生成的结果掩模2306、2406是单个图像的掩模,而不是如图15-17所示的三维图像切片的堆叠的掩模,并且抑制和增强处理的结果或输出是如图22所示的抑制或增强处理的二维投影图像,而不是高密度元素抑制的三维堆叠的输出。

在描述了示例性实施例之后,可以理解的是,上面描述的和在附图中描述的例子只是说明性的,其他实施例和例子也包含在所附权利要求的范围内。例如,虽然附图中提供的流程图是示例性步骤;但整体图像合并过程可以使用本领域已知的其他数据合并方法以多种方式实现。系统框图同样只具有代表性,说明了功能划定,不应看作是对所公开的发明的限制性要求。对于本技术领域的熟练人员来说也将是显而易见的,在不脱离所公开的发明的范围的情况下,可以对所描述的和/或描述的实施例(例如,各种部件的尺寸)进行各种变化和修改,而所公开的发明的范围仅由以下权利要求及其等价物来定义。因此,说明书和图样应在说明性而非限制性的意义上被视为。

50页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:减少异物的X射线成像系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!