隐空间中的目标检测

文档序号:1745752 发布日期:2019-11-26 浏览:16次 >En<

阅读说明:本技术 隐空间中的目标检测 (Target detection in latent space ) 是由 D.科马尼丘 B.乔治斯库 M.S.纳达 B.L.奥德里 于 2017-11-03 设计创作,主要内容包括:一种用于处理医学图像数据的方法,包括:将医学图像数据输入到变分自动编码器,所述变分自动编码器被配置成将医学图像数据的维度降低到隐空间,所述隐空间具有一个或多个隐变量,所述隐变量具有隐变量值,使得与没有目标组织类型的组织的图像相对应的隐变量值适合在一个或多个聚类内;基于隐变量值来确定与医学图像数据相对应的隐变量值适合在所述一个或多个聚类内的概率;以及响应于基于隐变量值而确定了医学图像数据具有适合在所述一个或多个聚类中任一个内的小于阈值的概率,确定存在目标组织类型的组织。(A method of for handling medical image, it include: that medical image is input to variation autocoder, the variation autocoder is configured to the dimension of medical image being reduced to latent space, the latent space has one or more hidden variables, the hidden variable has hidden variable value, so that hidden variable value corresponding with the image of the tissue of not target-tissue types is suitble in one or more cluster;Determine that hidden variable value corresponding with medical image is suitble to the probability in one or more of clusters based on hidden variable value;And in response to being determined that medical image has the probability less than threshold value being suitble in any of one or more of clusters based on hidden variable value, determine that there are the tissues of target-tissue types.)

隐空间中的目标检测

技术领域

本公开内容一般涉及医学成像并且更具体地涉及磁共振成像。

背景技术

MR是用于评定神经性疾病以及组织健康的主要选择。由于各种各样的可用序列,MR可以支持综合分析,综合分析可以被实现以表征病理的脉管、解剖、扩散和功能性质,并且最重要地用以表征健康脑扫描的外观。

成像数据中的目标组织、诸如异常组织(例如以肿瘤、病变形式的病理、诸如金属植入物/人工制品之类的结构、或甚至不完美/不可用的切片)的自动检测在若干年内已经是令人感兴趣的话题。基于经典机器学习的解决方案聚焦于对待检测的目标组织(例如异常)进行建模。

用于计算机辅助的诊断的现有监督式学习解决方案被调谐以标识特定的异常(例如中风核/半影相对于正常的脑、MS病变相对于正常的脑、肺结节相对于正常的肺等等)。因此,这些方法通常涉及(1)仔细设计的特征/生物标记,(2)用于稳健性的大量(例如成百上千)经注解的患者数据,以及(3)对感兴趣的异常进行显式建模,其可随主体而非常不同。由于具有特定目标组织的主体、因此患者数据——即示出异常的数据的值的稀缺性,大量数据可能对于获得而言是特别困难的要求。

发明内容

在一些实施例中,一种用于处理医学图像数据的方法包括:将医学图像数据输入到变分(variational)自动编码器,所述变分自动编码器被配置成将医学图像数据的维度降低到隐空间,所述隐空间具有一个或多个隐变量,所述隐变量具有隐变量值,使得与没有目标组织类型的组织的图像相对应的隐变量值适合在一个或多个聚类内;基于隐变量值来确定与医学图像数据相对应的隐变量值适合在所述一个或多个聚类内的概率;以及响应于基于隐变量值而确定了医学图像数据具有适合在所述一个或多个聚类中任一个内的小于阈值的概率,确定存在目标组织类型的组织。

在一些实施例中,一种用于处理医学图像数据的方法包括:通过使用训练图像数据的集合来训练第一神经网络,用以确定输入医学图像数据是否包含一个或多个目标组织类型中的任一个,所述第一神经网络被配置成:将输入医学图像数据的维度降低到具有隐变量的隐空间,所述隐变量具有隐变量值,并且从第一神经网络向第二神经网络提供隐变量值;以及训练第二神经网络以根据一个或多个特征来对隐变量值进行分类,所述一个或多个特征限定输入医学图像数据的域,所述第二神经网络被配置成从第二神经网络向第一神经网络提供输入医学图像数据的域。

在一些实施例中,一种医学图像系统包括:存储了程序指令和医学图像数据的非暂时性、机器可读存储介质;以及被耦合到所述存储介质的经编程的处理器。经编程的处理器通过程序指令来被配置以用于:将医学图像数据输入到变分自动编码器,所述变分自动编码器被配置成将医学图像数据的维度降低到隐空间,所述隐空间具有一个或多个隐变量,所述隐变量具有隐变量值,使得与没有目标类型的组织的图像相对应的隐变量值适合在隐变量的值的一个或多个聚类内;检测与医学图像数据相对应的隐变量值是否适合在所述一个或多个聚类内;以及响应于确定了医学图像数据具有适合在所述一个或多个聚类中任一个内的小于阈值的概率,确定存在组织异常。

附图说明

图1A是示例性磁共振(MR)图像处理系统的图解。

图1B是用于训练图1A的MR图像处理系统的系统的框图。

图2是用于检测异常组织的处理系统的实施例的框图。

图3是图2的变分自动编码器的图解。

图4是如图3中所示的密集块的图解。

图5A-5D示出了对应于各种年龄组中的主体的脑切片的示例性输入图像。

图6A是与训练图像集合相对应的隐变量的图解。

图6B是一图解,其示出了隐变量空间中的隐变量值的聚类。

图6C-6F是用于图1B的系统的各种离群(outlier)检测机制的图解。

图7是图1A的用于训练系统的方法的流程图。

图8A是用于通过使用对抗性训练来训练MR图像处理系统的系统的框图,所述对抗性训练使用域适配。

图8B是一表,其示出了针对其可以训练图8A的系统的域的示例。

图9是用于使用对抗性训练的系统的示例性系统的框图,所述对抗性训练使用如图8A中所示的域适配。

图10是一示意图,其示出了用于通过使用第一批次的训练数据来检测异常的图9的系统的训练。

图11是一示意图,其示出了用于通过使用第二批次的训练数据来确定输入图像域的图9的系统的附加训练。

图12示意性地示出了图9的编码器中的后向传播。

图13示意性地示出了图9的编码器的测试阶段配置。

图14是一流程图,其示出了图9的系统的训练。

图15是一流程图,其示出了图9中所示的系统的附加训练和测试阶段。

图16A-16D比较使用生成型对抗性训练(GAN)、Wasserstein GAN(WGAN)以及域适配的三个系统的训练速度。

具体实施方式

示例性实施例的本描述意图结合附图来被阅读,所述附图将被视为整个所撰写描述的部分。

使用变分自动编码器的组织检测

本公开内容提供用于通过使用机器学习来检测医学图像中的新奇事物(异常)的系统和方法的示例。在一些实施例中,所述检测基于磁共振(MR)图像,所述磁共振(MR)图像表示变分自动编码器(VAE)的隐空间(或较低维流形)中的成像数据。可以应用离群检测技术来标识新奇(即异常)数据。

在所获取的MR图像的总体之中,来自健康主体的扫描与示出了任何明显异常的扫描的数量比非常高。因此,具有执行对健康(常态)的一般评定的框架在减少读取时间、消除对健康护理专家的不必要的转诊以及引导治疗步骤中可以是有价值的。

对医学图像的流形学习目的在于将原始高维磁共振(MR)数据投影到较低维非线性空间、即(子)流形中,其中数据/类可分性被改进。

变分自动编码器(VAE)可以表示隐空间中的输入MR数据,所述隐空间的参数在编码期间被学习。VAE可以捕获形状可变性,并且具有用于在给定底层隐空间(或流形)坐标的情况下合成组织图像(例如脑图像)的生成型能力。自动编码器是前馈、非递归的神经网络,其具有输入层、输出层以及连接输入和输出层的一个或多个隐藏层。所述输出层具有与输入层相同数目的节点。

在一些实施例中,一种系统接受众多主体的多对比MR数据,其中存在与年龄、性别、病理(如果存在但没有被注解的话)等等有关的脑(在大小和形状方面)的解剖变型。所述系统首先执行预处理(对诸如强度非均质性、运动模糊、噪声等等之类的伪像的校正)以及数据规格化。然后,全图像或图像片块(2D、2.5D或3D)被馈送到VAE的编码器网络中。VAE可以包括编码器网络和解码器网络。所述编码器网络可以具有两个或更多卷积层,所述卷积层具有池化。所述编码器网络将输入数据映射到连续的隐变量中,即得到隐变量的分布参数。然后样本根据经学习的参数而被生成并且被馈送到解码器网络中以计算损失,从而完成训练。

隐变量被调谐以合成“看似”与输入数据类似的数据(可以在图5D中找到关于MNIST数据集的示例)。该技术捕获数据内的形状可变性。换言之,在通过隐变量的参数所限定的流形中,看似类似于彼此(例如具有类似大小的脑室)的图像在隐空间内更靠近于彼此,从而在隐空间中形成“聚类”,而看似非常不同于任何训练图像的图像(例如具有病变的图像)将是“离群值”并且不适合于任何聚类中。

由于训练是非监督式的,所以训练数据没有注解或监督,并且训练数据以间接的方式确定任何特定的图像是构成内围值还是离群值。例如,如果仅仅通过使用在20与30之间的年龄的主体的脑图像来进行训练,那么健康80岁主体的测试图像将是离群值。因而,训练数据集应当包括来自在测试阶段期间待被成像的主体的所有人口统计群组(例如年龄和性别)中的健康患者的许多图像。如果通过使用来自没有明显异常的健康主体的训练数据来学习隐变量,则具有MS、mTBI、中风、胶质母细胞瘤等等的患者的测试图像将是离群值(即当与训练数据相比是新奇的)。

所述系统应用离群检测(以及拒绝)技术来标识医学成像数据中的偏离或异常。各种离群检测方法可以用于在隐空间中提供图像的低维向量表示,范围从统计测试到基于距离的途径。一些实施例使用随机样本一致性(RANSAC),一种稳健的方法,来用于离群检测。而且,经学习的流形可以用于分析伴随成像数据的非成像数据(从患者上的附加测试所获得的临床参数)。

图1A是系统101的框图,所述系统101包括扫描仪105和计算机系统103。可以在一些实施例中使用计算机系统103,例如用于实现控制扫描仪105的处理器。计算机系统103可以包括一个或多个处理器102。每个处理器102被连接到通信基础设施106(例如通信总线、交叉条或网络)。处理器103可以被实现为中央处理单元、嵌入式处理器或微控制器,或专用集成电路(ASIC)。计算机系统103可以包括显示接口122,所述显示接口122转发来自通信基础设施106(或来自未被示出的帧缓冲器)的图形、文本和其它数据以用于在显示单元124上显示给用户。处理器被耦合到一个或多个非暂时性、机器可读存储介质,并且通过程序指令被配置以作为被配置用于执行下述计算的专用计算机而运作。

计算机系统103还可以包括主存储器104(例如随机存取存储器(RAM))以及次级存储器108。主存储器104和/或次级存储器108包括动态随机存取存储器(DRAM)。次级存储器108可以包括例如硬盘驱动器(HDD)111和/或可移除的存储驱动器112,其可以表示固态存储器、光盘驱动器、闪速驱动器、磁带驱动器等等。可移除的存储驱动器112从可移除的存储单元116读取和/或向可移除的存储单元116写入。可移除的存储单元116可以是光盘、磁盘、软盘、磁带等等。可移除的存储单元116可以包括计算机可读存储介质,所述计算机可读存储介质已在其中有形地存储了(或在其上具体化了)数据和/或计算机软件指令,例如用于使得(多个)处理器执行各种操作。

在可替换的实施例中,次级存储器108可以包括用于允许计算机程序或其它指令被加载到计算机系统103中的其它设备。次级存储器108可以包括可移除的存储单元118以及对应的可移除的存储接口114,其可以类似于可移除的存储驱动器112,具有其自己的可移除存储单元116。这样的可移除的存储单元的示例包括但不限于通用串行总线(USB)或闪速驱动器,其允许软件和数据从可移除的存储单元116、118被传递到计算机系统103。

计算机系统103还可以包括通信接口(例如联网接口)121。通信接口121允许在计算机系统103与扫描仪105之间传递指令和数据。通信接口121还提供与其它外部设备的通信。通信接口121的示例可以包括调制解调器、以太网接口、无线网络接口(例如射频、IEEE802.11接口、蓝牙接口等等)、个人计算机存储卡国际协会(PCMCIA)插槽和卡等等。经由通信接口121传递的指令和数据可以是以信号的形式,其可以是能够被通信接口121接收的电子、电磁、光学的等等。这些信号可以经由通信路径(例如信道)而被提供到通信接口121,所述通信路径(例如信道)可以通过使用有线、线缆、光纤、电话线、蜂窝式链路、射频(RF)链路和其它通信信道来被实现。

图1B是用于检测医学图像数据、诸如MR图像数据中的目标组织(例如异常)的方法100的图解。

图像集合110提供来自没有待检测的目标组织的患者的MR图像数据的训练集合。例如,如果系统将被训练以用于检测异常,则图像100的训练集合包括没有目标异常的多个正常/健康患者。目标异常可以是以下各项中的任何一个或多个:肿瘤、病变、结构(例如金属植入物/人工制品)、不完美/不可用的切片、中风核/半影、MS病变、肺结节等等。在一些实施例中,图像包括经T1加权(T1w)和T2加权(T2w)的图像。尽管图1B中所示的图像是脑图像,但是训练图像集合可以具有待成像的其它器官、诸如心脏、肺、肾脏、肝脏等等之类的图像。

框120是数据预处理模块。如果可用,则预处理可以包括以下各项中的一个或多个:偏置场校正(BFC)、去噪、颅骨剥离(从头部图像中移除颅骨以及其它非脑组织)、图像规格化或用于扩散和灌注数据的附加处理。

框130通过使用变分自动编码器(VAE)来执行非监督式深度学习。在没有注解的情况下接收大量训练图像数据(来自图像集合110)。经用户定义的间接监督包括所述系统将被用于的、来自所有人口统计群组(例如年龄群组、性别)的感兴趣的器官的各种样本。样本中的主体没有待检测的目标组织。例如,如果所述系统将用于检测肿瘤、病变、植入物、中风核/半影、MS病变或肺结节,那么训练图像中没有一个具有肿瘤、病变、植入物、中风核/半影、MS病变或肺结节。如果系统将用于丢弃拙劣品质图像,那么所有训练图像应当是良好品质图像。

框140检测作为离群的异常。各种离群检测技术可以被使用,诸如统计测试、分类机制(例如支持向量机(SVM)、随机森林(RF)等等)或基于视觉的技术(例如随机样本一致性、RANSAC)。如以上所指出的,在框140中,基于用于训练数据集合的图像的选择,具有目标组织类型的任何图像被标识为离群值。

图2是用于执行目标检测的系统的示意图。

所述系统包括变分自动编码器(VAE)200。所述VAE 200基于以上所讨论的训练图像集合110来执行深度非监督式学习。例如,VAE可以包括编码器网络202和解码器网络204。编码器网络202具有多个层210、220,并且解码器网络204具有多个层240、250。以下参考以下的图3和图4来描述层210、220、240和250。编码器网络202学习隐变量230的集合的分布参数(例如均值μ和标准偏差σ)。例如,如果训练图像数据包括T1w图像和T2w图像,则编码器202将T1w输入图像变换到表示针对T1w图像的降维变量集合的流形232中,并且将T2w输入图像变换到表示针对T2w图像的降维变量集合的流形234中。解码器网络204根据隐变量230来重构输入图像262、264,并且基于输入图像数据110与输出图像262、264来计算损失。计算编码器网络202和解码器网络204的内核来最小化损失。

在训练完成之后,主体的测试图像(例如患者脑的图像)被输入到VAE 200的编码器,用于生成与流形232、234中的输入测试图像相对应的隐变量值。离群检测技术用于确定测试图像是否具有目标组织。

图3是根据一些实施例的VAE 200的示意图。VAE 200的编码器202具有三个密集块层210、220和235-236。密集块层210、220和235-236中的每一个具有多个卷积,其具有每层12个滤波器的增长速率。编码器202具有两个池化层212和222。隐变量空间具有比输入空间低的维度,因此隐变量向量可以被视为输入的经压缩的表示。由池化层212输出的表示比输入图像110更被压缩,并且由池化层222输出的表示比池化层212的输出更被压缩。

VAE 200的解码器204具有三个密集块层237-238、240和250,以用于重构输入图像。密集块层237-238、240和250中的每一个具有多个解卷积,其具有每层12个滤波器,以用于再生图像数据。解码器204具有再生型层212和222。图3还示出了在密集块210与250之间、在密集块220与240之间以及在块235/236与对应的块237和238之间的跳跃连接301、302、303。跳跃连接301、302和303将编码器202的每个卷积层中的高分辨率信息前馈到解码器中对应的解卷积层。由于后向传播(其用于更新较高的编码器层)基于可以倾向于零的梯度函数,所以保持来自跳跃连接301、302、303的高分辨率信息允许较深的训练,而不损失高频细节。

在也被称为网络的“瓶颈”的最小(最深)水平处,隐空间具有与两个隐变量对应的两个流形232、234。这两个隐变量可以表示组织的参数的不同集合。

图4示出了密集块210之一的细节。图4仅仅是示例性的,并且其它密集块220、235、236、237、238、240和250中的每一个可以具有如图4中所示的相同示意性设计。密集块210具有三个层421、422、423。层421具有批量规格化块401、三维(3D)卷积402和激活函数403。层422具有批量规格化块404、3D卷积405和激活函数406。层423具有批量规格化块407、3D卷积408和激活函数409。激活函数403、406和409可以是使用通过方程(1)所定义的整流器的经整流的线性单元(ReLU),

其中x是去往层的输入。

可替换地,激活函数可以是有漏洞的ReLU,其在有漏洞的ReLU不是活跃的时候允许小的非零梯度。有漏洞的ReLU函数可以通过方程(2)来表述。

尽管图4的示例示出了每密集块(例如421)三个层(例如401-403),但是取决于待处理的图像的复杂度,每个密集块可以具有任何所期望的数目的层。例如,其它实施例(未被示出)每密集块可以具有四个、五个或六个层,以用于处理更复杂的图像。(卷积或滤波的)附加层可以扩增图像数据的表示中的抽象水平。每密集块越多层,VAE 200就能学习越多特征。

每个密集块210还包括在层之间的跳跃连接411-413。每个较低的层412或413接收来自相邻的较高层411或412的输入以及原始输入。例如,块413的输入是被联接到一个输入的块411和块412的输出。这通过使用前馈来提供更准确的结果,用以在池化的时候保持高分辨率信息。池化提供数据的平均值或最大值,并且用单个值来取代邻域,从而逼近更高分辨率数据。这样的池化可潜在地丢失信息。通过连同经池化的数据一起将先前的层的结果传递到下一层,仍传播高分辨率信息。

在示例中,增长速率是每个层级处12个附加滤波器,例如,其开始于第一密集块421处的六个滤波器。第二密集块422添加12个滤波器。然后,第三密集块423添加另外12个滤波器,总计30个滤波器。滤波器的数目表示网络多宽,以及可以提取多少抽象特征。每个滤波器创建抽象特征的对应集合。滤波器越多,通过网络就提取越多抽象特征。

尽管以上提供了VAE的详细示例,但是能够提供数据的较低维表示的任何类型的深度生成型网络可以替代VAE。

图5A-5D示出了用于VAE 200的训练数据的示例。训练数据包括从没有目标组织类型(例如病变或肿瘤)的任何组织的正常、健康主体(例如患者)所获得的图像信息。训练数据应当宽泛地封装各种各样的形状和强度变化。例如,图5A示出了健康22岁主体的脑501,其具有脑室511。图5B示出了健康55岁主体的脑502,其具有大于脑室511的脑室512。图5A示出了健康92岁主体的脑503,其具有大于脑室512的脑室513。因而,正常、健康的主体中的脑室的大小至少部分地基于主体的年龄。相对于比较浅白的物质,主体越年老,暗脑室就越大。

基于该关系,不同年龄群组的脑之间存在变化,这可以导致均值光强度μ中的对应方差。在样本550中的脑之间的另一差异是光强度的标准偏差σ。与较年轻的主体相比,较年老的主体的脑在光强度中具有更大方差,以及对应的更大标准偏差σ。因而,可以表征脑图像的两个隐变量集合的示例是均值光强度μ以及光强度的标准偏差σ。这仅仅是一个示例,并且编码器202可以限定隐变量的其它集合,其取决于监督式训练样本的性质。

图5D示出了脑的训练图像集合550,所述脑包括来自贯穿相关年龄范围的主体的脑。从具有最大脑室的最暗脑552到具有最小脑室的最亮脑554,脑在平均均值强度μ方面变化。从具有最大脑室和最大标准偏差σ的脑552到具有最小脑室和最小标准偏差σ的最亮脑554,脑也在光强度的标准偏差σ方面变化。

图6A是基于由编码器所输出的隐变量数据的二进制数字图像中的形状可变性的绘图。图6A示出了沿着隐空间的数字的变化的范围。如果为隐空间中的每个值或值集合生成数字,则结果产生图6A的图像。通过数据的训练集合来确定变化。

图6B是在表示隐空间流形650的笛卡尔平面上所绘制的两个隐变量的图解。在其中存在多于两个隐变量的情况中,在多维空间中表示隐变量。执行聚类步骤,以用于标识哪些脑更靠近于彼此。可以使用各种聚类方法,诸如k均值算法。由于仅仅使用正常、健康的主体(没有目标组织)来训练VAE 200,所以与没有目标组织类型的组织的图像相对应的隐变量值将适合在聚类中的一个或多个内。与具有目标组织类型(例如病变或肿瘤)的图像相对应的隐变量值将不适合在任何聚类内,并且将是离群值。

隐空间650流形中的数据是稀疏的。隐变量值可以落在聚类651-655中,如图6B中所示。隐空间650表示数据的紧凑表示(在维度方面)。该流形提供图5D和图6A中的数据的表示。流形650中的轴对应于隐变量(例如均值光强度μ以及光强度的标准偏差σ),其可以是输入图像参数的复杂函数。隐空间中的每个轴可以是许多输入图像参数的函数。图6B示出了数据往聚类651-655中的特定聚类。例如,聚类651可以对应于在20与30岁之间的不吸烟、低胆固醇主体,并且聚类655可以对应于比85岁老的吸烟、高胆固醇者。

在训练了系统之后,给定测试主体的脑图像可以通过编码器202而被变换成隐变量,并且系统100(图1B)中的离群检测块140(图1B)可以确定测试主体是内围值还是离群值。离群检测块140可以基于隐变量值来确定与测试医学图像数据相对应的隐变量值适合在聚类651-655中的一个或多个内的概率。例如,系统100中的离群检测块140可以是随机采样一致性(RANSAC)块141(图6C)、随机森林块(图6E)、统计测试引擎(图6F)或分类块(图6G)。

在一些实施例中,离群检测块可以响应于基于隐变量值而确定了医学图像数据具有适合在所述一个或多个聚类中任一个内的小于阈值的概率而确定存在目标组织类型的组织。例如,测试主体的脑中的病变可以表现为MR图像中的暗区,并且可以导致在所有聚类651-655外部的均值强度μ与标准偏差σ的组合。如果隐变量值具有落在正常健康组织的聚类之一内的高概率,则处理器可以确定针对患者的附加测试是低优先级的。当隐变量值是“超标(off the charts)”的(例如针对脑图像的隐变量值按多于3σ而不同于任何聚类的均值μ)的时候,处理器可以快速地标记患者以用于附加测试。

在其它实施例中,在确定不存在目标组织(例如病变或肿瘤)之前,处理器可以添加第二准则。例如,可以通过诸如年龄之类的输入参数来对输入图像进行聚类或分组。通过对照根据隐变量的聚类来比较根据年龄的聚类,处理器可以确定输入参数相对于隐变量的显着性。例如,处理器可以确定具有给定输入参数值的测试主体的隐变量值。处理器可以标识具有涵盖测试主体的输入参数值的输入参数值范围的训练图像的子集,并且处理器可以标识与训练图像的该子集相对应的隐变量值。处理器可以比较测试主体的隐变量值与训练主体的子集中的隐变量值的分布。然后,所述系统可以确定主体具有在该范围内的异常状况的概率。例如,基于主体的隐变量的均值和标准偏差以及所假定的概率分布(例如高斯),处理器可以确定主体的隐变量值是该子集的正常成员或离群值的概率。

例如,处理器基于输入参数的值而将训练图像数据聚类到隐变量中一组第二聚类中,并且确定具有主体输入参数值的主体也具有适合在与主体输入参数值相对应的该组第二聚类之一内的隐变量值的概率。在一个示例中,数据可以通过沿着一个轴的输入参数(例如年龄)以及沿着另一轴的隐变量之一来被表示。对于每个图像,处理器可以在相应的图形上绘制两个对应的点,其具有坐标<年龄,隐变量1>以及<年龄,隐变量2>。结果得到的绘图将示出落入根据年龄的聚类中的数据。如果针对22岁测试主体的隐变量值位于与85+岁主体相对应的聚类内,那么检测到异常,尽管针对该主体的数据落在隐变量聚类之一内。换言之,主体的图像在错误的聚类中,并且是相对于她自己的年龄群组的离群值。

图7是使用上述系统的方法的流程图。

在步骤702处,来自正常、健康主体(没有目标组织类型)的未加标签的医学图像训练数据的集合被输入到VAE。在一些实施例中,图像是MR图像。图像可以选自贯穿每个相关输入参数的预期范围的患者的横截面。例如,训练数据集合可以跨越各种年龄、性别、吸烟习惯、身高、体重等等。在一些实施例中,图像示出脑、心脏、肺、肾脏、肝脏、或其它组织。

在步骤704处,通过使用训练图像数据的集合来训练第一神经网络,用以确定输入医学图像数据是否包含一个或多个目标组织类型中的任一个。VAE的编码器将医学图像训练数据的维度降低到具有一个或多个隐变量的隐空间。在一些实施例中,图像是脑切片,并且隐变量是图像中光强度的均值μ以及标准偏差σ。在其它实施例中,编码器确定其它隐变量。

在步骤706处,处理器在与训练图像数据相对应的隐变量值上执行聚类。

在步骤708处,输入来自测试主体的图像数据。

在步骤710处,编码器计算来自测试主体的输入图像的隐变量值。处理器然后基于隐变量而确定测试主体的隐变量值适合在任何聚类内的概率。如果该概率大于或等于预定阈值,则执行步骤714。如果该概率小于预定阈值,则执行步骤716。

在步骤714处,处理器确定还没有检测到任何目标组织。主体被视为在正常范围内。处理器可以输出如下指示:即主体不被视为针对用于检测目标组织的附加测试的高优先级候选。

在步骤716处,处理器确定已经检测到目标组织。在一些实施例中,系统被训练以提供已经发现目标组织的告警,并且主体应当经历附加测试以确定已经发现什么种类的组织。处理器可以输出如下指示:即主体被视为针对用于检测目标组织的附加测试的高优先级候选;并且可以标识待执行的附加MR序列,或发起约定安排。主体被视为在训练主体的正常、健康范围外部。

在步骤718处,基于输入参数的值,将训练图像数据聚类到隐变量空间中的第二组聚类中。例如,可以根据年龄来对训练图像进行聚类,并且可以绘制对聚类中的一个或多个中的隐变量值进行标识的点,使得每个点所属的聚类被标识。测试图像可以与针对主体的聚类的正常训练图像的聚类的隐变量数据相比较。然后,主体可以被标识为正常或异常的。

在步骤720处,处理器可以确定具有给定主体输入参数值(例如年龄)的主体具有如下隐变量值的概率:所述隐变量值适合于与主体输入参数值相对应的隐变量空间中的第二聚类。

例如,与每个训练图像相对应的点可以具有沿着水平轴的输入参数值(例如年龄)以及沿着Y轴的均值光强度μ的坐标。处理器可以确定主体适合于在哪个聚类中。例如,处理器可以确定22岁的主体具有对于85岁将是正常的隐变量值。

图1-7的系统和方法可以提供若干特征。没有对于经注解的训练数据的需要。可以使用针对正常、健康主体的未加标签的训练数据,因此从其中可以取得训练数据的人群是大的;存在许多“正常”、健康主体,相对较少的具有异常组织生长的“异常”主体。可以在MR训练图像被重构之后的任何时间收集训练数据,并且可以在主体的图像被重构之后的任何时间分析主体的MR图像。所述方法可以被使用而无论MR扫描仪和/或成像序列的类型,并且可以用于各种临床应用。

在一些实施例中,可以在测试主体的MRI图像的重构之后立即使用所述方法和系统,用以提供关于是否应当执行另外的成像或测试的即时指示。例如,所述方法可以用于针对各种脑状况(例如MS、中风、mTBI、肿瘤等等)的诊断分类(例如健康相对于患病)。

另外,所述方法可以用于提供即时的图像品质评定,用以确定所收集的测试图像是具有良好品质还是拙劣品质(即具有伪像的图像)。系统是否基于对新奇组织的检测和/或基于拙劣图像品质而将图像指定为“异常”通过训练集合以及如何定义驱动训练的损失来被确定。在一些实施例中,损失可以是多任务,用以提供关于离群状态的附加信息,其具有在患病或健康以及拙劣或不良图像品质之间的分类。

具有域适配的对抗性训练

图8A是使用生成型对抗性训练来用于域适配以便减少假阴性(即减少标识异常主体的故障)的另一实施例的框图。可以通过使用图1A的硬件配置来实现图8A的系统,其中具有对软件的改变。

系统800使用多参数数据来用于组织分析。系统800可以基于通过使用用于神经性评定的各种基本协议(例如经T1加权的、经T2加权的、经流体衰减的反转恢复(FLAIR)或经扩散加权的MR成像(DWI)序列)所获取的图像来提供品质异常检测,所述各种基本协议各自提供特定的信息。系统800可以包括神经网络830、840(例如残余网络(ResNet)或密集连接的卷积网络(DenseNet))用以学习表示通过各种协议所获取的图像的隐空间。神经网络830、840使用来自各种协议的经加标签的训练图像来相应地对数据进行分类。这些训练图像可以分离地源自全扫描或源自脑区和非脑区,在所述情况中,来自全扫描和脑扫描的隐空间变量值可以被联接以用于分类。可替换地,来自全扫描和脑扫描的隐变量值可以分离地被使用。

网络830、840可以使用贯穿网络的跳跃连接来允许深度到非常深度的网络构造,而同时最小化训练期间的过度拟合。直接的后果是:来自这样的经学习的描述符的分类更准确。在一些实施例中,这样的直接监督式网络使用全脑体积或脑的子集作为(大)输入。然后,所训练的网络为全体积或子集提供异常/正常标志。如果为数据的子集提供标志,则在脑子集之上聚合评分以提供关于异常存在的最终结果。所述方法包括监督式学习,其使用具有标签(例如,0针对正常扫描,1针对异常扫描)的大量图像。

为了补偿在扫描仪、机构、供应商和/或模型之间的协议中的差异,系统800使用对抗性训练来创建针对分类的特征,其对于协议是稳健的且几乎不变。也就是说,系统800可以将给定的输入图像分类为正常或异常的,而无论获取协议如何。图8A中的配置将鉴别器网络(也被称为“鉴别器”)840从隐空间分支出去。鉴别器840可以标识正在使用的协议(或图像来自的机构、或供应商和/或模型)。通过使用至少两个不同批次的数据来执行训练。第一批次的数据训练生成型网络(也被称为生成器)830以用于正常/异常分类,其使用经加标签(正常和异常)的图像以用于监督式学习。通过使用与彼此相同的协议(例如在以下被称为“域A”)来获取所述第一批次中的所有训练图像。

第二批次的训练图像包含来自两个或更多域——其在本文中被称为“域A”和“域B”——的数据。域A和B可以表示例如两个不同的获取协议。第二批次的数据包括来自所述域中每一个的正常和异常图像二者。第二批次的数据被加标签以标识其获取域,但是其标签不标识图像是正常的还是异常的。图8B是示出了域的示例的表。如果域表示协议,则域A可以是T1w并且域B可以是T2w。如果域表示扫描仪供应商或制造商,则域A可以是西门子,并且域B可以是另一供应商。如果域表示型号,则域A可以是西门子1.5T,并且域B可以是另一模型。如果域表示机构,则域A可以是NYU,并且域B可以是波士顿大学。这些值仅仅是示例性的。域可以是所获取的数据的源的另一属性。而且,可以使用其它协议、供应商、模型和机构。

图8A中所示的方法使用第一网络(例如生成器)830来用于通过利用从放射学报告或出院数据导出的图像标签来分类正常相对于异常情况(或正常相对于多个异常类)。生成器的编码器将图像变换到隐空间。生成器向第二网络(例如鉴别器840)提供一组矩阵(特征映射),所述第二网络(例如鉴别器840)被配置成学习输入来自多个域中的哪一个。第二网络840将域信息馈送回到生成器。第一网络830学习以做出正常/异常确定,而无论从其中提供输入图像的域如何。

所述技术假定可以通过域适配来学习域不变隐空间。生成器学习从隐变量映射到图像分布,而无论从其中收集图像的域如何。因而,生成器尝试生成域不变隐变量值,以用于在解码器中再生图像,用以在确定从哪个域获取它所接收的图像的时候增大鉴别器中的误差率。

系统800使用与以上所述的训练图像集合110不同的训练图像集合810。训练图像集合810使用经加标签的图像。训练图像被划分成两个子集。

第一子集中的训练图像包含正常、健康组织和异常组织的图像二者。第一图像子集被加标签以标识图像是正常的还是异常的(即,图像是否包含目标组织)。所述第一集合中的图像全部来自单个域(例如域A)。

在一些实施例中,目标组织可以是以上讨论的异常中的任一个(例如肿瘤、病变、植入物、中风核/半影、MS病变或肺结节)。可替换地,由于数据被加标签,所以目标组织可以更特定(例如肿瘤)。在其它实施例中,目标组织可以是在正常、健康患者中所发现的组织的类型。

域可以标识从其中提供训练输入图像的多个源中之一。例如,可以通过使用不同的协议来捕获图像。在一些实施例中,可以通过使用T1w、T2w、经流体衰减的反转恢复(FLAIR)或经扩散加权的MR成像(DWI)来捕获训练输入图像。

T1w使用经T1加权的图像(即其中组织之间的大多数对比度是由于T1值中的差异所致的图像)。T1是针对一组织类型的纵向弛豫率。对于T1w图像,重复时间(TR)可以小于T1(典型地<500 ms)并且回波时间(TE)可以小于T2(典型地<30 ms))。

T2w使用经T2加权的图像(即其中组织之间的大多数对比度是由于T2值中的差异所致的图像)。T2是针对一组织类型的横向弛豫率。对于T2w图像,TR可以大于T1(典型地>=2 000 ms)并且TE可以小于T2(典型地>=100 ms)。

FLAIR是可以使流体归零的方法。例如,FLAIR可以用于其中,来抑制图像上的脑脊液(CSF)效应,并且强调某些病变,诸如多发性硬化(multiple sclerosis,MS)斑块。对于FLAIR图像,可以相对于T1来控制反转时间。

DW1使用水分子的扩散来在MR图像中生成对比度。

因而,通过使用这些协议中任一个所收集的图像可以示出相同的脑结构,但是具有最多对比度的组织类型可以根据所使用的协议而不同。图像的域标签可以标识使用哪个协议。

在其它实施例中,域标签可以标识用于收集图像的MR扫描仪的制造商和/或模型。

在其它实施例中,域标签可以标识从其中接收图像的机构(例如医院)。不同的医院可以使用具有不同制造商或模型、不同协议或不同序列的扫描仪。

然而训练图像的第一子集仅仅包括来自单个域的图像,图像的第二子集具有来自多个域的图像,并且被加标签以标识域。图像的第二子集没有被加标签来标识图像是示出正常的还是异常的组织,也没有被加标签来标识目标组织是否被包含在图像中。

图像子集中的每一个可以被划分成多个批次。通过在来自第一子集的第一批次的图像(被加正常/异常标签,全部来自单个域)与来自第二子集的第二批次的图像(包含来自复数域的正常和异常图像,其被加标签以标识域)之间交替而将训练图像输入到数据预处理块820。

预处理块820执行数据预备步骤来创建定向基础。这或者可以通过进行主体与模板的刚性配准来被实现(因此在模板空间中可以处理所有数据),所述模板标识脑的主要区(例如半球、脑叶)。多尺度深度加强学***面(MSP)和/或裂缝,并且使用所检测的界标来相对于特定的界标(脑干、AC-PC接合处等等)重新定向所有数据。

第一批次的图像由生成器使用来学习,以从正常和异常图像区分彼此,并且第二批次的图像由鉴别器使用来学习,以确定从哪个域获取每个图像。

预处理块820可以执行偏置场校正(BFC)。BFC移除使MR图像劣化的低频和非常平滑的信号,诸如由遗留MR扫描仪所产生的那些。例如,在一个实施例中,BFC可以通过使用表面拟合途径、通过所估计的偏置场信号来划分经劣化的图像。在另一实施例中,BFC计算白质、灰质和脑脊液的平均组织值。在包括针对局部偏置效应的参数的模型中使用这些平均值。来自模型的增益估计可以用于拟合三立方B-样条,其提供对非均匀性的估计。可以通过该样条来划分原始图像,从而应用BFC。

另外,头部中的非脑组织——要么连接到脑,要么没有——对于患者的完整评定而言可以是令人感兴趣的。这样的非脑组织可以包括眼眶、视神经、鼻窦等等。另一预处理步骤可以在结构数据上执行颅骨剥离,以分离脑与整个头部扫描中的其它结构。颅骨剥离可以从输入图像数据中移除非脑组织、诸如皮肤、脂肪、肌肉、颈部和眼球,用于简化自动脑图像分割和分析。因此,正常/异常框架可以特定于脑和/或非脑结构。

在训练期间,预处理块820通过后向传播滤波器来执行域适配以降低通过生成器的正常/异常确定的误差率,并且基于来自生成器的隐变量来增大通过鉴别器的域确定的误差率。例如,当预处理块820执行脑提取来使数据标准化的时候,可以使用域适配。在脑提取期间,预处理块学习以使数据标准化。每当处理第一批次的图像的时候,生成器向鉴别器提供一组矩阵(特征映射),并且鉴别器尝试确定图像的域。

可以使用其它预处理技术,包括但不限于以下各项中的一个或多个:由于梯度非线性所致的图像几何变形的校正,当利用更均匀的体线圈来执行RF传送而利用不太均匀的头线圈来执行接收的时候产生的图像强度非均匀性的校正,对比度增强,锐化,去噪,滤波等等。

生成器块830执行图像分割(例如脑图像分割),包括定位图像中的对象和边界以将输入MR图像分离成多个分段(像素集合)。作为分割的结果,相同分段内的像素共享诸如光强度之类的某些特性,并且相邻的区在那些特性方面不同于彼此。作为在训练期间从鉴别器所接收的矩阵的后向传播的结果,生成器830对于域变化(例如协议、机构、制造商和扫描仪的模型)而言是稳健的;生成器已经在学习分割的时候学习了许多域之间的不变特征。在测试阶段期间,编码器可以分割输入图像,为输入图像生成隐变量值,并且做出正常/异常确定,而无论域如何。

在一些实施例中,生成器830是解卷积神经网络。生成器830可以使用非线性预测递归生成型模型。在一些实施例中,生成器包括编码器-解码器,如以下关于图9所讨论的。所述网络执行区建模,并且直接根据训练集合中的健康图像来对组织的强度分布进行建模。在一些实施例中,生成器830使用自适应的阈值化来用于分割和异常检测,其中在训练期间对阈值进行学习。在其它实施例中,聚类技术(例如k均值)可以用于分割。生成器830被配置成执行输入图像的双向和多向分析。

生成器830的解码器根据隐变量来合成图像。在训练期间使用经合成的图像。在训练期间,鉴别器840评估来自生成器830的隐变量或经合成的图像,并且确定与隐变量/经合成的图像相对应的输入图像源自哪个域。在生成器830与鉴别器840二者中应用后向传播,因此生成器830学习以产生更好合成的图像,并且鉴别器830增大其在标识与隐变量/经合成的图像相对应的输入图像源自的域方面的误差率。

在训练阶段而不是测试阶段期间使用鉴别器840。鉴别器840的主要任务是要鉴别通过生成器830的解码器所产生的经合成的图像的域(例如协议、机构、扫描仪制造商/模型)。在这样做中,鉴别器生成可以在生成器830中后向传播的矩阵,用于改进生成器的编码器的能力,以提供域不变隐变量。在一些实施例中,鉴别器840可以是卷积神经网络(CNN)。理想地,在训练完成时,生成器生成完全域不变隐变量,并且鉴别器不再能仅仅使用隐变量值而区分图像是来自域A还是域B。甚至在有限训练图像集合的情况下,所训练的生成器可以做出具有高度准确性的正常/异常确定,而无论源域如何。

图9是如被配置用于根据一些实施例的训练的生成器830与鉴别器840的示意图。

提供如上所述的训练输入图像集合810。

生成器830的编码器880包括具有三个密集块层812、816和822。密集块层812、816和822中的每一个可以有多个卷积,其具有每层12个滤波器的增长速率。例如,每个密集块层812、816和822可以与以上关于图4所讨论的密集块210相同(为了简洁,不重复对密集块的描述)。

编码器880具有两个池化层814、818。隐变量空间具有比输入空间低的维度,因此隐变量向量可以被视为输入的经压缩的表示。在图9的示例中,存在单个隐变量向量828。由池化层814输出的表示比输入图像810更被压缩,并且由池化层818输出的表示比池化层814的输出更被压缩。

所述三个密集块层836、842、846被配置用于生成经合成的图像。密集块层836、842、846中的每一个具有多个解卷积,其具有每层12个滤波器,用于再生图像数据。密集块层836、842、846中的每一个可以与如以上所讨论的密集块210相同。解码器890具有再生型层838和844。生成器830还包括在密集块812与846之间、在密集块816与842之间以及在块822与836之间的跳跃连接(未被示出),其类似于以上关于图3所讨论的跳跃连接,以及如以上关于图4所讨论的块内的跳跃连接。生成器具有输入层以及多个隐藏层,并且所述第一神经网络将输入医学图像数据前馈到隐藏层中的每一个。跳跃连接(未被示出)将编码器880的每个卷积层812、816、822中的高分辨率信息前馈到解码器890中的对应的解卷积层836、842、846。由于后向传播(其用于更新较高的编码器层)基于可以倾向于零的梯度函数,所以保持来自跳跃连接(未被示出)的高分辨率信息允许较深的训练,而不损失高频细节。

在也被称为网络的“瓶颈”的最小(最深)水平处,隐空间具有与一个隐变量向量对应的一个流形828。

在训练期间,经合成的图像848和滤波器矩阵由解码器890输出到鉴别器840以及决策度量块850。在一些实施例中,决策度量块850指出在输入图像与经合成的图像之间的差异,并且基于所述差异来计算度量。所述差异是异常。阈值化块852确定新奇事物(异常)或无新奇事物(正常)。

在其它实施例中,来自瓶颈828的隐变量被提供到鉴别器840,并且鉴别器840确定经合成的图像848的域。鉴别器可以具有密集块层864、868、872,其可以与图4的密集块层210相同或类似,为了简洁,不重复对其的描述。鉴别器确定经合成的图像848的域,并且将一组矩阵(特征映射)提供到生成器830以用于后向传播。

图9示出了生成型对抗性网络(GAN)800,所述生成型对抗性网络(GAN)800具有生成器830和鉴别器840。其它对抗性网络设计、诸如Wasserstein GAN (WGAN)可以被替代。

图10-13示出了在训练和测试阶段期间的GAN 800的配置。第一批次的训练输入图像1001被输入到生成器830的编码器880。第一批次的训练输入图像1001包括具有正常(非新奇)组织的图像与具有异常(新奇)组织的图像二者。图像被加标签以指示图像是否正常。第一批次的图像中的全部都来自单个域(例如域A)。编码器880生成与输入图像相对应的隐变量值,并且解码器890基于隐变量来提供经合成的图像1002。解码器840将一组矩阵(特征映射)提供到鉴别器840,所述鉴别器840将充当域分类器。

图10示出了在使用第一批次的训练输入图像1001的训练期间的GAN的初始配置。图像1001包括正常和异常图像,其全部来自单个域(例如域A)。图像1001被加标签以标识其正常/异常状态。图像1001被输入到生成器830的编码器880。编码器880将隐变量向量(例如均值光强度)提供到解码器890以及鉴别器840,所述鉴别器840在该示例中是域分类器。解码器创建经合成的图像1002。编码器880学习以做出正常/异常确定,并且根据图像1001而生成隐变量。

图11示出了在使用第二批次的训练输入图像1003、1004的训练期间的GAN。图像包括来自每个域(例如域A和域B)的正常图像1003和异常图像1004。图像1003、1004被加标签以标识其域(A或B)。标签不包含正常/异常信息。图像1003、1004被输入到生成器830的编码器880。编码器880将隐变量向量(例如均值光强度)提供到解码器890以及鉴别器840(域分类器)。解码器创建经合成的图像1005。鉴别器840学习以鉴别每个图像是来自域A的图像1003还是来自域B的图像1004。

图12示出了在输入了第二批次的训练输入图像1003、1004之后的GAN。鉴别器840将矩阵(特征映射)输出到生成器830。生成器830后向传播这些矩阵以使得生辰器830降低其假阴性结果率(即被生成器830不正确地分类为正常的异常图像的百分比)。鉴别器840后向传播从生成器830所接收的矩阵(特征映射)以使得鉴别器840能够鉴别从哪个域获取了输入图像,而无论组织是正常的还是异常的。

每当第一批次1001和第二批次1003、1004被处理并且执行图12的后向传播步骤的时候,生成器830改进其无论域如何都做出正常/异常分类的能力,并且使得对于鉴别器而言更难以基于隐变量向量而鉴别从哪个域收集图像。而且,在每个迭代的情况下,鉴别器改进其鉴别从哪个域获取图像的能力,而无论组织是正常的还是异常的。

图13示出了在测试阶段期间的配置。不使用鉴别器840。测试输入图像可以包括来自域A的正常和异常图像1011,以及来自域B的正常和异常图像1012。编码器880生成隐变量值,根据所述隐变量值而做出正常/异常分类。解码器890输出经合成的图像1013。

图14是用于图8-13的系统的示例性训练方法的流程图。

在步骤1402处,第一批次的训练图像数据被输入到第一神经网络(例如生成器网络,诸如DenseNet,或具有编码器880和解码器890的网络830(图9))。第一批次的图像数据具有被加标签为异常(具有目标组织类型)或正常(没有目标组织类型)的数据。第一批次的训练图像数据全部获取自单个域(单个协议、单个机构、单个扫描仪供应商和单个扫描仪模型)。

在步骤1404处,第一神经网络830的编码器880将第一批次的训练图像的维度降低到具有一个隐变量(例如图像的均值光强度)的隐空间。在一些实施例中,维度的降低通过深度学习架构来被执行,所述深度学习架构诸如以上参照图4和图9所描述的被密集连接的卷积神经网络。第一神经网络具有输入层和多个隐藏层,并且所述第一神经网络将输入医学图像数据前馈到隐藏层中的每一个。

在步骤1406处,第一网络向第二(鉴别器)网络提供用于来自第一网络的第一批次的图像数据的隐变量值向量和内核(矩阵或特征映射)。第二网络可以是卷积神经网络。第二神经网络被配置成根据一个或多个特征来对隐变量值进行分类,所述一个或多个特征限定输入医学图像数据的域。所述第二神经网络被配置成从第二神经网络向第一神经网络提供输入医学图像数据的域。

在步骤1408处,第二神经网络将第一批次的隐变量数据分类为来自域A或域B。在该示例中,第一批次的图像数据中的全部都来自域A。

在步骤1410处,第二神经网络从第二神经网络向第一神经网络提供域和内核(矩阵或特征映射)。

在步骤1412处,基于如由第二神经网络所确定的输入医学图像数据的域,来自第二神经网络的矩阵在第一神经网络中被后向传播。

步骤1414-1424包括重复:训练第一和第二神经网络,训练第二神经网络,以及通过使用第二批次的输入医学图像数据而执行后向传播。已经通过使用多个不同的协议、多个不同的磁共振扫描仪模型、由多个不同制造商所制造的扫描仪和/或多个不同的机构而获取了第二批次的输入医学图像数据。

在步骤1414处,第二批次的训练图像数据被输入到第一神经网络。第二批次的训练图像数据包括从两个不同的域(协议、机构、扫描仪供应商和/或扫描仪模型)所获取的数据。图像数据被加标签为源自域A或域B。第二批次的数据包括正常和异常组织图像二者。第二批次的数据的标签不标识图像的正常或异常特性。

在步骤1416处,第一神经网络830的编码器880将第二批次的训练图像的维度降低到具有一个隐变量(例如图像的均值光强度)的隐空间。所述第一神经网络将输入医学图像数据前馈到隐藏层中的每一个。

在步骤1418处,第一网络从第一网络向第二(鉴别器)网络提供用于第二批次的图像数据的隐变量值向量和内核(矩阵或特征映射)。

在步骤1420处,第二神经网络将第二批次的隐变量数据分类为来自域A或域B。在该示例中,第二批次的图像数据包括来自域A的图像数据和来自域B的图像数据,因此第二神经网络学习以将隐变量数据分类为对应于从域A或域B所获取的图像。

在步骤1422处,第二神经网络从第二神经网络向第一神经网络提供域和内核(矩阵或特征映射)。

在步骤1424处,基于如由第二神经网络所确定的输入医学图像数据的域,来自第二神经网络的矩阵在第一神经网络中被后向传播。

图15是一流程图,其示出了在步骤1424之后的连续训练,其继之以测试阶段。

在步骤1424之后,步骤1500提供连续的训练,其重复如下的步骤1402-1424:训练第一神经网络,训练第二神经网络,以及通过使用输入医学图像数据的第一集合以及输入医学图像数据的第二集合来执行后向传播。

在步骤1502处,系统重复步骤1402-1412来继续通过第一神经网络的监督式学习,用以确定图像输入数据是否包含目标组织(例如异常)中的一个或多个。第一神经网络向第二神经网络输出原始图像、隐变量向量和内核(矩阵或特征映射)。

在步骤1504处,系统重复步骤1414-1424来继续通过第二神经网络的半监督式学习,用以确定图像输入数据是获取自域A还是域B。第二神经网络向第一神经网络输出域和内核(矩阵或特征映射)。第一和第二网络各自后向传播从另一个所接收的矩阵。

步骤1502和1504被重复直到训练数据用尽、已经处理了预定数目的训练图像或域适配满足收敛准则为止。在每个迭代的情况下,第一批次的输入医学图像数据包括从单个机构、通过使用单个协议、从单个类型的磁共振(MR)扫描仪所收集的数据,并且第二批次的输入医学图像数据包括通过使用两个或更多协议、或通过使用两个或更多类型的MR扫描仪、或从两个或更多不同机构所收集的数据。

在每个后向传播的情况下,来自第一神经网络的假阴性(即假正常)结果率减小,并且通过第一神经网络的隐变量值生成变得愈发域不变。也就是说,来自第一网络的假阴性(假正常)分类的减少变得愈发与从其中获取输入图像的域无关。

在每个后向传播的情况下,隐变量变得更加域不变,因此第一神经网络更好地能够欺弄第二神经网络;第二神经网络的误差率增大,并且第二神经网络可以正确地确定图像是获取自第一域还是第二域的概率减小。

在训练完成时,第二神经网络的使用不连续。在测试阶段期间仅仅使用第一神经网络。

在步骤1506处,测试图像(例如患者的脑的MR图像)被输入到系统800的第一神经网络830。

在步骤1508处,第一神经网络标识是否存在目标组织类型(即图像是异常还是正常),而无论从其中获取图像的域如何。

在步骤1510处,在一些实施例中,系统800的处理器可以确定治疗序列优先化。例如,对其而言分析结果是“异常”的患者可以被优先化以用于另外的成像、测试和/或向医生的咨询。在一些实施例中,隐变量数据可以被进一步分析以选择足以做出诊断的附加成像(例如更多的扩散、灌注、血管造影法等等)。在紧急情形中,处理器可以向医务人员发送通知。在一些实施例中,分析可以建议医学治疗以解决异常。在高优先级患者之后可以复查对其而言分析结果是“正常”的患者。

在一些实施例中,第一神经网络通过使用第一神经网络而将多个测试图像分类为正常或异常。例如,在检测到所述多个测试图像之一具有预定类(例如具有肿瘤)时,基于分类,并且响应于检测,显示(在显示设备124上)所述多个测试图像之一以及待执行的图像或扫描序列的标识。

在步骤1512处,在一些实施例中,系统800的处理器可以确定存在的目标组织的位置和类型。

在步骤1514处,在通过使用第一神经网络而分类了多个测试图像之后,第一神经网络830可以通过使用第一神经网络、基于测试图像来生成显着性映射。通过使用每个体素定位中所有梯度的聚合来生成显着性映射。显着性映射将数据从分类结果变换回到输入,以用于评定梯度的值。显着性映射具有与输入的维度相匹配的维度,其中一些体素被突出以表示异常。如果叠覆显着性映射使其在原始输入数据的顶上,则显着性映射示出数据的哪个区(热点)对分类有更多影响。

在步骤1516处,在一些实施例中,处理器基于显着性映射来选择附加训练图像数据。

在步骤1518处,附加的训练图像数据可以被输入到第一神经网络中。

图16A-16D示出了正常相对于异常训练的示例。在图16A-16D中,迭代的数目指示训练数据的完整集合被处理(并且矩阵被更新)的次数。在水平轴上的每个点(迭代)处,网络处理所有图像。

图16A示出了使用“经典”生成型对抗性网络(GAN)的正常/异常分类的准确性。在该方法中,如图4和图9中所述的生成器学习以将图像分类为正常或异常,并且生成经合成的图像。用于图16A的鉴别器(未被示出)不同于图9的鉴别器。然而,图9的鉴别器尝试确定隐变量值是对应于从域A还是域B所获取的图像;图16A的鉴别器被训练以将图像分类为真实输入图像或经合成的图像(来自生成器)。在训练期间,正常/异常确定中的生成器的准确性增大,并且在确定所接收的图像是否为经合成的图像的真实图像中的鉴别器的误差率增大(但是对于图像是正常还是异常不太敏感)。

图16A示出了在训练GAN网络的许多重复之后准确分类与总分类的比。准确性开始于大约0.25(25%)。在两个训练批次的50个迭代之后,准确性改进到大约0.5(50%)。

图16B使用WGAN系统来用于改进训练的速度。通过使用WGAN,准确性开始于大约0.55(55%),并且在两个训练批次的十个迭代内,准确性改进到大约0.75(75%)。因而,与针对GAN相比,针对WGAN的学习更快。

图16C示出了在训练期间如以上所述并且在图4和图9中所示的系统的训练准确性。第一批次的图像被加标签为正常或异常,并且所有图像都来自单个域A。准确性开始于几近1.0(100%),并且在七个迭代之后保持在几近1.0(100%)。注意到,图16C和图16D中的水平轴尺度不同于图16A和图16B中的水平轴尺度。

图16D示出了在利用来自域A和B的图像数据进行训练时图4和图9的系统的训练准确性。准确性开始于0.85(85%),但是在7个迭代内,准确性逼近0.9(90%)。因而,图8-15的系统和方法具有比经典GAN或WGAN途径更好的准确性,并且学习非常快速。

其它实施例可以包括若干变型。例如,所述方法可以被实现以分析单个或多个二维(2D)切片(例如厚且轴向)或三维(3D)体积。

在一些实施例中,所述方法可以输出风险评分。例如,评分可以是在0.0与1.0之间的数。用户还可以配置用于“异常”分类的阈值,因此结果可以被提供作为二进制变量(正常/异常)。不同的用户、临床医师或机构可以指定不同的阈值。

在紧急创伤环境中,所述方法可以导致自动将所有阳性结果(异常或在预定阈值以上的异常的概率)路由到神经放射科医生,而其余的图像可以由一般放射科医生读取。

在一些实施例中,在多个图像切片之一中,结果可以被呈现为热点(即经突出的位置)。

所述方法的一些实施例可以被实现在扫描仪设备中的嵌入式处理器中、图像读取工作站中、或单独的工作站或其它计算设备中。

在另一实施例中,结果可以连同针对患者所获取的图像序列一起、经由消息通信被自动发送到图片归档和通信系统(PACS)。

本文中所述的方法实现非常低的假阴性率,即有如下的高概率:由系统确认为正常的数据没有任何病变或其它目标组织。这样,系统可以从读取流水线中排除具有正常扫描的健康患者,从而导致针对放射科医生或技术员的增大的读取效率。在将数据分类成阴性和阳性之后,可以执行误差分析以标识任何假阴性并且为该类别构建更特定的分类器。这可以用两种方式来被实现。根据一种技术,特定的特征可以被注解以用于该数据或数据子类,从而构成“地面实况(ground truth)”以用于构建具有更好的阳性/阴性鉴别的分类器。根据另一技术,显着性映射可以用于标识能改进分类速率的显著信息。

在一些实施例中,在扫描获取的时候,结果可以被显示给用户。用户然后可以警告其他医务人员以用于预备后续的干预。结果还可以被用于定制后续的图像获取。

本文中所述的方法和系统对于多个商业单元、尤其是对于MR和CT、对于脑、肺、***、肝脏、***等等中的异常的诊断/预后成像而言可以是有价值的。这些方法与现今的急诊室环境良好地一致:所述方法可以容易地被集成到扫描协议中,并且可以影响吞吐量、分诊和治疗工作流。因而,所述方法对于健康护理(HC)以及MR的诊断成像(DI)应用而言可以是有利的。所述方法还可以被使用在常规的读取环境中,以优先化异常情况的读取。

本文中描述的方法和系统可以至少部分地以计算机实现的过程和用于实践那些过程的装置的形式被具体化。所公开的方法还可以至少部分地以编码有计算机程序代码的有形、非暂时性机器可读存储介质的形式被具体化。所述介质可以包括例如RAM、ROM、CD-ROM、DVD-ROM、BD-ROM、硬盘驱动器、闪速存储器或任何其它非暂时性机器可读存储介质,其中,当计算机程序代码被加载到计算机中并且由计算机执行的时候,计算机变成用于实践所述方法的装置。所述方法还可以至少部分地以计算机的形式被具体化,计算机程序代码被加载到所述计算机中和/或被执行,使得计算机变成用于实践所述方法的专用计算机。当在通用处理器上被实现的时候,计算机程序代码段配置处理器以创建特定逻辑电路。所述方法可以可替换地至少部分地以由用于执行所述方法的专用集成电路所形成的数字信号处理器被具体化。

尽管已经依照示例性实施例描述了本主题,但是它不限于此。相反,所附权利要求书应当被宽泛地解释以包括本领域技术人员可以做出的其它变型和实施例。

44页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:采用隐树注意力的神经机器翻译

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!