具体实施方式

图1示出了用于短轴心脏磁共振电影回放切片堆叠的切片对准的系统100，其在一个实施例中可以使用机器训练模型，并且在另一实施例中使用可变形表面模型来执行切片对准。系统100被示为包括输入接口120，以用于访问使用短轴心脏磁共振电影回放协议采集的输入图像切片集的图像数据030。例如，还如图1所示，输入接口120可以提供对可以包括所述图像数据030的外部数据存储设备020的数据访问122。备选地，输入接口120可以提供对作为系统100的部分的内部数据存储设备的数据访问。备选地，可以经由网络访问图像数据030。通常，输入接口120可以采用各种形式，例如到局域网或广域网(例如因特网)的网络接口、到内部或外部数据存储设备的存储接口等。数据存储设备020可以采取任何已知和合适的形式。

数据存储设备还被示出为包括训练模型数据050和表面模型数据060，这将在下面进一步解释。根据实施例，数据存储设备可以包括一种或这两种类型的数据050、060。在一些实施例中，图像数据030、训练模型数据050和表面模型数据060各自可以从不同的数据存储设备访问。

系统100还被示出为包括处理器子系统140，其可以经由数据通信124与输入接口120内部通信，并且作为任选部件，与通信接口160内部通信。还如图1所示，通信接口160可以是外部通信接口，例如到局域网或广域网(例如因特网)的网络接口。在一些实施例中，输入接口120可以是与通信接口160相同的接口。在其他实施例中，通信接口160可以是经由其接收数据的网络接口，并且输入接口120可以是经由其存储数据的数据存储接口。

在一个实施例中，处理器子系统140可以被配置为访问定义在训练数据上训练的机器训练模型的训练模型数据050，所述训练数据包括使用短轴心脏磁共振电影回放协议采集的训练图像切片集的图像数据。这样的机器训练模型可以例如从参考图2描述的系统获得。处理器子系统140可以被配置为将机器训练模型应用于输入图像切片集中的相邻图像切片的集合，从而获得针对相邻图像切片的集合中的图像切片中的至少一个的至少一个移位值，并且基于该移位值对所述图像切片进行移位。将尤其参考图5和6进一步阐述该实施例的各种细节和方面，包括其任选方面。

在另一个实施例中，处理器子系统140可以被配置为访问定义可变形表面模型的表面模型数据060，所述可变形表面模型用于在短轴心脏MR电影回放切片堆叠中分割心脏结构。表面模型的可变形性可能受到形状规范化的约束。处理器子系统140可以被配置为：通过检测图像数据中的心脏结构的边界点并将表面模型朝向边界点变形以获得在形状上适应于图像数据中的心脏结构而使表面模型适应于心脏结构；并且相对于其他图像切片移位至少一个图像切片，使得图像切片中的边界点获得与相应图像切片中的表面模型的横截面表示的改进匹配。将在本说明书中参考图3和4进一步阐述该实施例的各种细节和方面，包括其任选方面。

通常，系统100可以体现为单个设备或装置或体现在单个设备或装置中，例如工作站，例如基于膝上型电脑或台式机，或服务器。该设备或装置可以包括一个或多个执行适当软件的微处理器。例如，处理器子系统可以由单个中央处理单元(CPU)来体现，但也可以由这样的CPU和/或其他类型的处理单元的组合或系统来体现。软件可能已经被下载和/或存储在对应存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。备选地，系统的功能单元，例如输入接口和处理器子系统，可以以可编程逻辑的形式在设备或装置中实施，例如作为现场可编程门阵列(FPGA)。通常，系统的每个功能单元可以以电路的形式实施。应注意，系统100也可以以分布式方式实施，例如，涉及不同的设备或装置，例如分布式服务器，例如系统100也可以以云计算的形式实施。

图2示出了用于训练用于短轴心脏磁共振电影回放切片堆叠的切片对准的机器可训练模型的系统200。系统200被示出为包括经由数据通信224进行通信的输入接口220和处理器子系统240。系统200还被示为包括通信接口260。输入接口220被示为提供经由数据通信222对数据存储设备022的访问。至此描述的系统200的部件在一般类型上可以对应于图1的系统100的相应部件。特别地，在前一段中描述的实施例选项也可以适用于系统200。

然而，与图1的系统100不同，系统200的处理器子系统240被配置为训练机器可训练模型，即使用训练数据，该训练数据包括使用短轴心脏磁共振电影回放协议采集的训练图像切片集的图像数据032，并且其中，一个或多个相邻的图像切片相互未对准。此外，用于训练的训练数据可以包括用于通过移位图像切片中一个或多个来减小所述相互未对准的移位值040。处理器子系统240可以被配置为使用训练数据训练机器可训练模型以获得机器训练模型，并且特别是获得表示机器训练模型的训练模型数据050。机器可训练模型可以是任何合适的类型，例如神经网络，例如包括一个或多个卷积层(卷积DNN)的深度神经网络(DNN)。可以使用任何合适的机器学习技术来训练这样的神经网络。

图3示出了可以通过使用短轴心脏磁共振电影回放协议进行采集获得的未对准切片堆叠300的横截面。可以看出，在这样的切片堆叠中，心脏结构310(的部分)的边界可能在个体切片之间以“Z字形”模式未对准，这在图3中通过心脏结构310的壁320(在该示例中是心肌壁)遵循该“Z字形”模式可见。这种未对准可能阻碍可变形表面模型对图像数据的适应，并且从而阻碍心脏结构310的分割。即，这种可变形表面模型在适应于图像数据时可能遵循心脏结构310的一般边界，但由于形状规范化而可以防止完全遵循不规则的“Z字形”未对准模式。图3确实图示了可变形表面模型的表面360、362可以遵循心脏结构310的一般边界，但是由于上述“Z字形”未对准模式而可能在个体切片中常常与壁320未对准。同时，“Z字形”模式可能混淆心脏结构310的更精细的解剖细节，并且从而阻止或阻碍可变形表面模型进一步适应于此类更精细的解剖细节。

参考图1描述的系统100可以在一个实施例中通过使可变形表面模型适应于心脏结构的边界来执行切片对准，例如，如图3所图示，并且然后移位切片堆叠的个体切片，使得包含在相应切片中的边界点更好地匹配切片中迄今为止适应的可变形表面模型的横截面，例如，如图4中由标记为指代相应切片移位的方向的S₁-S₃的箭头所图示。应注意，尽管图3和图4没有明确地示出这样的边界点，但是这些可以以自身已知的方式被检测并且可以向系统100指示每个切片中心脏结构的边界位于之处，此处是壁320。有效地，在在切片对准的这一步，个体切片可以适应于可变形表面模型(通过适当的移位)，而不是相反。整个切片对准过程可以迭代地执行，其中，可变形表面模型可以适应于切片堆叠，然后个体切片可以适应于可变形表面模型(通过适当的移位)，之后可变形表面模型可以再次适应于切片堆叠等。可以重复该过程，例如固定次数或直到达到收敛准则。

继续参考图3和图4，注意为了分割目的将可变形表面模型应用于图像数据也称为基于模型的图像分割。基于模型的图像分割通常使用三角化的表面网孔，并且可以通过迭代地检测图像中的边界点(例如每个三角形)并通过沿着三角形法线搜索边界并且随后使表面网孔适应于检测到的边界来将表面网孔应用于图像数据。形状模型可以规范化网孔变形。基于表面模型的切片对准可以基于表面模型可以粗略地内插通过原始切片堆叠的观察。由于形状模型规范化，可能无法实现与心脏结构的“Z字形”边界的精确拟合。图3和图4中所示的方法可能向这种迭代适应添加新步骤。即，在表面网孔已经实现与切片堆叠的中间拟合后，自适应策略可能改变：与其将表面网孔的三角形吸引到检测到的边界点，倒不如将个体切片以其边界点移向表面网孔。为了改进整体结果，网孔适应和切片移位可以在可配置的方案中交替。例如，在满足开始条件之后，可以使用每第二次迭代来移位切片，而可以使用每隔一次迭代来进行进一步的网孔适应。这可以改进切片对准，而且可以改进心脏结构的分割，因为更好对准的切片可以导致改进的边界检测(由于在边界检测期间切片之间的插值)，并且从而更好地进行网孔适应。

在特定实施例中，用于三角形的边界检测可以限于搜索相同切片中的边界点，例如，以避免在远离对应三角形“上方或下方”的平面中移位切片。从三角形指向边界的差异向量也可能需要合理地平行于切片，例如，如由对应度量量化，而不是主要沿着切片的堆叠方向指向。这可以改进切片对准的数值稳定性。而且，边界检测可以被配置为拒绝可疑边界，使得可以过滤掉异常值。

如前所述，图4示出了在将若干切片移位到与应用的可变形表面模型对准之后的图3的切片堆叠。

应注意，即使适应表面模型通常可以遵循非对准切片堆叠中的心脏结构，并且估计的切片移位被预期为粗略地加起来为零，并且从而不引入切片堆叠的任何倾斜，实际切片移位估计可能不完美。因此，在多次迭代上估计和应用切片移位可能导致切片堆叠的缓慢平移漂移和/或倾斜(歪斜)，并且当将表面模型迭代地适应于切片堆叠时表面模型可能遵循这种漂移。为了补偿这种漂移和/或倾斜，可以引入额外的切片移位归一化步骤，其可以包括以下(参考移位的x分量描述；y分量可以相应地归一化，其中，x和y参考切片内坐标系)：让{dx[z]}为由z索引的所有切片的估计的x位移。线性变换的“归一化”位移可以定义为{T(dx[z],z)}，其中，T(dx[z],z)＝dx[z]+a·z+b，其中，可以估计线性变换参数a和b，使得∑_Z∑_ZT(dx[z],z)最小化，例如，使得T(dx[z],z)尽可能小地偏离沿着以x＝0为中心的切片法线(在z方向上)的直线。这也意味着∑_ZT(dx[z],z)＝0，从而消除平移漂移。这样的归一化可以由此从表示图像切片的序列的移位值的移位值的序列中移除偏移或线性趋势。

还参考使用诸如卷积DNN的机器训练模型的切片对准，该方法将切片移位估计视为使用机器学习技术解决的回归任务。此处，连续切片的对或n元组可以输入到机器训练模型中，所述模型基于切片的图像强度值并且在一些实施例中基于辅助信息，来推导将使切片到达自动对准位置的相对移位。为了训练这样的模型，通过参考图3和4描述的方法对准的切片堆叠可以用作参考。例如，这样的切片堆叠可以使用已知的移位值有目的地未对准，并且有目的地未对准的切片堆叠可以与已知的移位值一起用作机器可训练模型的训练数据以学习预测切片移位。

图5示出了相邻切片集400和采样网格420-422，其指示来自个体图像切片410-412的哪些强度值被用作机器训练模型的输入。例如，采样网格可以是预定义的网格，例如，使用已知间隔(例如相隔1mm)的256x256个采样点。例如，当三个相邻切片的强度值被输入到机器训练模型时，可以向该模型馈送有3x256x256个强度值。也可以定义各种其他采样网格，例如，涉及不同数目的样本、不同空间形状、不同数目的切片等。在一些实施例中，切片之间强度值的差异可以用作输入。强度值可以被归一化，例如使用来自完整堆叠的统计结果，例如强度的平均值和标准偏差或百分位数。

对于切片移位的成对估计的示例，注意以下内容。对于N个切片，可以在不改变相对对准或未对准的情况下对所有切片应用全局移位。然而，N个切片之间的相对位置可以通过N-1个相对移位来定义。这样的相对移位可以以各种方式表达，例如，作为每个切片相对于参考切片(例如，切片堆叠中的第一或最后一切片)的移位，或者作为连续切片i和i+1之间的相对移位。总之，由此可以估计N个切片的N-1个相对切片移位。对于切片之一(例如，第一或最后切片)，可以分配零移位。然而，这可能导致其他N-1个切片的估计相对移位的整体移位，因为这些总和可能不为零。此外，还如前所述，切片移位估计可能不完美并引入漂移和/或倾斜。先前描述的切片移位归一化步骤因此可以被应用于通过切片移位估计获得的一系列移位值以从移位值移除偏置，例如偏移(上述全局移位)或线性趋势，以最小化与z轴的偏差(指与切片内轴正交的轴)。

除了图像强度之外，可以使用各种其他类型的辅助信息以及对机器训练/可训练模型的输入。例如，切片的解剖内容可能从顶点到“基底”(从心室到心房的过渡)变化，并且从而贯穿切片堆叠变化相当大。机器训练/可训练模型可能受益于知道“更多顶点”或“更多基底”切片必须对准。此外，由于切片可能以不同的旋转示出心脏，角度信息也可能有帮助。

以下将机器训练/可训练模型称为神经网络，但也适用于其他类型的机器训练/可训练模型。

有各种方式向神经网络提供这种额外的位置信息。在一个实施例中，可以通过指示特定切片处于切片堆叠中的特定相对位置来向神经网络提供位置信息，例如，通过指定百分比，其中，0％是最顶点或甚至低于顶点，而100％是最基底或高于心室。在另一个实施例中，可以为每个样本点指定3D坐标。例如，可以使用采集的DICOM信息，使得可以在所谓的“患者”(或“世界”)坐标中指定相对于体积中心的相对位置，其中，“z”是从脚到头，“x”是从右到左，而“y”是从患者的前到后。由于心脏在每个患者内具有典型的取向，因此这种基于DICOM的位置信息可能已经提供了特定切片/样本点的解剖内容的粗略指示。然而，心脏的大小和精确取向两者从患者到患者变化，使得更具体的坐标系可能有帮助。在更详细的实施例中，可以使用心脏的近似分割(例如，具有不完美的切片对准或没有切片对准)来定义基于心脏界标的坐标系，例如，也用于定义2室、3室和4室加短轴视图。由于这可能需要完整的心脏分割，中间实施例可以使用由广义霍夫变换(GHT)估计的坐标系，该坐标系可以以其边缘模板的各种尺度和各种旋转来应用。然后可以在该坐标系中确定切片或样本点的解剖位置信息，并将其作为输入提供给神经网络。

在使用机器训练模型训练之前或随后也可以使用各种类型的预处理。这可能降低学习问题的复杂性，并将已有的先验知识并入在机器训练模型的输入中。例如，切片堆叠的图像数据可以在新(解剖学上对准的)坐标系中重新采样，使得心脏解剖结构遵循该坐标系中的标准取向。除了在与扫描轴对准的网格上对图像强度进行采样之外，还可以使用与解剖方向相关联的轴在每个个体切片中重新定向采样网格。输入到神经网络的唯一额外位置信息可能是对切片的解剖位置进行编码的z坐标。

额外地或备选地，粗略预分割或定位可以用于掩蔽图像数据的不相关部分，例如胸腔，其与移动的心脏相比可以呈现不同的变换。

解剖结构的取向的知识也可用于循环架构中，其当输入由一系列连续(或甚至单个)切片组成时预测一系列平移，例如总是从接近顶点开始并在心脏的基底部分周围结束。即使从切片到切片的转换之间没有相关性，这仍可能利用沿心脏长轴的位置信息。即，可以在每个新切片处更新内部状态，但是可以保留先前切片的信息。因此，神经网络可以知道当前切片位置，这可以使神经网络的输出部分不同地动作。以这种方式，可以隐含地考虑跨群体的典型对准曲线。这种方法也可以利用所谓的“双流”，其中向上(从顶点)和向下(从基底部分)通过可以组合。

图6示出了相邻图像切片的两个集合400、402，其来自各自在不同心脏相位期间采集的两个切片堆叠，并且其中，在这相邻图像切片的两个集合中定义了采样网格420、424。即，来自不同心脏相位的图像强度可以用作神经网络的联合输入。在图6的示例中，来自两个心脏相位(例如，ED和ES)的强度值可以在每个心脏相位中的相同网格上采样，例如，使用采样网格420和424。这样一来，用作神经网络的输入的每个样本点可以提供来自这两个心脏相位的强度值。

图7示出了心脏结构的图像切片500和适应可变形表面模型的横截面，并且尤其是示出为由于图像切片之间的未对准而相对于心脏结构的边界未对准的可变形表面模型的表面560的横截面。图8示出了如本说明书中描述的切片对准的结果，其中，图7的图像切片是在使切片堆叠内的图像切片移位之后示出的，而可变形表面模型是在使可变形表面模型适应于切片堆叠的另一迭代之后示出的。这可以产生表面500与图像切片502中的心脏结构的边界的改进的对准。

一般而言，如本说明书中描述的切片对准可以用于各种医学系统和装置中，包括但不限于3D可视化系统，例如，“orthoviewer”可视化系统，其除了个体切片之外还示出两室和四室多平面格式。

图9示出了用于使用机器训练模型进行切片对准的计算机实施的方法600的流程图。方法600可以对应于图1的系统100当被配置用于使用机器训练模型进行切片对准时的操作。然而，这不是限制，其中，方法600也可以使用另一系统、装置或设备来执行。

方法600可以包括，在标题为“访问切片堆叠的图像数据”的操作中，访问610使用短轴心脏磁共振电影回放协议采集的输入图像切片集的图像数据。方法600还可以包括，在标题为“访问机器训练模型的数据”的操作中，访问620定义机器训练模型的训练模型数据，其中，机器训练模型在包括使用短轴心脏磁共振电影回放协议采集的训练图像切片集的图像数据的训练数据上进行训练，其中，一个或多个相邻图像切片相互未对准，并且其中，训练数据还包括用于通过移位图像切片中的一个或多个来减小所述相互未对准的移位值。方法600还可以包括，在标题为“将机器训练模型应用于相邻切片”的操作中，将机器训练模型应用于630输入图像切片集中的相邻图像切片的集合，从而获得相邻图像切片的集合中的至少一个图像切片的至少一个移位值，并且在标题为“移动图像切片”的操作中，基于移位值移位640所述图像切片。

图10示出了用于使用机器训练模型进行切片对准的计算机实施的方法700的流程图。方法700可以对应于当被配置用于使用可变形表面模型进行切片对准时的图1的系统100的操作。然而，这不是限制，其中，方法700也可以使用另一系统、装置或设备来执行。

方法700可以包括，在标题为“访问切片堆叠的图像数据”的操作中，访问710表示使用短轴心脏磁共振电影回放协议采集的图像切片集中的图像数据。方法700还可以包括，在标题为“访问可变形表面模型的数据”的操作中，访问720定义可变形表面模型的表面模型数据，所述可变形表面模型用于在短轴心脏MR电影回放切片堆叠中分割心脏结构，其中，表面模型的可变形性受形状规范化约束。方法700还可以包括，在标题为“使表面模型适应于心脏结构”的操作中，通过检测图像数据中的心脏结构的边界点并将表面模型朝向边界点变形以获得适应表面模型来使表面模型适应730于心脏结构，该适应表面模型在形状上适应于图像数据中的心脏结构。方法700还可以包括，在标题为“移位(一个或多个)图像切片”的操作中，相对于其他图像切片移位740至少一个图像切片，使得图像切片中的边界点获得与相应的图像切片中的表面模型的横截面表示的改进的匹配。操作730、740可以在迭代750中重复。

将意识到，通常，图9的方法600和/或图10的方法700的操作可以以任何合适的顺序执行，例如，连续、同时或以其组合，其在适用的情况下经受例如通过输入/输出关系需要特定顺序。

(一个或多个)方法可以作为计算机实施的方法、专用硬件或两者的组合在计算机上实施。还如图11所图示，用于计算机的指令，例如可执行代码，可以存储在计算机可读介质800上，例如以一系列机器可读物理标记810的形式和/或作为一系列具有不同电(例如磁)或光学性质或值的元件。可执行代码可以以瞬态或非瞬态的方式存储。计算机可读介质的示例包括存储器设备、光存储设备、集成电路、服务器、在线软件等。图11示出了光盘800。备选地，计算机可读介质800可以包括表示如本说明书中其他地方描述的机器训练模型的瞬态或非瞬态数据810。

示例、实施例或任选特征，无论是否指示为非限制性的，不应理解为对所要求保护的本发明的限制。

应该注意，上述实施例是对本发明的说明而非限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下将能够设计多种备选实施例。在权利要求中，置于括号之间的任何附图标记不应被解释为对权利要求的限制。词语“包括”及其变体的使用不排除权利要求中陈述的元件或阶段之外的元件或阶段的存在。元件前面的词语“一”或“一个”不排除存在多个这样的元件。在元件列表或元件组之前时的诸如“至少一个”的表达表示从列表或组中对所有元件或任何元件子集的选择。例如，表达“A、B和C中的至少一个”应理解为包括仅A、仅B、仅C、A和B两者、A和C两者、B和C两者或全部A、B和C。本发明可以通过包括若干不同元件的硬件以及通过适当编程的计算机来实施。在列举若干模块的设备权利要求中，这些模块中的若干可以由同一项硬件体现。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。