阅读说明：本技术 用于从厚图像切片产生薄图像切片的系统和方法 (System and method for generating thin image slices from thick image slices ) 是由 方中南 A·S·乔杜里 李镇亨 B·A·哈格里夫斯 于 2019-03-12 设计创作，主要内容包括：本文中公开用于从厚切片图像产生薄切片图像的系统和方法。在一些实例中,深度学习系统可从厚切片图像计算残差并且将所述残差加入到所述厚切片图像以产生薄切片图像。在一些实例中,所述深度学习系统包含神经网络。在一些实例中,所述神经网络可包含一或多个层级,其中所述层级中的一或多个包含一或多个块。在一些实例中,每一层级包含卷积块和非线性激活函数块。在一些实例中,所述神经网络的所述层级可为级联式布置。(Systems and methods for generating thin-slice images from thick-slice images are disclosed herein. In some examples, the depth learning system may calculate a residual from a thick-slice image and add the residual to the thick-slice image to generate a thin-slice image. In some examples, the deep learning system includes a neural network. In some examples, the neural network may include one or more levels, where one or more of the levels includes one or more blocks. In some examples, each level includes a convolution block and a non-linear activation function block. In some examples, the hierarchy of the neural network may be a cascaded arrangement.)

用于从厚图像切片产生薄图像切片的系统和方法

关于在联邦政府资助的研究或研发下完成的发明的权利的声明

本发明是在政府支持下依据美国国家卫生研究院(National Institutes ofHealth，NIH)授予的合同号NIH R01 AR063643和R01 EB002524完成的。政府对本发明享有一定权利。

相关申请案的交叉引用

本申请案主张2018年3月12日申请的较早提交的美国临时申请案第62/641,836号的优先权，所述美国临时申请案出于任何目的以全文引用的方式并入本文中。

技术领域

本文中所描述的实例大体上涉及处理来自三维图像的图像切片。更具体地，本文中所描述的实例涉及处理来自三维图像的厚图像切片以产生三维图像的薄切片。在一些实例中，可分析、观察或以其它方式使用薄切片来诊断和/或治疗疾病。

背景技术

在例如磁共振成像(MRI)、计算机断层扫描(CT)、正电子发射断层扫描(PET)和超声(US)等三维(3D)成像模态中，体积被成像为具有有限厚度(例如，0.5mm、1mm、0.5cm、1cm)的一系列成像平面(例如，切片)。切片经组合以产生体积的3D图像，其中3D图像的每一体元对应于经成像体积的一部分。3D图像的分辨率可至少部分地基于由每一体元表示的体块的量值。由体元表示的体块越大，3D图像的分辨率越低。一种用于改进3D图像的分辨率的技术是获取体块内的更多切片。也就是说，切片的厚度减小且由每一体元表示的体积减小。举例来说，与当体积成像为一系列1.0mm切片时的情况相比，所述体积成像为一系列0.5mm切片可产生较高分辨率的3D图像。

与低分辨率图像相比，较高分辨率图像可为观察者提供更多信息。举例来说，相较于具有较低分辨率的那些医学图像，临床医生可能够从具有较高分辨率的医学图像做出更准确诊断。然而，在一些应用中，获取体积的更薄切片可能是不可行的。举例来说，一些成像系统可受限于无法再减小的最小切片厚度。在一些应用中，获取更薄切片可需要额外成像时间。这可在例如患者必须停留在局促空间较长时间段和/或必须在获取切片期间屏住呼吸的情况下降低患者舒适感。对于一些成像模态，获取更薄切片可要求额外暴露于电离辐射，这可增加患者的健康风险。

因此，需要在不减小在成像期间获取的切片厚度的情况下改进3D图像的分辨率。

发明内容

本文中所描述的技术的实例可提供超分辩率技术，其使用深度学***面内插方法进行比较。

根据本公开的一些实例，描述包含3D卷积神经网络的深度学习系统，其被配置成学习高分辨率薄切片图像和较低分辨率厚切片图像之间的基于残差的变换。在一些实例中，训练神经网络学习相同中心方位处的高分辨率薄切片图像和较低分辨率厚切片图像之间的基于残差的变换。虽然作为实例提供3D肌骨胳MR图像，但此方法通常可应用于任何3D图像和人类或动物身体的任何区域(包含脑、肝、心脏血管系统等)的成像。

根据本公开的原理的神经网络(例如3D卷积神经网络)可能能够从较低分辨率较厚切片解算高分辨率薄切片MRI。在一些应用中，所述神经网络与常规利用的和当前技术发展水平的用于MRI、CT和/或其它3D成像模态的方法相比，可达成优良定量和质量诊断性能，同时减少需要获取的切片的数目。

根据本公开的实例的从厚切片图像产生薄切片图像的方法可包含在神经网络处接收具有第一分辨率的第一图像；通过所述神经网络对所述第一图像执行卷积；通过所述神经网络对所述第一图像执行非线性激活函数；重复所述卷积和非线性激活函数；通过所述神经网络基于另一卷积产生残差；和通过所述神经网络将所述残差与所述第一图像求和以产生具有第二分辨率的第二图像，其中所述第二分辨率高于所述第一分辨率。

根据本公开的实例的从厚切片图像产生薄切片图像的系统可包含非暂时性计算机可读媒体，其包含用于实施神经网络的指令，其中所述神经网络包括包含卷积块和修正线性单元非线性激活块的层级，其中所述层级被配置成从由所述神经网络接收的具有第一分辨率的第一图像产生残差，其中所述神经网络被配置成将所述第一图像与所述残差求和以产生具有第二分辨率的第二图像，其中所述第二分辨率高于所述第一分辨率；和处理器，其被配置成执行所述指令以实施所述神经网络。

根据本公开的实例的用于从低分辨率图像产生高分辨率图像的系统可包含图像获取单元，其被配置成获取第一分辨率下的所关注特征的第一图像；计算系统，其被配置成实施深度学习系统，其中所述深度学习系统被配置成接收所述所关注特征的所述第一图像并且至少部分地基于所述第一图像，产生第二分辨率下的所述所关注特征的第二图像，其中所述第二分辨率高于所述第一分辨率；和显示器，其被配置成显示所述所关注特征的所述第二图像。

附图说明

图1是根据本文中所描述的实例布置的系统的框图。

图2是根据本文中所描述的实例布置的神经网络的说明。

图3是图2中示出的神经网络的一部分的说明。

图4是图2和3中示出的神经网络的一部分的说明。

图5示出根据本文中所描述的实例的实施神经网络的实例工作流。

图6是根据本文中所描述的实例的具有不同减少取样因子和对应2D结构类似性映射的示范性冠状面图像。

图7说明本公开的实例实施例与其它分辨率增强技术的比较。

图8是根据本文中所描述的实例的一组模拟基础真实(ground-truth)图像和所得的生成图像。

图9示出根据本文中所描述的实例的外侧半月板体中的水平撕裂的实例图像。

图10示出根据本文中所描述的实例的外侧髌软骨的2A级软骨软化的轻微病例的实例图像。

图11是根据本文中所描述的实例布置的系统的说明。

具体实施方式

下文阐述某些细节以提供对所描述的实施例的充分理解。然而，所属领域的技术人员将清楚，可以在无这些特定细节的情况下实践实施例。在一些情况下，不详细展示众所周知的脑成像技术和系统、电路、控制信号、定时协议和/或软件操作，以免不必要地混淆所描述的实施例。

归因于例如磁共振成像(MRI)、功能性磁共振成像(fMRI)、正电子发射断层扫描(PET)和计算机断层扫描(CT)等模态中的硬件限制，快速获取具有足够信噪比的高分辨率3D医学图像具挑战性。

在MRI中，临床肌骨胳成像协议通常包含在通常具有相同对比度的各种扫描平面中扫描的2D快速自旋回波(FSE)序列。虽然这类序列提供极佳平面内分辨率，但归因于具有高断面厚度(通常为2.5-4mm)并且具有切片间隙的切片中的部分体积效应，始终存在漏失细微病变的相关风险。对厚切片的图像获取还阻止图像重建(reformation)到任意扫描平面中，这使以倾斜取向查询组织(例如，股骨滑车的前十字韧带和关节软骨)具有挑战性。

最近已提议用于薄断面肌骨胳MRI的数种方法，其中3D快速自旋回波(使用供应商产品SPACE、CUBE或VISTA)是普遍选择。然而，3D FSE序列通常会为了穿平面分辨率而折中平面内分辨率并且遭遇显著回波链模糊问题，即使使用可变翻转角方法也无济于事。因此，即使获取了薄断面图像，3D FSE的总诊断质量仍会受限。3D径向序列用于各向同性肌骨胳成像，但归因于不同假影表观而尚不具有广泛采用的可能性。除基于序列的方法外，压缩感测(CS)和并行成像也是用于加速薄断面MRI的具前景方法，但并非理想的独立方法。CS MRI在2D FSE临床协议中并不常见，这是因为仅一个维度可用以产生非相干取样，而且还要长重构时间。并行成像加速最终受SNR和g因子限制。另外，常见的膝盖线圈的几何形状(例如刚性8通道)并不适于所有方向上的加速。

单图像超分辩率(图像处理中的活动字段)可有可能提升MRI空间分辨率以在不折损SNR或不需要额外MRI硬件或扫描时间的情况下产生薄断面MRI。举例来说，内插是超分辩率的一种原初实施方案。由于实际获取薄断面成像的挑战，MRI供应商通过例如分别用于通用电气医疗集团(GE Healthcare)和西门子医疗集团(Siemens Healthineers)MRI扫描仪的‘ZIP2’和‘内插’的选项，使用补零傅里叶内插(FI)提供回顾性切片内插。类似地，例如OsiriX的医学图像观察平台在图像操控和数据的多平面重建期间使用三线性内插。例如FI和三线性内插的低阶线性内插方法广泛用于尝试实现薄断面成像的临床和研究协议中，然而，其不会产生具有高诊断质量的图像。

除内插外，MRI超分辩率成像的另一主要方法需要利用图像稀疏性，仅需要单图像作为输入。目前最先进的MRI单图像超分辩率算法是基于稀疏译码超分辩率(ScSR)，其最初的开发目的是用于自然图像，但稍后适用于少数MRI应用。虽然有前景，单此超分辩率方法归因于受限的分辨率改进和3D数据的缓慢执行速度而尚未普遍应用于医学成像。

根据本公开的原理，深度学***台。

描述肌骨胳MRI的实例将用以解释深度学习系统的架构和其训练与实施方法。然而，深度学习系统通常可应用于包含MRI、fMRI、PET和CT的不同3D医学图像。应用区域不限于肌骨胳成像并且包含覆盖例如脑、肝和心血管系统的任何区域的图像。

描述的实例包含使用对MRI超分辩率的深度学***面内分辨率以减小总扫描时间的系统。如本文中所使用，“厚”和“薄”是用作相对性术语。也就是说，被称为“厚”的切片在至少一个维度(例如，竖向、方位角、侧向)上的尺寸大于对应维度上的“薄”图像的尺寸。由切片产生的图像的分辨率可基于由图像中的体元表示的体积的量值。由体元表示的体块越大，图像的分辨率越低。从厚切片产生的图像与从薄切片产生的图像相比可具有与每一体元相关联的更大体积。所提议的深度学习系统和方法可以被称作‘DeepResolve’，这是因为其有助于从低分辨率输入解算高分辨率特征。DeepResolve可包含用于深度学习(例如，机器学习)的卷积神经网络。具体地，本文中所描述的实例使用可公开获得的数据集训练神经网络，以从相同方位处但具有高2-8倍的切片厚度的切片产生高分辨率薄切片膝盖MR图像。深度学习系统可能不必产生与基础真实相同的图像；而是，在一些应用中，深度学习系统可增强低分辨率图像以使其与通常利用的当前最先进方法相比更类似于基础真实(例如，高分辨率图像)。这在一些应用中可增强从厚切片获取的图像的诊断值。

图1是根据本文中所描述的实例布置的系统的示意性说明。系统100包含图像切片(例如，厚切片)102、训练数据集104、计算系统106、处理器108、用于从输入图像切片110产生薄切片的可执行指令(在本文中还被简称为可执行指令)、存储器112、显示器114和网络接口116。可在其它实例中使用额外、更少和/或其它组件。在一些实例中，系统100的组件中的一些或全部可与成像系统包含在一起。举例来说，计算系统106可包含在成像系统中。举例来说，所述成像系统可为MRI、CT和/或超声成像系统。

图像切片102和/或训练数据集104可由成像系统提供。在一些实例中，图像切片102和/或训练数据集104可由多个成像系统提供。成像系统可具有相同模态或不同模态。图像切片102和/或训练数据集104可存储于可存取计算系统106和/或发射到计算系统106(例如，使用有线或无线通信)的存储器中。计算系统106可被配置成基于训练数据集104产生深度学习系统。深度学习系统可包含用于从图像切片102产生薄切片图像的一或多个函数。可基于训练数据集104产生和/或优化所述函数。

训练数据集104可训练深度学习系统以找到厚切片图像和对应薄切片图像之间的差(例如，残差)。在训练之后，深度学习系统可通过将所述函数应用于图像切片102以从输入图像切片102产生薄切片图像。所述函数可增补图像切片102以产生薄切片(例如，高分辨率)图像。在一些实例中，深度学习系统可计算输入图像切片102与所要高分辨率图像(例如，薄切片图像)之间的差并且将所述差加入到输入图像切片102以产生高分辨率图像。在一些实例中，深度学习系统可包含一或多个神经网络。在一些实例中，神经网络中的一或多个可为卷积神经网络。神经网络中的一或多个可包含多个层，其中每一层包含用于从图像切片102产生薄切片图像的一或多个函数或函数部分。

计算系统106可被配置成通过从训练数据集104产生的深度学习系统，从图像切片102产生薄切片(例如，较高分辨率)图像。在一些实例中，存储器112可编码有用于深度学习系统的可执行指令110，其被配置成基于厚切片102输入产生薄切片图像。在一些实例中，深度学习系统可部分地或完全实施于硬件(例如，ASIC、FPGA)中。在一些实例中，可执行指令110可包含硬件描述语言(例如，VHDL)的指令，其可用于设计硬件来实施深度学习系统中的一些或全部。

本文中所描述的实例可利用计算系统，其可大体上包含用于实施用于产生薄切片图像的深度学习系统的硬件和/或软件。举例来说，计算系统106可包含一或多个处理器108。举例来说，可使用一或多个中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它处理器电路实施处理器108。在一些实例中，处理器108可执行可执行指令110中的一些或全部。处理器108可与存储器112通信。存储器112通常可由任何计算机可读媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、快闪、固态驱动器等)实施。虽然示出了单个存储器112，但可使用任何数目个存储器112，且其可与处理器108一起集成于单个计算系统106中和/或位于另一计算系统内并与处理器108通信。

在一些实例中，系统100可包含显示器114，其可与计算系统106(例如，使用有线和/或无线连接)通信，或显示器114可与计算系统106集成在一起。显示器114可显示一或多个图像切片102和/或由计算系统106产生的一或多个薄切片。可呈现任何数目或多种显示器，包含一或多个LED、LCD、等离子体或其它显示装置。

在一些实例中，系统100可包含网络接口116。所述网络接口116可提供与任何网络(例如，LAN、WAN、因特网)的通信接口。可使用有线和/或无线接口(例如，Wi-Fi、蓝牙、HDMI、USB等)实施网络接口116。网络接口116可传送数据，所述数据可包含图像切片102和/或由计算系统106实施的深度学习系统产生的薄切片图像。

参考图2-4，描述实例深度学习系统。在训练期间，一组i个具有相同视场和矩阵大小的基础真实高分辨率薄切片图像和内插到薄切片方位的对应低分辨率厚切片图像的集合可提供为训练集。深度学习系统可包含一或多个函数。在实例实施方案中，深度学习系统包含函数f＝f(X_i)，其计算基础真实图像与经内插低分辨率图像之间的残差图像rⁱ 可通过优化(使用L2-loss)来训练此函数：

在本文中所描述的实施实例中，L2损失函数用于优化深度学习系统。在其它实例中，可使用额外损失函数，例如L1-norm、pSNR、SSIM和/或任何其它测量图像差的度量。可在其它实例中使用其它优化函数。

在一些实例中，深度学习系统可为无监督学习算法。在一些实例中，通过训练产生和/或优化的函数(例如方程式(1)中的函数)可实施于可具有多个层的一或多个神经网络中。在一些实例中，所述函数可实施于神经网络的多个层上。神经网络的每一层可包含一或多个块。每一块可实施函数的至少一部分。在一些实例中，神经网络的每一层包含相同块(例如，在每一层中重复的块)，但在其它实例中，神经网络的层可包含不同块。

在实例实施方案中，深度学习系统可建模为级联卷积滤波器。如图2中所说明，深度学习系统200的每一层级(例如，层)202可包含卷积块204和修正线性单元非线性激活函数块(ReLu)206，稍后将进行更详细的描述。深度学习系统200可从输入低分辨率(LR)图像210(例如，厚切片图像计算残差(例如，残差图像)208，以便产生对应高分辨率(HR)图像212(例如，薄切片图像)。虽然可使用2D卷积，但深度学习系统可利用可提供额外空间信息的3D卷积来改进超分辩率性能。

在深度学习系统已经训练之后，可直接计算所估计残差

且可通过下式产生高分辨率的超分辩率图像

(例如，产生薄切片图像)：

深度学习系统的实施实例包含一神经网络，所述神经网络具有19层成对的卷积204和修正线性单元(ReLU)非线性激活函数块206(例如，激活函数)，以及包含卷积块207的额外层。然而，可在其它实例中使用其它数目的层。输入LR图像210可穿过第一层并且由卷积块204和ReLu块206进行处理。经处理输入图像接着可作为输入传送到下一层的卷积块204和ReLu块206。重复此过程直到输入LR图像210已经由神经网络的全部层处理为止并且输出残差208。

如图3中所说明，深度学习系统的实施实例的神经网络的第一层和最后一层的滤波器大小具有32×32×32x1的尺寸，而其它所有层具有32×32×32×64尺寸，其中前3个数表示x、y、z空间维度且最后一个数表示滤波器的数目(还被称作滤波器通道的数目)。最末层可不包含激活函数以确保产生的残差包含正值和负值。然而，在其它实例中，激活函数可包含在最末层中。继续此实例，如图4中所说明，在神经网络的训练期间，3D数据集的每一输入LR图像210划分成各向同性32x32x32像素贴片402，且在训练过程期间使用来自所有训练数据集图像的所有贴片。在应用阶段期间(例如，当经训练神经网络用以产生薄切片图像时)，输入图像可能不必划分成贴片。

在一些实例中，可训练深度学习系统的一或多个层以识别一或多个特征。在一些实例中，不同层可识别不同特征。特征辨识可用作优化针对每一层产生的函数的部分。在一些实例中，所述特征可呈特征映射形式。如先前所提及，使用与非线性激活函数配对的级联卷积滤波器实施实例深度学习系统。在卷积块204中，可通过具有3×3×3的尺寸、1×1×1的跨距的多个(例如，64个)3维滤波器将输入图像(32×32×32像素贴片)卷积。因此，在第一神经网络层中，输入贴片变换成具有32×32×32×64的尺寸的特征映射。除了最末层之外的后续层维持相同尺寸，在所述最末层中执行特征减小以产生尺寸为32×32×32的残差图像。对补零输入执行卷积并且将输出裁切为原始输入的大小以便维持相同输入和输出尺寸。可在其它实例中使用其它滤波器布置。举例来说，不同大小的输入贴片也可用作不同大小的特征映射。可至少部分地基于输入图像的尺寸和输出图像的所要尺寸执行其它特征减小和/或填补方法。

继续实例实施方案，在ReLU块206中，形式为R(x)＝max(0,x)的非线性激活函数用于确保特征映射输出是输入的非线性表示。除产生大小为32×32×32的残差图像的最末层207以外，通过级联的卷积和ReLU对202变换输入的低分辨率贴片。在此实例中，最末(第20)卷积层不包含ReLU激活以确保残差图像可包含正值和负值。然而，在其它实例中，最末层可包含ReLU激活块206。残差图像208添加到输入图像以产生接近高分辨率图像。在一些实例中，均方误差L2-loss可与原始高分辨率图像进行比较以评估训练。如果均方误差L2-loss高到不可接受的程度，那么深度学习系统可要求额外训练且/或除了进一步训练之外，还可将额外或更少层添加到深度学习系统。

在实例实施方案中，在深度学***均化高频率图像和卷积细节。具有较大支持的滤波器可有效地分解成数个较小滤波器，在网络训练过程期间引入不必要的冗余。因此，小卷积核可有效地改进和/或最大化高分辨率特征提取。在一些实例中，可利用池化层，但其可一起平均化高分辨率细节。然而，这在用于存储器优化的一些应用中可以是合乎需要的。在一些实例中，可在卷积之前将特征映射中的一或多个补零并且在卷积之后裁切到原始输入大小以便维持等效贴片输入和卷积输出大小。这可确保贴片的边缘处的细节维持保真度。此外，在一些实例中，贴片可重叠。举例来说，可在深度学习系统训练阶段期间使用50％的贴片大小的贴片重叠。然而，在一些实例中，测试数据可划分成大贴片且不重叠以降低在贴片边缘处引起的网络效应。

深度学习系统的实例实施方案具有20的深度。可至少部分地基于使用的卷积滤波器和图像贴片大小来选择深度。举例来说，在第一3×3×3卷积之后，第二层中的每一权重的感受野是3×3×3。在第二3×3×3卷积之后，下一权重的总感受野是5×5×5，其可一般化为(2D+1)³，其中D是当前网络深度。因此，对于32×32×32的贴片大小，第16层中的权重的感受野对应于整个图像贴片中遇到的特征。额外较深层可提供甚至更高级的抽象化。由于超分辩率本质上是病态问题，所以通过添加额外层提供不同长度尺度下的空间线索可为谨慎优化，在给定高维度深度学习系统和超参数空间的情况下可为有用的。增加深度学习系统的所述可改进超分辩率质量。此外，深度学习模型可遵循幂律损失关系，这可有助于确定理想训练数据大小。

返回参考图1，可通过计算系统106的处理器108基于训练数据集104来实施参考图2-4描述的训练。处理器108可产生可执行指令110以实施如参考图2-4所描述的深度学习系统并且将可执行指令110存储于计算系统106的存储器112上。处理器108接着可执行存储的可执行指令110以实施深度学习系统。一旦存储了可执行指令110，可执行指令110便可传送到另一计算系统。也就是说，一旦深度学习系统经训练，可提供到其它计算系统而无需重新训练。在一些实例中，可执行指令110可用于产生硬件以实施深度学习系统(例如，ASIC)中的一些或全部，其可提供给一或多个计算系统以用于实施深度学习系统。

从骨关节炎倡议(Osteoarthritis Initiative，OAI)获取用于本文中所描述的深度学习系统的实例实施方案的训练、验证和测试数据。来自OAI的总计176个3D矢状面稳态双回波(DESS)数据集用于训练。所有图像具有双膝盖负重射线照片以分析凯尔格伦-劳伦斯(KL)骨关节炎级别。

为了训练，从薄切片图像的训练集模拟厚切片图像。基础真实切片厚度和减少取样的低分辨率切片厚度的比被称为减少取样因子(DSF)。高分辨率薄切片图像表示厚切片表示是通过对薄切片图像在左右方向上进行抗混叠滤波并且跟着进行减少取样而产生的。针对回顾性减少取样产生具有1/DSF的归一化通带的1D有限脉冲响应低通48阶汉明加窗滤波器。较厚切片的此模拟获取具有来自周围切片的磁化作用。实例实施方案的训练数据集包含基础真实高分辨率图像和模拟的低分辨率图像。在一些实例中，可在基础真实切片方位处在切片方向(左右)上使用1D三重三次内插(TCI)将低分辨率图像按比例放大。然而，可使用获得厚切片图像的其它方法。举例来说，包含从相同体积获取的薄切片图像和厚切片图像的数据集可用于训练深度学习系统。

可在其它实例中使用不同分辨率的其它数据集。用于处理特定特征的训练数据集可包含具有所述特征的先前患者图像。举例来说，在胃肠成像中，肝和/或包含受关注病变形态的肝的体积图像可用于训练深度学习系统产生肝的经改进分辨率图像。

在一些实例中，可在训练深度学习系统之前预处理训练数据。在一些应用中，预处理训练数据可改进训练过程并且产生更佳的经训练深度学习系统。预处理可包含格式化数据以确保均匀大小，将图像裁切为仅包含相关解剖结构，将强度值均匀地按比例缩放，和/或细分成贴片。

因此，可使用高分辨率图像(例如，“基础真实图像”)和基于那些高分辨率图像模拟的低分辨率图像来训练本文中所描述的深度学习系统。模拟的低分辨率图像可为高分辨率图像的减少取样版本。在一些实例中，在减少取样之后，可内插图像以使得模拟的低分辨率图像与高分辨率图像(例如，“基础真实图像”)具有相同或类似大小。以此方式，提供模拟的低分辨率图像集，其具有与高分辨率图像集的已知关联。可在模拟的低分辨率图像集上训练本文中所描述的深度学习系统(例如，可选择用于操作深度学习系统的系数和其它参数)。可选择系数和其它参数集以大体上从模拟的低分辨率图像提供“基础真实图像”的准确输出。

图5说明根据本公开的实例的实例工作流500。在实例实施方案中，高分辨率基础真实切片(a)用以模拟针对不同减少取样因子(DSF)具有较高断面厚度的切片(b)的获取。这些切片随后三重三次内插到基础真实切片方位(c)，且训练深度学习系统识别的残差函数(d)可添加到低分辨率厚切片以产生高分辨率薄切片(e)。在推断期间，使用学习的残差模型产生用于测试输入的残差图像。因此，残差可添加到低分辨率输入以便输出超分辩率图像。换句话说，深度学习系统可接收作为输入的厚切片图像并且产生作为输出的模拟薄切片图像。在一些应用中，深度学习系统可允许获取较少图像切片并且同时仍维持用于诊断性目的的足够分辨率。这在一些应用中可允许减小患者成像时间，又可改进患者舒适度和/或减少患者暴露于电离辐射。

图6说明根据本公开的实例的具有不同减少取样因子(DSF)(窗格a-f)和对应2D结构类似性(SSIM)映射(窗格g-l)的示范性冠状面深度学***滑化，但模糊的方向性也更加明显。在股骨骨髓中，具有不完全脂肪饱和的像素在左右方向上与优劣方向(虚线箭头)相比显得更加模糊。内侧副韧带可为一组织以说明冠状面重建中的图像保真度，这是其在左右方向(实线箭头)上非常薄。SSIM映射说明不针对DSF 6和8以高诊断质量重现MCL。具有不同DSF和其SSIM映射的冠状面图像指示随着DSF增加，内侧副韧带(MCL)和前十字韧带(ACL)的细小细节变模糊(SSIM映射上的箭头)。此外，剩余的股骨骨髓信号归因于不完全脂肪抑制，表现为过度平滑化，减少了局部SSIM。在此实例中，矢状面图像随着DSF增加受模糊化的影响最小，轴向和冠状面重建随着DSF增加展示更高模糊化。

在图7中示出深度学***台上的小骨刺(虚线箭头)以及具有尖锐特征的炎症(虚线箭头)的高分辨率特征可视化，然而，可视化远比其它方法(a-e)更具挑战性。这通过差映射(g-j)和逐像素结构类似性映射(k-n)来进一步指示，其中不同于本公开的深度学习系统，且TCI、FI和ScSR全部在内侧副韧带周围具有较低类似性。

本文中所描述的深度学习系统可提供从厚切片诊断细微病变的能力。举例来说，模拟三对具有不同信号强度的人工半月板和软骨病变，并且手动产生在空间和信号强度上细微的病变。

图8示出根据本公开的实例的模拟基础真实图像和所得的生成图像。修改基础真实图像(窗格a)以包含不同信号强度(窗格b-d)的人工半月板病变(实线箭头)和软骨病变(虚线箭头)。模拟的半月板撕裂在水平和竖直方向上仅两个像素厚。通过将基础真实模拟作为输入，3x的DSF展示深度学习系统(窗格e-h)适当良好地重现病变并且与TCI图像(窗格i-l)相比具有较低模糊。与TCI相比，本公开的深度学习系统在基础真实方面始终具有更佳类似性度量(较高SSIM和pSNR，较低MSE)。

图9的实例图像示出可通过高强度DESS信号识别的外侧半月板主体中的水平撕裂的实例。在矢状面基础真实、DeepResolve和TCI图像(窗格a-c)中可相对类似地发现撕裂(箭头)。然而，在过高估计软骨厚度的股后软骨中明显存在一些模糊。冠状面重建还指示相同的半月板撕裂(窗格d-f)。冠状面图像的经缩放断面(黄色支架)展示深度学习系统图像与基础真实图像(窗格g-i)相比显得更光滑并且具有较少噪声。将TCI图像与基础真实和深度学习系统图像进行比较展示在TCI图像中显著更模糊。TCI图像中的炎症的边界(绿色箭头)与基础真实不具有相同轮廓，而中心软骨具有阶梯式锯齿状外观(虚线箭头)而非光滑边缘。

图10的实例图像展示通过低强度DESS信号识别外侧髌软骨的2A级软骨软化的细微病例的实例。软骨(通过箭头指示)在所有三个矢状面图像上表现出类似性。然而，轴向重建展现深度学习系统图像与TCI图像(窗格a-c)相比略微较高的保真度。外侧股骨髁周围的轴向图像上的关节积液(虚线箭头)在TCI图像上与在基础真实和深度学习系统(窗格d-f)上相比展现显著锯齿状外观。轴向重建的经缩放断面展示在深度学习系统图像中与在TCI图像中相比更好地维持关节软骨的轮廓和不均匀信号，但终究不如在基础真实图像(窗格g-i)中一样好。

所有三组图像的侧体的半月板撕裂的实例展示矢状面TCI图像与深度学***面中具有次毫米厚度且深度学***面重建的临床用途。这类方法还可能尤其适用于DESS的较新实施方案，其实现同步T₂弛豫时间、形态测定和半定量放射学评估。举例来说，在一些应用中，较厚切片可用于产生用于定量T₂测量的高SNR，而薄切片可用于准确形态测定和半定量整个关节评估。获取数百切片的双侧膝盖成像方法还可受益于本公开的深度学习系统。

图11是根据本文中所描述的实例布置的系统1100的说明。系统1100可包含图像获取单元1102、计算系统1108和工作站1118。在一些实施例中，图像获取单元1102、计算系统1108和工作站1118可集成为单个单元。

在一些实例中，图像获取单元1102可为磁共振成像(MRI)成像系统。在一些实例中，图像获取单元1102可为计算机断层扫描(CT)成像系统。在一些实例中，图像获取单元1102可为超声(US)成像系统。在一些实例中，图像获取单元1102可为能够获取有限厚度的图像切片的另一成像模态。图像获取单元1102可从个体1104获取一或多个图像切片1106。个体1104可为人类或动物个体。在一些实例中，图像切片1106可包含一或多个受关注特征。在一些实例中，所关注特征可为解剖特征。在图11中所示的实例中，图像切片1106包含膝关节。在一些实例中，图像切片1106可提供给计算系统1108。

在一些实例中，计算系统1108可由图1中示出的计算系统106实施。计算系统1108可包含能够存储可执行指令的一或多个存储器(未示出)和能够执行可执行指令的一或多个处理器(未示出)。一或多个存储器可被配置成存储由图像获取单元1102提供的一或多个图像切片1106。计算系统1108可被配置成实施深度学习系统1110。深度学习系统1110可被配置成从图像切片1106产生高分辨率(例如，薄切片)图像1114。在一些实例中，深度学习系统1110可由图2-4中示出的深度学习系统200实施。高分辨率图像1114可提供给工作站1118。在一些实例中，计算系统1108可包含在工作站1118中。在一些实例中，计算系统1108可在工作站1118远端并且可经由网络接口(例如，图1中示出的网络接口116)与工作站1118通信。

任选地，在一些实例中，计算系统1108可被配置成实施第二深度学习系统1112。第二深度学习系统1112可被配置成接收高分辨率图像1114并且输出诊断信息1116。可训练深度学习系统1112辨识高分辨率图像1114中的与一或多个病状(例如，撕裂的半月板)相关联的解剖特征并且输出与所辨识的病状相关联的诊断信息1116。然而，在其它实例中，其它深度学习系统可用于实施深度学习系统1112。诊断信息1116可提供给工作站1118。

工作站1118可包含显示器1120和用户接口1122。在方框1124中示出可在显示器1120上提供的数据的实例。在一些实例中，显示器1120可提供个体信息1126。个体信息可包含姓名、出生日期、身份证号和/或其它信息。在一些实例中，显示器1120可提供图像切片1106和/或高分辨率图像1114。在一些实例中，显示器1120可同时提供多个图像切片1106和/或高分辨率图像1114。在一些实例中，显示器1120可提供多种其它信息1130，例如选项菜单(例如，编辑图像、保存图像、从图像获取测量值)、关于显示的图像的信息(例如，图像获取单元1102设置、切片1106、1114的解剖视图)和/或其它信息(例如，诊断信息1116、医师注解)。

工作站1118可包含用户接口1122。用户接口1122可包含任何类型的硬用户控制和/或软用户控制。硬用户控制的实例包含但不限于键盘、跟踪球、鼠标和开关。软用户控制的实例包含但不限于具有软件实施的图形按钮、滑块和/或双态切换的触摸屏。用户接口1122可被配置成从用户1132接收用户输入。举例来说，用户输入可确定何时和/或在什么条件(例如，厚度)下获取图像切片1106。在另一实例中，用户输入可确定在显示器1120上显示什么图像。

在一些应用中，本文中所描述的深度学习系统(例如深度学习系统1110)可准许图像获取单元(例如图像获取单元1102)获取受试者1104的体积的较少切片(例如切片1106，同时仍提供具有诊断质量的图像，例如高分辨率图像1114。这可通过减少图像获取时间来改进图像获取单元的起作用。在一些应用中，本文中所描述的深度学习系统可改进通过图像获取单元获取的切片的分辨率。举例来说，图像获取单元1102可获取体积的数个薄图像切片1106。深度学习系统1110可通过模拟甚至更薄切片(例如，较高分辨率)图像1114来增强薄图像切片1106的分辨率。

本文中所描述的深度学习系统的用户(例如用户1132)可使用深度学习系统的输出(例如高分辨率图像1114)做出对受试者(例如个体1104)的诊断。举例来说，医师可能够基于高分辨率图像1114中可见的受关注特征(例如，膝盖)诊断外侧髌软骨的软骨软化和/或阶段性骨关节炎。用户1132可基于从高分辨率图像1114做出的诊断来进一步做出治疗确定。治疗选项的实例包含但不限于手术、理疗和支撑性支架。在一些实例中，基于最初获取的图像切片1106做出诊断和/或治疗确定可为不可能的。

总起来说，如本文中所描述的深度学习系统可能能够从最初显著较厚的切片解算高分辨率薄切片特征。换句话说，深度学习系统产生其中每一体元与最初获取的图像中的体元相比表示较少体积的图像。应理解，虽然实例实施方案使用肌骨胳MRI，但还可使用深度学习系统的其它实例和其它模态的图像(例如脑MRI或CT)。另外，深度学习系统可用以增强所有三个维度中的分辨率。深度学习系统可实施于一或多个计算机系统上，例如具有一或多个处理单元(例如，处理器，例如中央处理单元(CPU)和/或图形处理单元(GPU))和编码有用于执行本文中所描述的深度学习技术和/或训练的可执行指令的计算机可读媒体(例如，存储器、存储装置)的系统。

从前述内容应了解，虽然在本文中已出于说明的目的描述具体实施例，但在保持于所主张的技术的范围内的情况下可做出各种修改。