阅读说明：本技术 使用图像强度和解剖位置进行组织分类 (Tissue classification using image intensity and anatomical location ) 是由 C·比格尔 S·雷尼施 于 2019-01-09 设计创作，主要内容包括：本发明涉及用于图像分割的医学图像数据处理系统(101)。医学图像数据处理系统(101)包括机器学习框架,所述机器学习框架被训练为接收体素的解剖位置并提供组织类型分类。由医学图像数据处理系统(101)的处理器(130)对机器可执行指令的执行使处理器(130)控制医学图像数据处理系统(101)：-接收包括感兴趣解剖结构的医学图像数据(140),-使用基于模型的分割将解剖参考框架(302、402)拟合到医学图像数据(140),-使用机器学习框架对由医学图像数据(140)的体素表示的组织类型进行分类,其中,体素相对于解剖参考框架(302、402)的解剖位置被用作针对机器学习框架的输入。(The invention relates to a medical image data processing system (101) for image segmentation. A medical image data processing system (101) includes a machine learning framework trained to receive anatomical locations of voxels and provide tissue type classification. Execution of the machine executable instructions by the processor (130) of the medical image data processing system (101) causes the processor (130) to control the medical image data processing system (101): -receiving medical image data (140) comprising an anatomical structure of interest, -fitting an anatomical reference frame (302, 402) to the medical image data (140) using model-based segmentation, -classifying a tissue type represented by voxels of the medical image data (140) using a machine learning frame, wherein an anatomical position of a voxel with respect to the anatomical reference frame (302, 402) is used as an input to the machine learning frame.)

使用图像强度和解剖位置进行组织分类

技术领域

本发明涉及处理医学图像数据，具体地其涉及用于使用医学图像数据对组织类型进行分类的方法和设备。

背景技术

对于医学图像数据的使用，图像分割和由图像数据所包括的体素的分类是重要的但具有挑战性的任务以便识别和分析感兴趣解剖结构。

为了分析感兴趣解剖结构，不仅其边界轮廓，而且其内部结构可能很重要。确定由相应的解剖结构包括哪些组织类型可能尤其重要。使用形状模型的基于模型的分割已被证明在以高准确度从医学图像中分割器官方面是鲁棒且成功的。使用基于模型的分割，在图像内的某些区域被描绘和标记。然而，由于仅对边界建模，这种基于模型的分割可能不能够确定分割区域的内部结构信息。换句话说，基于模型的分割仅提供器官边界处的解剖位置，但不能够提供3D组织分类所需的完整图像体积上的解剖位置。

发明内容

在独立权利要求中，本发明提供一种医学图像数据处理系统、一种操作医学图像数据处理系统的方法以及一种计算机程序产品。在从属权利要求中给出了实施例。

如本领域的技术人员将认识到的，本发明的各个方面可以实现为装置、方法或计算机程序产品。相应地，本发明的各个方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例(在本文中总体上全部可以被称为“电路”、“模块”或“系统”)的形式。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。

可以利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。本文使用的“计算机可读存储介质”涵盖任何可以存储可由计算设备的处理器执行的指令的有形存储介质。可以将计算机可读存储介质称为计算机可读非暂态存储介质。也可以将计算机可读存储介质称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储可以由计算设备的处理器访问的数据。计算机可读存储介质的示例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及处理器的寄存器文件。光盘的示例包括压缩盘(CD)和数字通用盘(DVD)，例如，CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指能够经由网络或通信链路由计算机设备访问的各种类型的记录介质。例如，可以在调制调解器、因特网或局域网上检索数据。可以使用任何适当介质发送实现在计算机可读介质上的计算机可执行代码，所述任何适当介质包括但不限于无线的、有线的、光纤线缆的、RF等或者前面的任何合适的组合。

计算机可读信号介质可以包括具有实现在其中的计算机可执行代码的传播的数据信号，例如，在基带中或作为载波的部分。这样的传播的信号可以采取任何各种形式，包括但不限于电磁的、光学的或它们的任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质：不是计算机可读存储介质，并且能够传达、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。

“计算机存储器”或“存储器”是计算机可读存储介质的示例。计算机存储器是任何可由处理器直接访问的存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另外的示例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器，或者反之亦然。

如本文中所使用的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包含多于一个的处理器或处理核。所述处理器可以例如是多核处理器。处理器也可以指在单个计算机系统之内的或分布在多个计算机系统之间的处理器的集合。术语计算设备也应当被解读为能够指每个包括一个或多个处理器的计算设备的集合或网络。计算机可执行代码可以由可以在相同的计算设备之内或甚至可以分布在多个计算设备之间的多个处理器来执行。

计算机可执行代码可以包括令处理器执行本发明的方面的机器可执行指令或程序。用于执行针对本发明的方面的操作的计算机可执行代码可以以一个或多个编程语言的任何组合来编写并且被编译为机器可执行指令，所述一个或多个编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或相似编程语言的常规过程性编程语言。在一些实例中，所述计算机可执行代码可以采取高级语言的形式或者采取预编译的形式并且结合在工作时生成机器可执行指令的解读器一起被使用。

所述计算机可执行代码可以完全在用户的计算机上、部分在用户的计算机上(作为独立的软件包)、部分在用户的计算机上并且部分在远程计算机上、或完全在远程计算机或服务器上执行。在后一种情形下，所述远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以(例如，通过使用因特网服务提供商的因特网)对外部计算机进行连接。

参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图、图示和/或方框图来描述本发明的方面。应理解，当可应用时，能够通过采取计算机可执行代码的形式的计算机程序指令来实施流程图、图示和/或方框图的方框的每个方框或部分。还应理解，当互不排斥时，可以组合不同流程图、图示和/或方框图中的方框的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或产生机器的其他可编程数据处理装置的处理器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施在流程图和/或一个或多个方框图框中指定的功能/动作的单元。

这些计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质能够指引计算机、其他可编程数据处理装置或其他设备以特定的方式来工作，使得在计算机可读介质中存储的指令产生包括实施在流程图和/或一个或多个方框图框中指定的功能/动作的指令的制品。

所述计算机程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以令在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实施的过程，使得在计算机或其他可编程装置上执行的指令提供用于在流程图和/或一个或多个方框图框中指定的功能/动作的过程。

如本文所使用的“用户接口”是允许用户或操作人员与计算机或计算机系统交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作人员提供信息或数据和/或从操作人员接收信息或数据。用户接口可以使得来自操作人员的输入能够被计算机接收并且可以从计算机向用户提供输出。换言之，所述用户接口可以允许操作人员控制或操控计算机，并且所述接口可以允许计算机指示操作人员的控制或操控的效果。显示器或图形用户接口上的数据或信息的显示是向操作人员提供信息的示例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏手柄、网络摄像头、耳机、踏板、有线手套、遥控器和加速度计对数据的接收全都是实现对来自操作人员的信息或数据的接收的用户接口部件的示例。

如本文所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许处理器将控制信号或指令发送到外部计算设备和/或装置。硬件接口也可以使得处理器能够与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于：通用串行总线、IEEE 1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口以及数字输入接口。

如本文所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的示例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子体显示板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。

磁共振成像(MRI)数据，也称为磁共振(MR)数据或磁共振图像数据，在本文中定义为在磁共振成像扫描期间使用磁共振设备的天线记录的由核自旋发射的射频信号的测量结果。磁共振图像数据是医学图像数据的示例。磁共振成像(MRI)图像或MR图像在本文中被定义为由磁共振成像数据包括的解剖数据的重建的二维或三维可视化，即，MRI图像由包括代表性选择MRI数据的MRI数据集提供。可以使用计算机执行该可视化。可以使用在k空间或图像空间中的相应数据的表示来提供磁共振成像数据。使用傅里叶变换，可以将磁共振成像数据从k空间变换到图像空间，反之亦然。在下文中，磁共振图像数据可以包括表示二维或三维解剖结构的图像空间中的MRI数据的选择，即MRI图像。

“解剖结构”是对象(如例如人或动物)的任何解剖结构。结构可以包含某个器官，如肝脏或大脑，或者是其一部分，或者其也可以包括某个解剖区域，如脊柱区域、膝盖、肩膀等。

“分割”是指将数字图像数据细分为多个分段，例如像素或体素的集合，以便识别一个或多个分段，分段表示可以进一步分析的感兴趣结构。分割可以被用于识别和定位结构，特别是它们在图像数据中的边界。例如，可以识别线、曲线、平面、表面等。可以将标签分配给图像中的每个像素或体素，使得具有相同标签的像素/体素共享某些特性，并且可以突出显示以便指示包含感兴趣结构的轮廓、区域或体积。当应用于三维图像数据，例如一叠二维图像的堆叠时，在图像分割之后得到的轮廓可以用于借助内插算法(如例如移动立方体)创建感兴趣结构(例如解剖结构)的形状的三维重建。三维轮廓例如可以由表面网格提供。网格可以包括多个平坦的二维多边形，例如三角形。

“基于模型的分割”是指使用形状模型进行的分割，例如采取表面网格的形式，其被变形以便与感兴趣解剖结构的边界对齐并识别其轮廓。

术语“机器学习”(ML)指一种计算机算法，用于通过以自动化方式构建概率框架(称为机器学习框架(也称为机器学习模型))从训练数据集中提取有用的信息。可以使用一个或多个学习算法(诸如线性回归、K均值、分类算法、强化算法等)来执行机器学习。“机器学习框架”例如可以是方程式或一组规则，其使得能够从其他已知值预测未测量值(例如，哪个标签对应于给定令牌)和/或预测或选择动作以最大化未来奖励。根据一个实施例，机器学习框架是深度学习框架。

例如，学习算法可以包括分类和/或强化算法。强化算法可以例如被配置为基于当前参数集和/或先前使用的参数集学习用于确定下一参数集(动作)的一个或多个策略或规则。例如，从当前参数集和/或先前采集参数集开始，机器学习框架可以遵循策略，直到达到期望的采集参数集。该策略表示模型在每个步骤的决策制定过程，例如，其定义了要改变哪个参数以及如何改变其，其将新参数添加到参数集，等等。可以通过基于输入图像上标记的已知标志进行学习来优化动作的选择。

“图像强度”是指由医学图像数据的个体体素所包括的信号强度。

“解剖参考框架”是指参考框架，例如坐标系，其定义相对于解剖参考结构的位置。解剖参考框架定义了解剖参考结构所位于的参考空间。当解剖参考结构的空间形式变形时，解剖参考框架相应地变形。

一方面，本发明涉及医学图像数据处理系统。医学图像数据处理系统包括存储机器可执行指令和机器学习模型的存储器。训练机器学习模型以接收体素的图像强度和解剖位置作为输入，并作为响应提供体素的组织类型分类作为输出。医学图像数据处理系统还包括用于控制医学图像数据处理系统的处理器。由处理器对机器可执行指令的执行使处理器控制医学图像数据处理系统以接收包括感兴趣解剖结构的医学图像数据。使用基于模型的分割将解剖参考框架拟合到医学图像数据，其中，用于基于模型的分割的模型包括在由解剖参考框架定义的参考空间中的解剖参考结构。使用机器学习框架对由医学图像数据的体素表示的组织类型进行分类。每个体素包括图像强度。体素的图像强度和体素相对于解剖参考框架的解剖位置被用作机器学习框架的输入。

在各种医学成像应用中可能期望自动图像分割。例如，使用形状模型的基于模型的分割可以提供鲁棒且准确的方法来分割感兴趣解剖结构。然而，由于仅对边界建模，因此这种方法可能不能够确定由分割区域所包含的内部结构。因此，当期望高度准确的逐体素体积分类时，基于模型的分割可能失败。另一方面，尝试对每个图像体素进行分类的ML方法可能具有以相对少的训练努力来递送体积分类结果的能力。换句话说，ML方法可能能够考虑到由基于模型的分割所忽略的内部结构。然而，ML方法通常依赖于通过要分类的体素的图像特征。这样的内部结构可以包括示出相似或甚至相同的图像特征(如例如强度)的不同组织类型。当不同的解剖结构示出相似的图像特征时，作为输入的基于要分析的结构的图像特征的ML方法可能失败。因此，这样的解剖结构不能够区分为单独的分类类别。已知的ML方法可能缺少形状模型的正则化性质，并且可能需要大量的后处理。

实施例建议额外考虑下层解剖结构的空间关系，以便能够区分示出相似或甚至相同图像特征的组织类型。因此，通过空间编码(SE)扩展了公共的基于模型的分割方法，其提供了相对于解剖参考框架(即每个体素的空间信息)的体积坐标系。

根据实施例，ML和SE的组合可以用于克服方法学的两个缺点。可以应用形状模型来实现医学图像的解剖参考框架，即，提供相对于由形状模型表示的解剖参考结构的空间坐标的空间参考框架。相对于解剖参考框架的解剖位置除了图像特征(如图像强度)外，用作ML的额外输入。实施例可以允许在逐体素的基础上准确地对目标结构进行分类，同时有效地区分具有相似图像特征的甚至不同类型的组织。在相似和/或相同的身份的情况下，解剖位置可以用于区分。因此，甚至内部结构可以被施加到分割的图像区域。

根据实施例，仅这些体素可以使用它们的解剖位置通过ML进行分类，对于这些解剖位置已知由其提供的图像特征关于所表示的组织类型是不明确的。考虑例如MR图像，表示空气的体素与表示骨骼的体素具有相似的图像特征。两者是深色的，即包括低强度。

根据实施例，仅这样的体素可以使用其解剖位置通过ML分类，所述解剖位置包括高于预定义阈值、低于预定义阈值和/或在由下阈值和上阈值限定的范围内的图像强度。根据实施例，除了如图像强度的图像特征之外，所有体素使用它们的解剖位置通过ML分类。

实施例可以包括第一步骤，其中，解剖参考框架被拟合到图像。在分割感兴趣解剖结构之前，提供了解剖参考框架和相关联的解剖参考结构。解剖参考框架可以定义相对于解剖参考结构的坐标。例如，使用表示感兴趣解剖结构的目标轮廓的表面模型对医学图像进行分割。为此目的，将表面模型，即解剖参考结构，拟合到感兴趣解剖结构。拟合可能需要相应模型的变形，其伴随解剖参考框架的变形，其形式固定至解剖参考结构。在第二步骤中，可以将变形的解剖参考框架的逐体素坐标用作ML的额外输入。换句话说，根据感兴趣解剖结构的形式，通过每个体素的空间位置来扩展ML的通用分类特征，即，通过每个体素相对于下层解剖结构被定位的位置的信息来扩展ML的通用分类特征。

实施例可以提供一种包括以下步骤的方法：

使用SE向图像添加解剖参考框架。解剖参考框架可以例如通过使用基于模型的分割而被添加到图像。例如，头骨模型可以应用于头部的MR图像以分割感兴趣解剖结构的轮廓。解剖参考框架在分割模型周围变形，以与相应的MR图像对齐，例如使用从头骨模型到分割的轮廓的网格点对应关系，然后使用3D内插方案(B样条、多层B样条、薄板或其他)。

可以基于解剖位置执行包括空间编码的ML。除了MR图像的逐体素图像强度之外，例如变形的解剖参考框架的x/y/z坐标用作训练和分割中的额外特征。实施例可以允许将相似表现的图像体素分成单独的分类类别。例如，如果MR图像的体素暗且位于偏航内部，则ML可能学习到它最有可能是皮质骨体素。另一方面，如果MR图像的体素暗并位于鼻腔内，则ML可能学习到它最可能是空气体素。因此，SE可以允许分离在MRI中看起来相似的组织。

根据实施例，可以以各种方式来实现SE以及ML两者，例如，使用归一化的三角形坐标或到形状模型的最接近的三角形的距离及其索引，例如使用距离图。关于ML，可以使用任何合适的分类方法，如例如随机森林、支持向量机、神经网络等。

根据实施例，接收针对感兴趣解剖结构的多个医学图像数据样本的训练集。训练集包括对于医学图像数据中的相应一个的对于体素中的每个识别图像强度和组织类型的样本数据。在训练集上执行学习算法以生成机器学习模型框架。训练包括对于医学图像数据样本的体素确定相对于拟合到医学图像数据样本的解剖参考框架的解剖参考位置。因此，机器学习模型框架学习基于由医学图像数据样本提供的图像强度和针对相应的体素确定的解剖位置来识别体素的相应组织类型。

根据实施例，医学图像数据包括磁共振图像数据。

根据实施例，对机器可执行指令的执行还使处理器使用磁共振图像数据和分类结果来生成伪CT图像。

伪计算机断层摄影(CT)图像，也称为合成或虚拟CT图像，是使用来自一种或多种其他医学成像模态的数据计算的模拟CT图像。伪CT图像可能例如是计算的MRI数据。例如，可以将根据实施例的组织分类应用于体素中的每个。例如，磁共振成像组织分类器可以通过确定特定区域内体素的平均值或均值来工作。这些可以标准化或缩放，并且然后与标准进行比较以识别组织类型并分配组织分类。在模棱两可的情况下，可以将解剖位置作为额外输入来考虑。

例如，可以通过根据组织分类将亨氏单位值分配给体素中的每个来为MRI图像计算亨氏单位图。亨氏映射包括组织分类到亨氏单位之间的映射。使用亨氏单元映射，可以计算伪CT图像。

实施例可以例如用于仅MR放射治疗应用：可以通过将MR图像的每个体素分类为不同的组织类别(例如，空气、软组织和皮质骨)从给定的MR图像生成伪CT图像。得到的伪CT图像可以被用于剂量规划。最具挑战性的是皮质骨和空气的分离，因为它们两者在MR中显得暗，而不能基于纯强度进行区分。SE可以应用于检测包括气腔和皮质骨组织的头部，例如使用基于模型的分割或基于图集的配准。然而，很难对骨骼和相邻的空气组织区域(例如充满空气的鼻腔)的高度可变和复杂的形状进行精确建模。此外，使用常见的ML方法进行逐体素分类可能不能够区分外观高度相似的空气和骨骼体素。

因此，对于仅MR放射治疗(RT)应用，实施例可能是特别感兴趣的。根据实施例的空间信息的并入可以允许这种分离，并且因此允许生成适当的伪CT图像。因此，实施例可以将鲁棒的基于形状的分割方法与数据驱动的ML方法组合，它们结合可以大大减少所需的开发和维护努力。例如，不同患者群体的不同内部骨骼结构可以共享相同的解剖模型，而可以使用不同训练的分类器，其仅需要代表性训练数据。

根据实施例，对所述解剖参考框架的所述拟合包括将相应的框架与所述解剖参考结构一起变形以将变形的解剖参考结构与所述感兴趣解剖结构进行对准。

根据实施例，用于基于模型的分割的模型包括用于分割的表面网格。

根据实施例，所述模型包括所述表面网格的空间参考框架的形式的所述解剖参考框架，并且其中，所述基于模型的分割包括将所述解剖参考框架与所述表面网格一起变形。

根据实施例，基于所述体素相对于所述解剖参考框架的不同解剖位置将具有相同图像强度的至少两个体素分配给表示不同组织类型的不同类别。根据实施例，所述不同类别中的第一类别表示骨骼，并且所述不同类别中的第二类别表示空气。

根据实施例，对所述医学图像数据的所述接收包括：将对相应的医学图像数据的请求发送到包括所述医学图像数据的数据库，其中，响应于所述请求而从所述数据库接收所请求的医学图像数据。

根据实施例，所述医学图像数据处理系统还包括磁共振成像系统，并且其中，所述磁共振成像系统包括：

-主磁体，其用于在成像区内生成主磁场，

-磁场梯度系统，其用于在所述成像区内生成空间相关的梯度磁场，

-射频天线系统，其被配置用于从所述成像区采集磁共振数据，

其中，所述存储器还存储脉冲序列命令，其中，所述脉冲序列命令被配置用于控制所述磁共振成像系统以从所述成像区采集所述磁共振数据，

其中，对所述医学图像数据的所述接收包括使用脉冲序列命令执行所述机器可执行指令，并且由所述射频天线系统从所述成像区采集磁共振图像数据的形式的所述医学图像数据。

在另一方面，本发明涉及一种用于控制医学图像数据处理系统的方法。所述医学图像数据处理系统包括：存储器，其存储机器可执行指令和机器学习框架。所述机器学习框架被训练为接收体素的图像强度和解剖位置作为输入，并且作为响应提供所述体素的组织类型分类作为输出。所述医学图像数据处理系统还包括：处理器，其用于控制所述医学图像数据处理系统，其中，由所述处理器对所述机器可执行指令的执行使所述处理器控制所述医学图像数据处理系统来执行包括方法。所述方法包括：接收包括感兴趣解剖结构的医学图像数据。使用基于模型的分割将解剖参考框架拟合到所述医学图像数据，其中，用于所述基于模型的分割的模型包括由所述解剖参考框架定义的参考空间中的解剖参考结构。使用所述机器学习框架对由所述医学图像数据的体素表示的组织类型进行分类。每个体素包括图像强度。所述体素相对于所述解剖参考框架的解剖位置被用作针对所述机器学习框架的输入。

所述医学图像数据处理系统还包括磁共振成像系统，并且其中，所述磁共振成像系统包括：

-主磁体，其用于在成像区内生成主磁场，

-磁场梯度系统，其用于在所述成像区内生成空间相关的梯度磁场，

-射频天线系统，其被配置用于从所述成像区采集磁共振数据，

其中，所述存储器还存储脉冲序列命令，其中，所述脉冲序列命令被配置用于控制所述磁共振成像系统以从所述成像区采集所述磁共振数据，

其中，对所述医学图像数据的所述接收包括使用脉冲序列命令执行所述机器可执行指令，并且由所述射频天线系统从所述成像区采集磁共振图像数据的形式的所述医学图像数据。

在另一方面，本发明涉及一种用于控制医学图像数据处理系统的计算机程序产品，包括用于由控制所述医学图像处理系统的处理器执行的机器可执行指令。所述医学图像数据处理系统包括：存储器，其存储机器学习框架，所述机器学习框架被训练以接收体素的图像强度和解剖位置作为输入，并且作为响应提供所述体素的组织类型分类作为输出。所述医学图像数据处理系统还包括：处理器，其用于控制所述医学图像数据处理系统。由所述处理器对所述机器可执行指令的执行使所述处理器控制所述医学图像数据处理系统接收包括感兴趣解剖结构的医学图像数据。使用基于模型的分割将解剖参考框架拟合到所述医学图像数据，其中，用于所述基于模型的分割的模型包括由所述解剖参考框架定义的参考空间中的解剖参考结构，并且使用机器学习框架对由所述医学图像数据的体素表示的组织类型进行分类。每个体素包括图像强度。体素的图像强度和所述体素相对于所述解剖参考框架的解剖位置被用作针对所述机器学习框架的输入。

应该理解，本发明的前述实施例中的一个或多个可以被组合，只要组合的实施例不相互排斥。

附图说明

在下面，将仅通过示例并参考附图来描述本发明的优选实施例，其中：

图1图示了医学图像数据处理系统的示例，

图2图示了磁共振成像系统的示例；

图3图示了操作医学图像数据处理系统的方法的示例；

图4图示了操作磁共振成像系统的方法的示例；

图5图示了生成伪CT图像的示例；

图6是拟合的示例；

图7是拟合的示例；并且

图8图示了生成伪CT图像的示例。

附图标记清单

100 磁共振成像系统

101 医学图像数据处理系统

104 主磁体

106 磁体的膛

108 成像区

110 磁场梯度线圈

112 磁场梯度线圈电源

114 射频线圈

115 收发器

118 对象

120 对象支撑体

122 致动器

125 数据库

126 计算机

128 硬件接口

130 处理器

132 用户接口

134 计算机存储设备

136 计算机存储器

140 医学图像数据

141 脉冲序列命令

142 控制模块

143 控制模块

144 分割模块

146 拟合模块

148 机器学习模块

150 变换模块

160 分割结果

162 拟合结果

164 机器学习结果

166 伪CT图像

300 解剖参考结构

302 解剖参考框架

310 变形的解剖参考结构

312 变形的解剖参考框架

400 表面网格

402 解剖参考框架

412 变形的解剖参考框架

500 MRI图像

502 MRI图像

504 MRI图像

510 伪CT图像

512 伪CT图像

514 伪CT图像

具体实施方式

这些图中相似编号的元件是等效元件或执行相同的功能。如果功能等效，则先前已经讨论的元件将不必在后面的图中讨论。

图1示出了包括计算机126的医学图像数据处理系统101的示例。计算机126被示为包含可操作用于执行机器可读指令的处理器130。计算机126还被示为包括用户接口132、计算机存储设备134和计算机存储器136，其全部可访问并且连接到处理器130。此外，计算机126可以通信地与数据库125连接。计算机126可以配置用于经由通信接口128从数据库125请求数据，如医学图像数据140。根据实施例，数据库125可以由外部系统提供，并且可以经由使用通信连接的通信网络由计算机126访问。可以无线或经由线建立通信连接。根据实施例，数据库125可以由计算机126本身包括。例如，数据库125可以由计算机存储设备134包括。根据其他实施例，数据库125可以由计算机可读存储介质提供。数据库125包含成像数据140。根据备选实施例，计算机存储设备134可以提供医学图像数据140。

计算机126可以被配置为医学图像数据处理系统101。计算机存储器136被示为包含控制模块142。控制模块142包含计算机(即，机器)可执行代码或指令，其使处理器130能够控制医学图像数据处理系统101的操作和功能。计算机系统126例如由控制模块142控制以接收医学图像数据140以进行处理。该处理可以包括基于分割来拟合解剖框架并且对体素的组织类型进行分类。

为了处理医学图像数据140，计算机存储器136还可以包含分割模块144。分割模块144包含使处理器130能够执行医学图像数据140的基于模型的分割的计算机可执行代码或指令。分割的结果160包括分割的医学图像数据，其例如存储在计算机存储设备134中。

计算机存储器136还可以包含拟合模块146。拟合模块146包含计算机可执行代码或指令，其使处理器130能够将解剖参考框架拟合到分割的医学图像数据160。得到的特殊编码医学图像数据162可能例如被存储在计算机存储设备134中。

计算机存储器136还可以包含机器学习模块148。机器学习模块148包含使处理器130能够实现和执行机器学习框架的计算机可执行代码或指令。训练机器学习框架以接收体素的图像强度和解剖位置作为输入，并作为响应提供体素的组织类型分类作为输出。机器学习模块148的输出164可以例如存储在计算机存储设备134中。

分类的结果164可以例如由变换模块150使用。变换模块150包含使处理器130能够将MRI图像数据变换为伪CT图像数据的计算机可执行代码或指令。得到的伪CT图像166例如可以存储在计算机存储设备134中。

图2示出了包括具有磁体104的磁共振成像系统100的医学图像数据处理系统101的示例。主磁体104是具有穿过其的膛106的超导圆柱型磁体104。使用不同类型的磁体也是可能的。例如，还能够使用***式圆柱磁体和所谓的开放式磁体两者。***式圆柱磁体相似于标准圆柱磁体，除了已经将低温保持器***成两段以允许接近磁体的等平面，这种磁体例如可以结合带电粒子束治疗而使用。开放式磁体具有两个磁体段，一个在另一个之上，之间有足够大的空间，以接收对象：两个段的布置相似于亥姆霍兹线圈的布置。开放式磁体是常见的，因为对象受到较少约束。在圆柱形磁体的低温保持器内部存在一系列超导线圈。在圆柱形磁体104的膛106之内存在成像区108，在所述成像区中，磁场足够强且足够均匀以执行磁共振成像。

在磁体的膛106内，还存在形成磁场梯度系统的一组磁场梯度线圈110，所述磁场梯度系统用于采集磁共振数据以在空间上对磁体104的成像区108内的磁自旋进行编码。磁场梯度线圈110连接到磁场梯度线圈电源112。磁场梯度线圈110旨在为代表性的。通常，磁场梯度线圈110包含三个独立的线圈集合，以用于在三个正交空间方向上进行空间编码。磁场梯度线圈电源向磁场梯度线圈供应电流。根据时间来控制供应到磁场梯度线圈110的电流，并且该电流可以是斜变的或脉冲的。

邻近于成像区108的是射频线圈114，也称为射频天线系统，用于操纵成像区108内的磁自旋的取向并用于从也在成像区108内的自旋接收无线电发射。射频线圈114可以包含多个线圈元件。射频线圈114连接到射频收发器115。射频线圈114和射频收发器115可以由分离的发射和接收线圈以及分离的发射器和接收器代替。应理解，射频线圈114和射频收发器115是代表性的。射频线圈114还旨在表示专用的发射天线和专用的接收天线。同样，收发器115也可以表示单独的发射器和接收器。射频线圈114也可以具有多个接收/发射元件，并且射频收发器115可以具有多个接收/发射通道。

对象支撑体120附接至任选的致动器122，该致动器能够将对象支撑体和对象118移动通过成像区108。以这种方式，可以对对象118的较大部分或整个对象118进行成像。收发器115、磁场梯度线圈电源112和致动器122被示为连接到计算机系统126的硬件接口128。

计算机126还被示为包含处理器130，该处理器可操作用于执行机器可读指令。计算机126还被示为包括用户接口132、计算机存储设备134和计算机存储器136，其全部是可访问的并连接到处理器130。

计算机存储器136还可包括控制模块143。控制模块152可以包含计算机可执行代码或指令，其使处理器130能够控制计算机126以及磁共振成像系统100的操作。

计算机存储器136可以包含一个或多个脉冲序列141。脉冲序列141是指令或可以被转换为指令的数据，其使得处理器130能够使用磁共振成像系统100采集磁共振数据140。例如，控制模块143可以与脉冲序列141一起工作以采集磁共振成像数据140。

例如，控制模块143可以例如被配置为控制医学图像数据处理系统101的操作和功能。计算机系统126例如由控制模块143控制以处理医学图像数据140，其可以包括重建磁共振图像。这些磁共振图像可以用作医学图像数据140，以用于进一步的数据处理。该处理可以包括基于分割来拟合解剖框架并且对体素的组织类型进行分类。

为了处理医学图像数据140，计算机存储器136还可以包含分割模块144。分割模块144包含使处理器130能够执行医学图像数据140的基于模型的分割的计算机可执行代码或指令。分割的结果160包括分割的医学图像数据，其例如存储在计算机存储设备134中。

计算机存储器136还可以包含拟合模块146。拟合模块146包含计算机可执行代码或指令，其使处理器130能够将解剖参考框架拟合到分割的医学图像数据160。得到的特殊编码医学图像数据162可能例如被存储在计算机存储设备134中。

计算机存储器136还可以包含机器学习模块148。机器学习模块148包含使处理器130能够实现和执行机器学习框架的计算机可执行代码或指令。训练机器学习框架以接收体素的图像强度和解剖位置作为输入，并作为响应提供体素的组织类型分类作为输出。例如，机器学习模块148的输出164可以被存储在计算机存储设备134中。

分类的结果164可以例如由变换模块150使用。变换模块150包含使处理器130能够将MRI图像数据变换为伪CT图像数据的计算机可执行代码或指令。得到的伪CT图像166例如可以被存储在计算机存储设备134中。

图3示出了示意性流程图，该流程图图示了操作图1的医学图像处理系统的方法。在步骤200中，接收医学图像数据。医学图像数据可以例如从本地或远程存储设备接收。接收到的医学图像数据可以例如是以二维医学图像的堆叠的形式提供的三维图像数据。在步骤202中，到医学图像数据的解剖参考框架使用解剖参考结构。拟合例如可以包括基于模型的分割，其包括将表面网格拟合到感兴趣解剖结构的表面。分割例如可以指示感兴趣解剖结构的轮廓。当变形的表面网格与感兴趣解剖结构对齐时，解剖参考框架随表面网格变形。在步骤204中，将体素的图像强度以及体素相对于解剖参考框架的解剖位置作为输入应用到机器学习模块。在步骤206中，通过机器学习模块对体素进行分类，并且提供组织类型作为机器学习模块的输出。在任选步骤208中，关于组织类型的信息用于在MRI数据的情况下将医学图像数据变换成伪CT图像数据。

图4示出了示意性流程图，该流程图图示了操作图2的医学图像处理系统和磁共振成像系统的方法。在步骤250中，使用磁共振成像系统采集磁共振数据。在步骤252中，使用所采集的磁共振数据来重建感兴趣解剖结构的磁共振图像。因此可以以重建的磁共振图像的形式提供医学图像数据。步骤254至260可以与图3的步骤202至208相同。

图5示出了使用针对仅MR放射治疗处置规划而采集的MRI数据生成的伪CT图像。图5a示出了从所采集的MRI数据重建的MR图像。图5b示出了与基于模型的分割的结果相结合的图5a的MR图像。网格，更确切地说是从通过3D网格的2D切割产生的轮廓，提供了关于下层解剖结构位置的信息，并且可以用于将分配给分割模型作为解剖参考结构的解剖参考框架变形到当前MR图像上，即空间编码。图5c示出了使用基于ML的分类从图5a的MR图像重建的伪CT图像，而没有空间编码并且具有额外图像处理。显而易见，鼻腔不能够与头骨区分，因为其两者在图5a中显得很暗。图5d示出了使用具有空间编码和额外图像处理的基于ML的分类从图5a的MR图像生成的伪CT图像。显而易见，利用空间编码，暗MRI体素可以分为表示空气的暗CT值和表示骨骼的亮CT值。图5e示出了用于比较的实际CT图像。显而易见，考虑了如图5d所示的空间编码的伪CT图像重建的结果非常类似于图5e所示的实际CT图像的外观。

图6示出了用于将解剖参考框架302拟合到解剖参考结构的示例。解剖参考框架302是表示解剖参考结构的表面网格300的空间参考框架。由解剖参考框架302定义的坐标相对于表面网格300是固定的。因此，当表面网格300变形以便与感兴趣解剖结构的表面对准时(导致变形的表面网格310)，解剖参考框架302也变形，从而导致变形的解剖参考框架312。由变形的解剖参考框架312定义的坐标被分配给与由未变形的解剖参考框架310定义的对应坐标相同的解剖位置。因此，这些坐标可以用于有效地识别由医学成像数据所包括的体素的解剖部分。

图7示出了解剖参考框架402的拟合的另一示例，其导致变形的解剖参考框架412。对于模型，如例如头骨400的表面网格，可以提供解剖参考框架402，其定义网格400的表面区域t₁、t₂所包含的每个点的空间位置。当网格400变形以分割医学图像时，解剖参考框架402也变形，从而导致变形的解剖参考框架412，其描述了相对于由网格400的变形产生的变形的解剖参考结构的解剖位置。

图8示出了用于使用机器学习框架将MRI图像500变换为伪CT图像510的示例，该机器学习框架取决于图像500、510的体素的解剖位置。如放大的图像502、504中可以看到的，表示颅骨的骨骼的体素v2(参见图像504)和表示鼻腔中空气的体素v1(参见图像502)两者为暗，并且可能不可基于其图像强度进行区分。然而，当应用除了图像强度之外依赖于图像500的体素的解剖位置的机器学习时，由这些体素v1、v2表示的骨骼和空气可以彼此区分。因此，可以使用MRI图像500来生成高度准确的伪CT图像510。在得到的伪CT图像510中，清楚地区分了表示骨骼v2的体素和表示空气v1的体素，并且为其分配适当的伪CT图像强度。这在放大的图像512和514中详细图示。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示例性的而非限制性的；本发明不限于公开的实施例。

本领域技术人员通过研究附图、说明书和权利要求书，在实践要求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求书中，“包括”一词不排除其他元件或步骤，量词“一”或“一个”不排除多个。单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定元件并不指示不能有利地使用这些元件的组合。计算机程序可以存储和/或分布在适当的介质上，所述介质例如是与其他硬件一起供应或作为其他硬件一部分供应的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的远程通信系统。权利要求书中的任何附图标记都不得被解释为对范围的限制。